• 首页
  • 热点
  • 财经
  • 要闻
  • 经济
  • 快讯
  • 科技
  • 滚动
  • 行业
  • 教育
  • 综合
logo
  • 中陕网首页 >
  • 中陕网 > 滚动 >
  • 正文

解剖屎山,寻觅黄金之第二弹 环球视讯

2023-06-10 14:14:59 来源:程序员客栈

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。


(资料图片仅供参考)

在最开始,我的第一版实现是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

责任编辑:

免责声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。

    为您推荐

  • 解剖屎山,寻觅黄金之第二弹 环球视讯

    大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我
  • 每日快看:救军粮火棘怎么种(火棘救兵粮)

    1、种植条件火棘是一种典型的热带水果,喜温,对光照的需求比较大。但
  • 恒信东方:6月9日接受机构调研,包括知名机构星石投资的多家机构参与 天天新动态

    2023年6月9日恒信东方(300081)发布公告称公司于2023年6月9日接受机构
  • RK3588-Camera:MIPI-CSI调试之通路解析

    RK3588-Camera:MIPI-CSI调试之通路解析
  • 曼城挖角拜仁后防全能神将,7球1助攻堪称带刀后卫,6大豪门都想买他

    说他是德甲赛场上的“带刀后卫”,并不为过。如果能从拜仁签下这位全能
  • 每日动态!鸡打鸣烧鸡的制作?

    鸡打鸣烧鸡的具体步骤:一、清水洗净鸡胸肉,胡萝卜,土豆,洋葱,红辣椒,香
  • 张怡宁将执教印度乒乓球队?假的!

    训练营将有一个特殊的教练阵容,包括来自中国的张怡宁,她被誉为历史上
  • 首台套50万千瓦冲击式水电机组项目开工

    今天(9日),大唐西藏扎拉水电站主体工程正式开工建设,项目配备首台
  • 今日快看!一女子跳河,00后男孩营救不幸溺亡,钓友划船将女子安全救回

    6月9日,河南南阳。一女子从十余米高的桥上跳入唐河,随后一名男孩立刻
  • 环球快看点丨今起12306上线选铺服务 230趟旅客列车铺别可在线选择

    6月10日,中国国家铁路集团有限公司官方微博发布消息称,6月10日,
  • 中超综合:中超第一阶段结束 上海海港领跑积分榜

    原标题:中超综合:中超第一阶段结束上海海港领跑积分榜新华社海口6月9
  • 审计机关督促审计整改落实工作交城调研座谈会召开_环球资讯

    6月7日,审计机关督促审计整改落实工作交城调研座谈会召开。省审计厅副
  • 【学习】关于文化和自然遗产,总书记这样论述 环球关注

    来源:学习强国编辑:韩维孔德琳视觉:燕茹编审:郭育卿监制:谷霄燕
  • 信通万物 提质赋能——第31届中国国际信息通信展览会观察

    5G怎样助力绿色生产?AI将如何解放人力?新技术将带来哪些新场景?……
  • 民俗文物 关于民俗文物介绍 天天报资讯

    1、民俗文物主要指经典性、代表性民俗器物。2、中国民间文化遗产抢救工
  • 猪饲料喂牛好不好(对牛的影响有哪些)

    猪饲料是否适合供牛食用近年来,有人在养牛过程中尝试使用猪饲料喂食。
  • 欧阳靖维护欧阳娜娜:跟她合作绝对是我的荣幸_即时

    欧阳娜娜与欧阳靖在《中国说唱巅峰对决》上进行合作表演,有网友评论道
  • 半自助火锅,三位份为什么不能四个人一起吃 环球观焦点

    半自助火锅,三位份为什么不能四个人一起吃
  • 当前快报:新一轮“龙舟水”来袭 未来10天 雨雨雨

    佛山新闻网讯佛山市新闻传媒中心记者谈飞洋报道:徘徊在广西北部湾一带
  • 环球热讯:董某槿大学同学:她减肥成功后,追求者“排队”,变得非常自信!

    董某槿大学同学:她减肥成功后,追求者“排队”,变得非常自信!,减肥,
  • 暗黑4索命陷阱技能有什么作用效果

    《暗黑破坏神4》中游侠的终极技能索命陷阱是游戏里输出伤害非常高的技
  • 陵川县举办2023年度新时代好少年发布仪式暨颁奖典礼|百事通

    6月9日,陵川县举办“争做好少年共筑强国梦2023年度新时代好少年”发布
  • 国际人士纷纷表示中国是世界经济增长重要引擎

    国际人士纷纷表示中国是世界经济增长重要引擎---参加第十四届陆家嘴论
  • 天天热推荐:“千里涪江党旗红”!川渝九地携手共建涪江流域党建品牌

    四川经济网绵阳讯(黄兵记者张宇)涪江是孕育巴蜀文化的摇篮之一,也是
  • rc电路充电时间计算-rc电路

    1、是输入的电流有保护作用。2、而输出的电流没有保护作用。本文到此分
  • 欧乐 关于欧乐的介绍_世界速看料

    1、欧乐B(英语:Oral-B)是一个牙刷与其他牙齿护理产品(如牙线)品牌,
  • 【全球新视野】6月9日基金净值:华夏中证500ETF最新净值3.2256,涨0.89%

    6月9日,华夏中证500ETF最新单位净值为3 2256元,累计净值为0 7061元,
  • 微头条丨下一页分节符空白页怎么删除(下一页)

    来为大家解答以上问题,下一页分节符空白页怎么删除,下一页很多人还不
  • 世界快资讯丨计提税金及附加会计分录_计提税金会计分录

    1、借:主营业务税金及附加贷:应交税费-城建税-教育费附加
  • 哈兰德:看比赛录像会导致我想得太多,我在球队中的任务就是进球

    哈兰德:看比赛录像会导致我想得太多,我在球队中的任务就是进球,英超,
  • 头条焦点:容桂大力支撑制造业当家,将上千亩商用地调整为产业发展用地

    6月9日下午,顺德区容桂街道举行城市推介会,本次活动以“来容桂,拥抱
  • 世界认可日 带您了解认证认可检验检测_每日信息

    2005年,联合国贸发组织和世界贸易组织首次提出“国家质量基础(Nation
  • “他很清楚M国名校对亚裔学生的歧视,从他儿子中学起,每逢耶鲁校庆他总要捐款” 热议

    我弟弟的一个大学同学,在M国耶鲁大学研究生毕业,是该校的优秀毕业生
  • 6月9日美股盘前要闻 世界消息

    App6月9日消息,6月9日美股盘前要闻:1、截至发稿,以蓝筹股为主的道指
  • 湖北能源(000883):2023年5月发电情况的自愿性信息披露公告

    证券代码:000883证券简称:湖北能源公告编号:2023-047湖北能源集团股
  • *ST华源:6月13日起撤销退市风险警示和其他风险警示 全球今热点

    *ST华源公告,公司股票将于2023年6月12日停牌一天,2023年6月13日起复
  • 1400亿基金投顾业务迎制度规范:单个客户持单只基金不超委托资产20%

    1400亿基金投顾业务迎制度规范:单个客户持单只基金不超委托资产20%,管
  • 生化危机大块头

    ResidentEvil的Hunk是生存恐怖系列中最受欢迎的角色之一,在NintendoSw
  • 环球新动态:12岁女孩接发花了2000元,家长代理起诉要回1400元

    现代快报讯(通讯员 万志伟 记者 严君臣)随着孩子长大,他们逐渐有
  • 深交所:上市公司股票进入退市整理期交易的,可转债同步进入退市整理期交易

    证券时报网讯,深交所发布关于可转换公司债券退市整理期间交易安排的通
  • 今日趣图:请问梅老板500平海景别墅还招保安吗?我1万包吃住就行

    【友情提示】今天的趣图视频较多,请各位吧友在流量充足的地方或者连上
  • 世界热资讯!银行板块跌0.5% 兰州银行涨1.7%居首

    今日,银行板块整体涨幅-0 50%,其中7只股票上涨,2只股票平盘,33只股
  • 女人花简谱(女人俱乐部粤语)

    来为大家解答以上的问题。女人花简谱,女人俱乐部粤语这个很多人还不知
  • 广西社保个人最低交多少钱 2023年广西个人社保缴费标准一览

    有很多中老年群体,对于社保的理解还是比较的深刻。他们正常去交纳社保
  • 朋友分手了怎么安慰人的暖心句子_朋友分手了怎么安慰|全球快播报

    你们好,最近小品发现有诸多的小伙伴们对于朋友分手了怎么安慰人的暖心
  • 视焦点讯!泰祥股份涨20.01%

    泰祥股份涨20 01%
  • 【天天新视野】别人欠钱跑路了去法院起诉有用吗

    别人欠钱跑路了去法院起诉有用,法院受理后,在无法邮寄送达传票的情况
  • 全球即时看!研究人员:这个Visual Studio漏洞值得警惕

    据DarkReading6月8日消息,Varonis安全研究人员警告称,微软此前修复的
  • 湾区白酒价格追踪3个月!茅台涨跌不定 五粮液一度逼近低位 天天新视野

    为进一步挖掘酒类消费增长点,提振消费信心,在广东省酒类行业协会的指
  • 昔日日化巨头最新发布!重大资产置换方案来了,将告别日化业务!

    “浪奇”将不再是那个“浪奇”了。在披露重大资产重组提示近一个月后,
  • 世界热点评!Adobe 升级图形设计工具 Express,借助 Firefly 一句话修图

    IT之家6月9日消息,Adobe今天发布官方推文,升级免费的图形设计工具Ado
  • 云南省红河哈尼族彝族自治州河口瑶族自治县2023-06-06 20:34发布雷电黄色预警-焦点消息

    一、云南省红河哈尼族彝族自治州河口瑶族自治县天气预报1、河口县气象
  • 当前看点!好看还金贵!永泰百亩“仙草”迎来花期

    石斛除了花开有很高的观赏性外,还具有不俗的药用价值。近日,永泰县红
  • 关于刘德华请法师为爱女取名刘云善 朱丽倩在港安胎的相关信息 焦点

    1、刘德华请法师为爱女取名刘云善朱丽倩在港安胎,刘德华的女儿将于6月
  • 造梦西游3装备掉落大全饰品_造梦西游3装备图鉴造梦西游3装备掉落表造梦西游武器装备大全

    造梦西游3装备图鉴造梦西游3装备掉落表造梦西游武器装备大全,造梦西游
  • 次级贷款出现的原因是什么?次级贷款损失率是多少?

    次级贷款出现的原因是什么?次级贷款有两个原因:第一,银行的优质贷款越来越少,银行只能贷给次级贷款客户;其次,次级抵押贷款的利率较高,

相关推荐

  • 首台套50万千瓦冲击式水电机组项目
  • 今日快看!一女子跳河,00后男孩营救
  • 环球快看点丨今起12306上线选铺服务
  • 中超综合:中超第一阶段结束 上海
  • 审计机关督促审计整改落实工作交城
  • 【学习】关于文化和自然遗产,总书
  • 信通万物 提质赋能——第31届中国
  • 民俗文物 关于民俗文物介绍 天天
  • 猪饲料喂牛好不好(对牛的影响有哪些)
  • 欧阳靖维护欧阳娜娜:跟她合作绝对

阅读排行

  • 解剖屎山,寻觅黄金之第二弹 环球视讯
  • 每日快看:救军粮火棘怎么种(火棘救兵粮)
  • 恒信东方:6月9日接受机构调研,包括知名机构星石投资的多家机构参与 天天新动态
  • RK3588-Camera:MIPI-CSI调试之通路解析
  • 曼城挖角拜仁后防全能神将,7球1助攻堪称带刀后卫,6大豪门都想买他
  • 每日动态!鸡打鸣烧鸡的制作?
  • 张怡宁将执教印度乒乓球队?假的!
  • 首台套50万千瓦冲击式水电机组项目开工
  • 今日快看!一女子跳河,00后男孩营救不幸溺亡,钓友划船将女子安全救回
  • 环球快看点丨今起12306上线选铺服务 230趟旅客列车铺别可在线选择

联系方式:291 32 36@qq.com

Copyright © 1998-2023 by 中陕网版权 所有 京ICP备12018864号-5

营业执照公示信息