的地方
2018-04-03 13:20:20 0 举报大风大风大风大风
作者其他创作
大纲/内容
是
链接表一共256张，redis共维护256个key，用于记录最后提交检测的idURl_TIMEOUT_0 : 123......URL_TIMEOUT_128 : 456......URL_TIMEOUT_255 : 789
N
超时
更新redis1.RPUSH tid_表名_time()2.将最后送检的链接id更新到redis中
脚本多进程消费：LPOP拿到 tid_表名_time()
送检：将50条链接送检并得到tid（tid用于检测结果下载）
写入es
es查询得到结果集输出并种缓存
结果集输出
通过ids取meta信息（获得剧id／剧集id）
查询低于当前时间30分钟的50条数据
是否有返回值
缓存中是否有数据
api接口查询
1.更新前三页缓存数据（默认页数）2.删除非前三页缓存数据
有下载结果
判断检测时间是否超时
redis中是否有值
redis中获取该表已检测完的最后id
是否前三页
链接表一共256张，redis共维护256个key，用于记录最后提交检测的idURl_REDIRECT_0 : 123......URL_REDIRECT_128 : 456......URL_REDIRECT_255 : 789
否
\"RPUSH tid_表名_time()\" 说明：tid用于下载检测结果表名用于回填检测结果time用户判断检测是否超时
1.redis中有数据则查询该id之后的50条数据2.redis中无数据则取最新的50条数据
channelid+page+episodeid+count
Y
脚本拉取kafka数据（包含：ids／发表时间）
1.redis中有数据则查询该id之后的50条数据2.redis中无数据则通过当天时间戳之后的50条数据
redis-list
无下载结果
redis中获取该表检测超时的最后id
结束
回填redis-listRPUSH tid_表名_time()
channelid+episodeid+page+count
查询redis中该id之后的50条数据
未超时
0 条评论
下一页
