新闻系统架构
2017-02-17 11:51:20 0 举报
新闻功能架构
作者其他创作
大纲/内容
新闻系统流程图
中国S3
information
网站匹配规则+网站频道资源匹配+代理设置+正文解析的接口实现
新闻源列表解析
docmation-center
代理服务器
webull-sync服务
新闻更新
新闻摘要（url，id，S3等，时间，region等）
MQ服务器
新闻URL/ID标题newTime摘要所属地区标的物id语言版本新闻来源。。。
与标的物关联
模板引擎
正文解析mapper（包含url）
程序调度器各新闻源定时抓取
完整的新闻对象：标题时间新闻来源地区分类语言关联关系正文的S3存储key+搜索索引更新
新闻采集
增量
特定的解析方案
search(solr)
新闻存储
作业分片中心+ZK
逻辑分片（分批次获取标的物）
stocks
新闻查询
新闻源正文解析
新闻解析流程图
映射标的物对应的新闻源的交易所/symbol
新闻除重/更新标记
special新闻来源，如恒生，路透API
网页抓取(解析)工具
新闻正文解析
webull
aws的sdk
dataImport
新闻管理
美国S3
0 条评论
回复 删除
下一页
