数据同步架构
2017-02-03 14:54:52 0 举报
数据同步架构是一种用于确保不同系统或应用程序之间数据一致性的技术。它通过将数据从一个源复制到另一个目标,使两个系统保持同步。这种架构通常包括三个主要组件:源系统、目标系统和同步引擎。源系统是数据的原始位置,而目标系统是数据需要被复制到的位置。同步引擎负责监控源系统中的数据变化,并将这些变化应用到目标系统中。数据同步架构可以应用于各种场景,例如数据库同步、文件同步和应用程序间的数据交换等。它能够提高数据的可用性和可靠性,并帮助企业实现更好的业务连续性和灾难恢复能力。
作者其他创作
大纲/内容
日志上传
海外AWS:接收日志(服务端)
VPN拉取服务器
解压缩
公网拉取服务器
日志合并
措施1: 日志放量/日志变动需要带宽、服务器、数据分析评估/发版上线需要通知(客户端、服务端、运维、大数据)措施2:统一打点内容和协议,减少数据ETL、数据分析工作量
数据导神策
措施3: 带宽监控告警、提高压缩比(运维团队)
大数据链路优化措施
海外AWS:上传S3(服务端)
APP
措施4: 提高处理效率:全部改为VPN拉取数据,提高机器复用,减少数据流处理时间措施5: 减少数据量:梳理日志去掉不必要日志、高压缩比XZ措施6: 节省带宽,提高带宽利用率:平滑拆分传输,去波峰;拉取数据和解压缩上传分离;措施7: 减少数据补录时间:补数据模块串联链路减少人工干预;措施8:提高稳定:系统程序互备、统一代码管理、服务器冷备、数据量生成趋势和异常曲线图
转换、清洗、加载
0 条评论
回复 删除
下一页