2020年技术规划拆解
2015-06-18 11:36:19 15 举报
2020年技术规划拆解是对当年科技发展目标和战略的详细解析,涵盖了各个领域的创新和突破。这一规划旨在推动数字化转型,加强人工智能、大数据、云计算等前沿技术的研究与应用,提升国家竞争力。同时,关注绿色可持续发展,推动清洁能源、节能减排等环保技术的创新与普及。此外,2020年技术规划还强调了网络安全、信息安全等方面的重要性,提出了一系列应对措施。通过这一拆解,可以看出2020年技术规划是一个全面、系统的战略布局,为未来科技创新和发展提供了明确的方向。
作者其他创作
大纲/内容
原则:面向数据资产做架构规划和实现有显性过程性设计,有显性层次性设计数据准确性优先,系统稳定性优先创新精神,敢于打破已有范式解决问题业务和技术一体两面,业务功能和技术目标必须紧密结合
除原则外,在项目中研发判断标准:1. 以上目标是基于效率指定的2. 以项目为牵引,做决策设计的时候,是否符合目标方向,不符合是有问题的和负责人强调一点1 为需求做设计,必须同时考虑,产品功能,技术设计,如何运营,否则会出现问题不断的情况2 视角一定要跳出来看,符合部门or组内既定目标?
Q3,1 重构计算调度代码2 支持pyspark脚本模式3 迁移原有对外依赖至hudi/hive4 基于业务写逻辑代码,深入业务抽象新的计算模型
计算多样性
Q3,1 基于计算任务配置,基于资产需求,基于飞鸽和newreport,及时雨等产品设计,打通一层数据关系(资产应对其负责,其他3组辅助落地)(层内,从N到1简化)优先打通顶层即可2 数据血缘关系天然成为架构一部分v1.0,初具规模(此架构不分产品技术)3 资产关系以资产为主
实时性(闭环数据处理)
Q4 1. 实现计算闭环,解除90%外部依赖2. Faas,是否可以实现Faas模式
资产协作
目标:找数据用数据的效率第一优先,简洁直观,无须解释1 按层次结构,打通一层数据,从N维降低到1维2 数据血缘关系3 数据资产关系等
Q4,1. ogg全同步2. 原计算任务迁移实时替换,(按需而发)3. 应用层考虑(实时指标)
2020年下半年目标:效率
Q4,1 实现2层降维2 数据血缘关系实时关联查询
Q3,实时采集,同步,监控1. 采集梳理:梳理全部资产需要的dwd层同步2. 配置30%同步3. 梳理应用层,原任务可用实时代替的,执行替换
目标:全链路数据采集,同步,计算,展示,提升至分钟级1. 新业务场景,实时第一优先2. 旧业务场景,逐渐迁移至新场景3. 全链路监控,应急方案,数据准确性保证
目标:紧密结合业务,符合业务场景的计算模型1 原etl逻辑部分(非调度),逐渐封闭2 基于业务抽象pyspark,抽象pipeline3 计算存储的自我闭环(即减少外部依赖,降低外部不确定性)
架构共识技术优化
0 条评论
下一页