大数据能力平台-数据中台
2022-04-21 16:51:13 2 举报AI智能生成
大数据能力平台各业务痛点与对应解决方案
作者其他创作
大纲/内容
大数据基础平台
解决大数据组件众多，部署困难问题
大数据组件搭建利器，整合全套兼容的组件版本
通过一步一步的安装向导简化了集群安装过程
可以在线快速安装大数据生态圈组件(如Hadoop,Spark,HBase,Hive等)
解决缺乏监控与告警问题
内置各组件关键的运维指标（metrics）
可设置告警阀值，自动检测并告警
使集群环境配置调整更容易
组件集群管理便捷，组件参数配置可直接在线调整
调整后将自动应用各子节点
多项目集约化使用，多租户支持
在线创建租户并分配对应资源信息
有效的隔离各租户的数据权限与计算能力
日志分析系统
提供日志的采集、日志查询与可视化分析支持
内置丰富的日志分析可视化指标
自定义指标统计分析
提供可视化界面，基于采集的日志数据进行自定义维度统计分析
运维监控系统
具有完善的监控功能
可监控业务模块运行情况
业务组件运行情况
系统运行情况
可支持监控数据可视化
可进行监控数据的可视化展示
内置丰富的监控可视化指标
可对主流应用的核心指标进行收集，如redis,mysql,tomcat,nginx等
系统层和网络层exporter,用以监控服务器或网络等
分布式文件存储系统
对上层应用开发透明
兼容POSIX接口，可以使得上层应用的开发变得简单，并且大大降低新用户的学习难度
解决方案的引入对上层业务系统或基础组件是透明的，除 Path 路径外，无需做其它调整
多项目集约化使用，多租户支持
为降低存储成本，应用和服务都使用了共享的存储基础设施
在多租户高并发的条件下，提供了对大文件和小文件的随机/顺序读写的支持
数据储存安全性与可靠性
默认支持高可用，在少数副本失效的情况下，数据库本身能够自动进行数据修复和故障转移，对业务透明
扩展性
对节点提供可扩展性，可以动态加入一个或多个服务节点，既满足了应用的需要，也增强了集群的整体性能
大数据分析型数据仓库
秒级延迟下实时数据分析
可支持为百亿以上数据集定义数据模型并构建立方体
可以与 Hadoop 数据进行亚秒级交互
实时 OLAP，秒级延迟下进行实时数据的多维分析
模型分析简单易操作，无需编写代码即可进行数据建模分析
为 Hadoop 提供标准 SQL 支持大部分查询功能
与BI工具无缝整合
数据采集平台
数据处理能力支撑不足，不同数据量级缺乏合理方案
提供多种数据量级的处理支撑，全量或增量数据百万级、千万级以上数据支持
数据源与数据类型支持不完整
提供丰富的数据源支撑
提供多种格式与类型的数据管理
结构化
非结构化
离线
实时数据
ETL可视化配置支持
提供丰富的数据处理组件
无需编码通过拖拽配置节点，即可完成简单的数据 ETL 作业
保障数据质量（格式或数据项），避免ETL产生的脏数据，影响后期数据分析
针对表数据格式与数据集的格式校验功能
对不满足的格式进行数据标记，并发邮件提醒，有效保障数据的质量
作业运行情况及时掌握
提供完善的任务执行日志记录
任务执行情况直观查看
任务异常提供邮件提醒
大数据治理平台
理清数据结构避免形成数据沼泽
元数据采集
元数据信息
血缘信息
数据分层定义
大数据平台中数据关系梳理
数据仓库关系维护
提升数据质量，保障后续数据分析的准确性
检测业务系统源数据质量是否满足要求
质量规则配置
数据元定义
数据范围
可选值
数据格式
数据质量检测插件支持
数据完整性
数据时效性
数据规范性
数据一致性
数据准确性
数据关联性
促进数据质量稳步提升
可配置质量评估策略
评价维度
评分等级
定期检测数据质量并生成检测报告
统计维度
按年
按月
按季度
按数据库
按评估策略给出质量检测得分
检测有问题数据生成工单
工单详情查看
问题数据导出
工单指派
简化数据建模流程
在线定义逻辑模型
在线定义物理模型
物理表逆向生成物理模型
逻辑模型生成物理模型
物理模型生成物理表
促进行业数据标准落地
提供数据标准在线配置功能
可在线配置数据元信息
可定义数据集信息
提供对标稽核功能
基于数据源定期检测源数据标准落地情况
生成数据稽核报告
促进数据资产管理与应用
提供资源编目功能可基于数据源展示资源数据内容
生成动态列表
数据导入
数据导出
高级查询
生成动态表单
数据资产情况统计
及时捕获数据实施过程中的问题，并进行告警
告警配置
元数据稽核
数据质量校验
调度任务运行情况
订阅的元数据变更
告警消息提醒
系统消息
短信提醒
邮件提醒
数据服务开放平台
多数据源支持
可配置mysql、oracle、sqlserver、h2、phoenix、mongodb、elasticSearch、presto等JDBC标准的数据源
并可扩展其它 JDBC 协议的数据源
多租户支持
可同时支持多个服务提供方发布数据服务，可同时支持多个服务订阅方自主进行服务订阅
丰富的服务组件支持
目前包含的插件有黑白名单、告警、负载、熔断与限流插件
可基于数据服务需求进行其它业务类功能插件扩展
服务开放性与安全性
配套服务市场，订阅方可自由申请想接入的服务
服务申请审核通过后，将提供对应服务调用的凭证信息
API服务网关
协议转换支持
支持将http转换为https
将webservice接口转换为rest接口
标准化的服务约束
代理后的服务，可提供标准化的签名验证和数据加解密支持
多租户支持
支持多提供方、多订阅方使用的多租户场景
丰富的服务组件支持
包含丰富的插件支持
黑白名单
告警
负载
熔断
限流
可基于API网关需求进行其它业务类功能插件扩展
服务开放性与安全性
配套服务市场，订阅方可自由申请想接入的服务
服务申请审核通过后，将提供对应服务调用的凭证信息
数据可视化分析
自助可视化建模
业务人员可在线自助进行可视化报表定制
支持基于数据模型拖拽智能生成可视化组件
支持可视化组件样式在线配置
丰富的建模图表支持
提供丰富的可视化组件、对业务人员友好
折线图、柱状图、散点图、饼图、桑基图、雷达图等
自动布局的 Dashboard（仪表板）
可自由布局的 Display（大屏）
丰富的交互性支持
可在线配置多样自助交互式报表
高级过滤
高级控制
钻取
下载
分享
0 条评论
下一页
