大数据相关技术栈数据组件全景图
2022-02-28 16:20:55 18 举报AI智能生成
框架： hadoop相关 spark相关 flink相关 资源调度：yarn olap相关：kylin 查询与数据流QUERY / DATA FLOW： hadoop系列:hive spark系列： spark sql flink系列：flink sql 数据访问和数据库 DATA ACCESS & DATABASES ： Cassandra ： mongodb： 非结构化数据库 habse：构建在hadoop框架之上，列式存储 druid: 多维分析 数据同步： Flume 、sqoop 调度： 任务调度：oozie 、airflow 节点调度：zookeeper 资源调度：mesos
作者其他创作
大纲/内容
流与消息
流式计算： spark streaming /flink streaming 国内阿里主导，flink用的更多
消息中间件： kafka 、rocketmq
消息中间件： kafka 、rocketmq
统计工具和语言
Sql
python
scala
python
scala
AI平台
子主题
AI / 机器学习/ 深度学习
子主题
日志与监控
elk组合： logstach 日志同步、 elasticsearch 存储和搜索 、kibana 界面查询
协作
子主题
框架 FREAMEWORKS
hadoop相关
spark相关
flink相关
资源调度：yarn
olap相关：kylin
spark相关
flink相关
资源调度：yarn
olap相关：kylin
查询与数据流QUERY / DATA FLOW
hadoop系列:hive
spark系列： spark sql
flink系列：flink sql
spark系列： spark sql
flink系列：flink sql
数据访问和数据库 DATA ACCESS & DATABASES
Cassandra ：
mongodb： 非结构化数据库
habse：构建在hadoop框架之上，列式存储
druid: 多维分析
数据同步： Flume 、sqoop
mongodb： 非结构化数据库
habse：构建在hadoop框架之上，列式存储
druid: 多维分析
数据同步： Flume 、sqoop
调度
任务调度：oozie 、airflow
节点调度：zookeeper
资源调度：mesos
节点调度：zookeeper
资源调度：mesos
搜索
子主题
可视化
子主题
安全
数据权限：Apache ranger
分库分表分列分人权限： sentry
分库分表分列分人权限： sentry
收藏
0 条评论
下一页
