大数据技术体系图谱
2020-10-26 19:32:50 0 举报AI智能生成
第二小组作业
作者其他创作
大纲/内容
基础技术
数据分片由
哈希分片（Hash Partition）
范围分片（Range Partition ）
数据一致性
理论基础
CAP理论
BASE理论
ACID
副本更新策略
主从
同步
任意节点
协议
两段式提交
Paxos协议
Raft协议
向量时钟
RWN协议
权重模型
最终一致性
强一致性
单调读一致性
单调写一致性
会话一致性
常用算法与数据结构
Merkle Tree
Lsm-tree
Trie Tree
Bitmap
Bloom Filter
SkipList
cuckoo hashing
snappy与LZSS算法
数据治理
相关概论
基础理论
ISO38500 IT治理框架
DAMA理论
DGI理论
IBM数据治理理论
ISACA COBITS
治理框架
原则
范围
战略&组织
数据质量
数据生命周期
数据架构
数据安全
服务创新
实施&评估
成熟度评估
审计
促成因素
数据规范标准化
元数据管理
基本概念
采集存储
查询分析
血缘分析
影响分析
数据地图展示
专题管理
生命周期管理
业务属性管理
一致性监测监控
常见工具&方法
Cloudera Navigator
公告仓库元模型（CWM）
HCatalog
Apacha Atals
WhereHows
主数据管理
大数据架构管理
数据质量
基本概念
参考框架
策略
控制目标
职责角色
流程方法
支撑保障
实施方法
常用工具&方法
数据安全
传输安全
管理安全
存储安全
应用安全
应用治理
常见框架&产品
数据应用
基本概念
大数据商业价值
对顾客群体细分
模拟实境
提高投入回报率
个性化精准推荐
数据搜索
......
数据产品分类
营销类
征信类
媒体类
安全类
图标类
画像类
工具类
商业智能（BI）
应用领域
教育
医疗
运输
能源
金融
农业
......
数据服务
OLAP
基本概念
维度（Dimension）
维度层次（Lever of Dimension）
维度成员（Member of Dimension）
度量（Measure）
操作
上钻（Drill down）
下钻（Drill up）
切片（Slice）
切块（Dice）
旋转（Pivot）
分类
MOLAP（Multi-dimensional OLAP）
ROLAP（Realtional OLAP）
HOLAP
语法解析
数据处理
SqlLite
Groovy
Guava
Aviator
规则流程编排
drools
Activiti
Tiny
Blockly
服务化
dubbo
hsf
spring boot
spring cloud
数据可视化
可视化基础
流程
通道
设计
可视化分析
交互技术
交互模式
常用图表
树状图
漏斗图
行为路径分析图
雷达图
箱线图
柱状图
折线图
饼图
常用框架
G2
D3.js
Echart
Raw
Bonsaijs
arborjs
springy
Raphaell图例库
常用配色
Fusion
FairyGUI
模板引擎
freemarker
velocity
thymeleaf
数据共享
系统集成
页面集成
区块集成
方式
文件
打印
截图
渠道
微信
企业微信
钉钉
邮件
数据预警
调度
Quartz
opencron
LTS
XXL-JOB
Elastic-job
规则引擎
Groovy
Aviator
drools
数据预测
应用部署
容器化
docker
k8s
国际化
自动打包部署
maven
gradle
jenkins
Web容器&代理服务器
jetty
tomcat
nginx
数据采集
日志采集
埋点
PC打点
移动端打点
服务端打点
采集框架
Logstash
Flume
Fluentd
Chukwa
外部数据
网络数据采集
文本
图片
视频
爬虫技术
Nutch
Heritrix
Scrapy
WebCollector
Phython
loT设备
传感器
探针
数据传输
消息队列
Kafka
ActiveMQ
RabbitMQ
RocketMQ
ZeroMQ
数据同步
DataX
Kettle
Cannal
OGG（Oracle Golden Gate）
SymmetricDS
sqoop
数据订阅
Databus
Otter
Wormhole
阿里云DTS
序列化
JSON
Protobuf
Hessian
FST
MessagePack
Avro
Kryo
数据存储
物理存储
主流框架
直连式存储（DAS：Direct-Attached Storage）
网络化存储（FAS：Fabric-Attached Storage）
网络接入存储（NAS：Network-Attached Storage）
存储区域网络（SAN：Storage Area Network）
存储类型
文件存储
FTP
NFS
NAS
块存储
磁盘阵列
DAS
SAN
对象存储
分布式文件/对象存储
OSS（阿里云）
COS（腾讯云）
OBS（华为云）
KODO（七牛云）
UFile（UCloud）
HDFS
Open Stack Swift
Ceph
GlasterFS
Facebook Hasystack
Lustre
AFS
分布式关系数据库
DRDS
TiDB
Cobar
Mycat
Aurora
分析型数据库
Druid
Kylin
Vertica
AanalytucDB
LucidDB
infiniDB
MonetDB
搜索引擎
Elasticsearch
Solr
OpenSearch
Splunk
K-V存储
Redis
Memcached
Tair
图数据库
Titan
Neo4j
ArangoDB
OrientDB
MapGraph
列存储数据库
Cassandra
Hbase
Kudu
Hypertable
Apache Accumulo
文档数据库
MongoDB
CouchDB
MarkLogic
OrientDB
时序数据库
influxDB
Druid
TimescaleDB
OpenTSDB
Graphite
阿里云HiTSDB
数据处理
数据计算
流式计算（stream computing）
Storm
Flink
Spark Streaming
Kafka Stream
Twitter Heron
Apacha Samza
大规模批量计算（batch computig）
MapReduce
Hive
Spark
Pig
即席查询分析（ad-hoc computing）
Impala
Hawq
Dremel
Drill
Phoenix
Tajo
Presto
Hortonworks Stinger
全量计算&增量计算
基础知识
Lamdba架构
Kappa架构
IOTA架构
常见框架
Druid
Galaxy
Microsoft Kineograph
Google Percolator
图计算
基础知识
GAS编程模型
BSP模型&SSp模型
节点为中心编程模型
计算范型
常见框架
Pregel
GraphChi
Spark Graphx
PowerGrah
Apache Giraph
Apache Hama
分布式协调系统
Zookeeper
Eureka
Consul
Chubby
阿里 Diamond
阿里 ConfigServer
集群资源管理与调度
管理调度框架
Omega
Brog
Mesos
Corona
Yarn
Torca
管理和监控工具
Ambari
Chukwa
Hue
工作流管理引擎
Oozie
Azkaban
Luigi
Airflow
数据仓库
基本概论&原理
体系结构
设计&建模
数据挖掘
基本概念
功能分类
通用方法
分类&聚类
预测&回归
时间序列分析
关联规则&偏差检测
......
统计分析
主成分分析
因子分析
机器学习
决策树
贝叶斯
遗传算法
......
深度学习
卷积神经网络
RBN
DBN
......
常用技术
Mahout
Spark Milb
Tensorflow
数据测试
大数据产品测试基准
Bigtop
数据湖
基本概念&原理
0 条评论
下一页
