大数据技术知识体系
2022-01-25 19:54:56 5 举报AI智能生成
可能是最全的大数据技术知识体系
作者其他创作
大纲/内容
基础技术
数据分片路由
哈希分片（Hash Partition）
轮询（Round Robin）
虚拟桶（Virtual Buckets）
一致性哈希（Consistent Hashing）
范围分片（Range Partition）
数据复制&一致性
理论基础
CAP理论
BASE理论
ACID
协议
两阶段提交
三阶段提交
Raft协议
Paxos协议
RWN协议
向量时钟
一致性模型
单调读一致性
单调写一致性
会话一致性
强一致性
最终一致性
副本更新策略
主从更新
同时更新
任意节点更新
数据结构
SkipList
LSM Tree
Bitmap
Merkle Tree
Trie Tree
常用算法
Bloom Filter
cuckoo hashing
snappy与LZSS算法
数据采集
系统日志
埋点
浏览器（PC）打点
移动端打点
Android端SDK
IOS端SDK
Wp端SDK
服务端打点
无痕埋点-可视化埋点
数据采集框架
Flume
Fluentd
Logstash
Scribe
Chukwa
Splunk Forwarder
外部数据
网络数据采集
文本
图片
视频
爬虫技术
Nutch
Heritrix
Scrapy
WebCollector
IoT设备
传感器
探针
数据传输
消息队列
ActiveMQ
ZeroMQ
RabbitMQ
RocketMQ
Kafka
Apache Apollo
Apache Pulsar
数据同步
DataX
Kettle
Canal
OGG(Oracle Golden Gate)
SymmetricDS
Sqoop
DbSync
数据订阅
Databus
Otter
Wormhole
DTS
序列化
JSON
Protobuf
Hessian
FST
MessagePack
Avro
Kryo
数据存储
物理存储
主流框架
直连式存储（DAS：Direct-Attached Storage）
网络化存储（FAS：Fabric-Attached Storage）
网络接入存储（NAS：Network-Attached Storage）
存储区域网络（SAN：Storage Area Network）
存储类型
文件存储
FTP
NFS
NAS
块存储
磁盘阵列
DAS
SAN
对象存储
分布式文件/对象存储
HDFS
Open Stack Swift
Ceph
GlasterFS
Facebook Hasystack
Lustre
AFS
OSS（阿里云）
COS（腾讯云）
OBS（华为云）
KODO（七牛云）
UFile（优刻得）
分布式关系型数据库
DRDS
Mycat
Cobar
Aurora
GreenPlum
TiDB
分析型数据库
Kylin
Analytic DB
Druid
Clickhouse
Vertica
MonetDB
InfiniDB
LucidDB
搜索引擎
ElasticSearch
Solr
OpenSearch
Splunk
键值（K-V）存储
Redis
Memcached
Tair
Amazon DynamoDB
图数据库
AllegroGraph
Neo4J
Titan
ArangoDB
OrientDB
MapGraph
列式存储
Kudu
Hbase
Cassandra
Hypertable
Apache Accumulo
文档数据库
MongoDB
CouchDB
MarkLogic
OrientDB
时序数据库
InfluxDB
Graphite
Kdb+
OpenTSDB
Druid
TimescaleDB
HiTSDB
面向对象数据库
Versant Object Database
RDF 数据库
多媒体数据库
事件存储数据库
数据处理
数据计算
流式计算（stream computing）
Storm
Flink
Yahoo S4
Kafka Stream
Twitter Heron
Apache Samza
Spark Streaming
大规模批量计算（batch computing）
Tez
MapReduce
Hive
Spark
Pig
Apache Beam
即席查询分析（ad-hoc computing）
Impala
Kylin
Druid
Hawq
Dremel
Drill
Phoenix
Tajo
Presto
Hortonworks Stinger
全量计算&增量计算
基础知识
Lamdba架构
Kappa架构
IOTA架构
常见框架
Druid
Galaxy
Microsoft Kineograph
Google Percolator
图计算
基础知识
GAS编程模型
节点为中心编程模型
计算范型
BSP模型
SSP模型
常见架构
Pregel
GraphChi
Spark GraphX
PowerGraph
Apache Giraph
Apache Hama
分布式协调系统
Chubby
Zookeeper
Eureka
Consul
集群资源管理和调度
管理调度框架
Omega
Brog
Mesos
Corona
Yarn
Torca
管理和监控工具
Ambari
Chukwa
Hue
Apache Zeppelin
工作流管理引擎
Oozie
Azkaban
Luigi
Airflow
Kubeflow
数据仓库
基本概念
原理
体系结构
数仓设计
数据建模
数据分析挖掘
基本概念
功能分类
通用方法
分类&聚类
预测&回归
时间序列分析
关联规则&偏差检测
......
统计分析
主成因分析
因子分析
机器学习
决策树
贝叶斯
遗传算法
......
深度学习
卷积神经网络
RBN
DBN
......
常用技术
Tensorflow
Spark Mlib
Mahout
数据测试
大数据基准测试
Apache Bigtop
数据湖
基本概念
原理
平台工具
数据治理
相关概念
数据治理理论
ISO38500 IT治理框架
DAMA 理论
DGI 理论
IBM 数据治理理论
ISACA COBIT5
数据治理框架
原则
原则
战略
组织
数据质量
数据生命周期
数据架构
数据安全
大数据服务创新
实施和评估
成熟度评估
审计
促成因素
数据规范标准
元数据管理
基本概念
采集存储
查询分析
血缘分析
影响分析
数据地图展现
专题管理
生命周期管理
业务属性管理
一致性检测监控
常见工具&方法
Cloudera Navigator
HCatalog
Apache Atlas
WhereHows
CWM（公告仓库元模型）
主数据管理
计算管理
存储管理
数据模型
大数据框架管理
数据质量
基本概念
参考框架
策略
控制目标
职责角色
流程方法
支撑保障
实施方法
常用工具&方法
数据安全
传输安全
存储安全
管理安全
应用安全
应用治理
业界框架产品
数据应用
基本概念
大数据商业价值
对顾客群体细分
模拟实境
提高投入回报率
个性化精准推荐
数据搜索
......
数据产品分类
营销类
征信类
媒体类
安全类
图标类
画像类
工具类
商业智能（BI）
应用领域
教育
医疗
运输
能源
金融
农业
......
数据服务
OLAP
基本概念
维度（Dimension）
维度层次（Level of Dimension）
维度成员（Member of Dimension）
度量（Measure）
操作
下探（Drill down）
上钻（Drill up）
切片（Slice）
切块（Dice）
旋转（Pivot）
分类
MOLAP（Multi-Dimension OLAP）
Cognos Powerplay
Oracle Database OLAP Option
MicroStrategy
Microsoft Analysis Services
Essbase
Kylin
Druid
ROLAP（Relational OLAP）
Vertica
Amazon Redshift
Google Dremel
Hulu Nesto
Presto
Impala
Clickhouse
Hive
Spark SQL
Flink SQL
Elasticsearch
Greenplum
Doris
HOLAP（Hybrid OLAP）
语法解析
数据处理
SqlLite
Groovy
Guava
Aviator
规则流程编排
Drools
Activiti
Tiny
Blockly
服务化
Dubbo
Hsf
Spring Boot
Spring Cloud
数据可视化
可视化基础
流程
通道
设计
可视化分析
交互技术
交互模式
常用图表
树状图
漏斗图
行为路径分析图
雷达图
箱线图
柱状图
折线图
饼图
......
常用框架
G2
D3.js
Echarts
Highcharts
BonsaiJS
ArborJS
Springy.js
Raphael.js
常用配色
Fusion
FairyGUI
模板引擎
FreeMarker
Velocity
Thymeleaf
数据共享
系统集成
页面集成
区块集成
方式
文件
打印
截图
渠道
邮件
聊天工具
订阅推送
数据预警
调度
Quartz
Opencron
LTS
XXL-JOB
Elastic-job
规则引擎
Groovy
Aviator
Drools
数据预测
应用部署
容器化
Docker
K8S
国际化
自动化打包部署
Maven
Gradle
Jenkins
Web容器&代理服务器
Tomcat
Jetty
Nginx
0 条评论
下一页
