大数据技术知识体系
2022-01-25 19:54:56 5 举报AI智能生成
可能是最全的大数据技术知识体系
作者其他创作
大纲/内容
轮询（Round Robin）
虚拟桶（Virtual Buckets）
一致性哈希（Consistent Hashing）
哈希分片（Hash Partition）
范围分片（Range Partition）
数据分片路由
CAP理论
BASE理论
ACID
理论基础
两阶段提交
三阶段提交
Raft协议
Paxos协议
RWN协议
向量时钟
协议
单调读一致性
单调写一致性
会话一致性
强一致性
最终一致性
一致性模型
主从更新
同时更新
任意节点更新
副本更新策略
数据复制&一致性
SkipList
LSM Tree
Bitmap
Merkle Tree
Trie Tree
数据结构
Bloom Filter
cuckoo hashing
snappy与LZSS算法
常用算法
基础技术
浏览器（PC）打点
Android端SDK
IOS端SDK
Wp端SDK
移动端打点
服务端打点
埋点
无痕埋点-可视化埋点
Flume
Fluentd
Logstash
Scribe
Chukwa
Splunk Forwarder
数据采集框架
系统日志
文本
图片
视频
网络数据采集
Nutch
Heritrix
Scrapy
WebCollector
爬虫技术
外部数据
传感器
探针
IoT设备
数据采集
ActiveMQ
ZeroMQ
RabbitMQ
RocketMQ
Kafka
Apache Apollo
Apache Pulsar
消息队列
DataX
Kettle
Canal
OGG(Oracle Golden Gate)
SymmetricDS
Sqoop
DbSync
数据同步
Databus
Otter
Wormhole
DTS
数据订阅
JSON
Protobuf
Hessian
FST
MessagePack
Avro
Kryo
序列化
数据传输
直连式存储（DAS：Direct-Attached Storage）
网络接入存储（NAS：Network-Attached Storage）
存储区域网络（SAN：Storage Area Network）
网络化存储（FAS：Fabric-Attached Storage）
主流框架
FTP
NFS
NAS
文件存储
磁盘阵列
DAS
SAN
块存储
对象存储
存储类型
物理存储
HDFS
Open Stack Swift
Ceph
GlasterFS
Facebook Hasystack
Lustre
AFS
OSS（阿里云）
COS（腾讯云）
OBS（华为云）
KODO（七牛云）
UFile（优刻得）
分布式文件/对象存储
DRDS
Mycat
Cobar
Aurora
GreenPlum
TiDB
分布式关系型数据库
Kylin
Analytic DB
Druid
Clickhouse
Vertica
MonetDB
InfiniDB
LucidDB
分析型数据库
ElasticSearch
Solr
OpenSearch
Splunk
搜索引擎
Redis
Memcached
Tair
Amazon DynamoDB
键值（K-V）存储
AllegroGraph
Neo4J
Titan
ArangoDB
OrientDB
MapGraph
图数据库
Kudu
Hbase
Cassandra
Hypertable
Apache Accumulo
列式存储
MongoDB
CouchDB
MarkLogic
文档数据库
InfluxDB
Graphite
Kdb+
OpenTSDB
TimescaleDB
HiTSDB
时序数据库
Versant Object Database
面向对象数据库
RDF 数据库
多媒体数据库
事件存储数据库
数据存储
Storm
Flink
Yahoo S4
Kafka Stream
Twitter Heron
Apache Samza
Spark Streaming
流式计算（stream computing）
Tez
MapReduce
Hive
Spark
Pig
Apache Beam
大规模批量计算（batch computing）
Impala
Hawq
Dremel
Drill
Phoenix
Tajo
Presto
Hortonworks Stinger
即席查询分析（ad-hoc computing）
Lamdba架构
Kappa架构
IOTA架构
基础知识
Galaxy
Microsoft Kineograph
Google Percolator
常见框架
全量计算&增量计算
GAS编程模型
节点为中心编程模型
计算范型
BSP模型
SSP模型
Pregel
GraphChi
Spark GraphX
PowerGraph
Apache Giraph
Apache Hama
常见架构
图计算
Chubby
Zookeeper
Eureka
Consul
分布式协调系统
Omega
Brog
Mesos
Corona
Yarn
Torca
管理调度框架
Ambari
Hue
Apache Zeppelin
管理和监控工具
集群资源管理和调度
Oozie
Azkaban
Luigi
Airflow
Kubeflow
工作流管理引擎
数据计算
基本概念
原理
体系结构
数据建模
数仓设计
数据仓库
分类&聚类
预测&回归
时间序列分析
关联规则&偏差检测
......
通用方法
主成因分析
因子分析
统计分析
决策树
贝叶斯
遗传算法
机器学习
卷积神经网络
RBN
DBN
深度学习
功能分类
Tensorflow
Spark Mlib
Mahout
常用技术
数据分析挖掘
大数据基准测试
Apache Bigtop
数据测试
数据湖
平台工具
数据处理
ISO38500 IT治理框架
DAMA 理论
DGI 理论
IBM 数据治理理论
ISACA COBIT5
数据治理理论
原则
战略
组织
数据质量
数据生命周期
数据架构
数据安全
大数据服务创新
成熟度评估
审计
促成因素
实施和评估
数据治理框架
相关概念
数据规范标准
采集存储
血缘分析
影响分析
数据地图展现
查询分析
生命周期管理
业务属性管理
一致性检测监控
专题管理
Cloudera Navigator
HCatalog
Apache Atlas
WhereHows
CWM（公告仓库元模型）
常见工具&方法
元数据管理
计算管理
存储管理
数据模型
主数据管理
大数据框架管理
策略
控制目标
职责角色
流程方法
支撑保障
参考框架
实施方法
常用工具&方法
传输安全
存储安全
管理安全
应用安全
应用治理
业界框架产品
数据治理
对顾客群体细分
模拟实境
提高投入回报率
个性化精准推荐
数据搜索
大数据商业价值
营销类
征信类
媒体类
安全类
图标类
画像类
工具类
数据产品分类
商业智能（BI）
教育
医疗
运输
能源
金融
农业
应用领域
维度（Dimension）
维度层次（Level of Dimension）
维度成员（Member of Dimension）
度量（Measure）
下探（Drill down）
上钻（Drill up）
切片（Slice）
切块（Dice）
旋转（Pivot）
操作
Cognos Powerplay
Oracle Database OLAP Option
MicroStrategy
Microsoft Analysis Services
Essbase
MOLAP（Multi-Dimension OLAP）
Amazon Redshift
Google Dremel
Hulu Nesto
Spark SQL
Flink SQL
Elasticsearch
Greenplum
Doris
ROLAP（Relational OLAP）
HOLAP（Hybrid OLAP）
分类
OLAP
语法解析
SqlLite
Groovy
Guava
Aviator
Drools
Activiti
Tiny
Blockly
规则流程编排
Dubbo
Hsf
Spring Boot
Spring Cloud
服务化
数据服务
流程
通道
设计
可视化基础
交互技术
交互模式
可视化分析
树状图
漏斗图
行为路径分析图
雷达图
箱线图
柱状图
折线图
饼图
常用图表
G2
D3.js
Echarts
Highcharts
BonsaiJS
ArborJS
Springy.js
Raphael.js
常用框架
Fusion
FairyGUI
常用配色
FreeMarker
Velocity
Thymeleaf
模板引擎
数据可视化
页面集成
区块集成
系统集成
文件
打印
截图
方式
邮件
聊天工具
订阅推送
渠道
数据共享
Quartz
Opencron
LTS
XXL-JOB
Elastic-job
调度
规则引擎
数据预测
数据预警
Docker
K8S
容器化
国际化
Maven
Gradle
Jenkins
自动化打包部署
Tomcat
Jetty
Nginx
Web容器&代理服务器
应用部署
数据应用
大数据技术知识体系
0 条评论
回复 删除
下一页
