ClickHouse
2022-07-22 11:15:50 1 举报AI智能生成
ClickHouse
作者其他创作
大纲/内容
一、ClickHouse初级
第1章 ClickHouse入门
1.1 ClickHouse的特点
1.1.1 列式存储
1.1.2 DBMS的功能
1.1.3 多样化引擎
1.1.4 高吞吐写入能力
1.1.5 数据分区与线程级并行
1.1.6 性能对比
第2章 ClickHouse的安装
2.1 准备工作
2.1.1 确定防火墙处于关闭状态
2.1.2 CentOS取消打开文件数限制
2.1.3 安装依赖
2.1.4 CentOS取消SELINUX
2.2 单机安装
2.2.1 在hadoop102的/opt/software下创建clickhouse目录
2.2.2 将/2.资料/ClickHouse下4个文件上传到hadoop102的software/clickhouse目录下
2.2.3 将安装文件同步到hadoop103、hadoop104
2.2.4 分别在三台机子上安装这4个rpm文件
2.2.5 修改配置文件
2.2.6 启动Server
2.2.7 三台机器上关闭开机自启
2.2.8 使用client连接server
第3章 数据类型
3.1 整型
3.2 浮点型
3.3 布尔型
3.4 Decimal 型
3.5 字符串
3.6 枚举类型
3.7 时间类型
3.8 数组
第4章 表引擎
4.1 表引擎的使用
4.2 TinyLog
4.3 Memory
4.4 MergeTree
4.4.1 partition by 分区(可选)
4.4.2 primary key主键(可选)
4.4.3 order by（必选）
4.4.4 二级索引
4.4.5 数据TTL
4.5 ReplacingMergeTree
4.6 SummingMergeTree
第5章 SQL操作
5.1 Insert
5.2 Update 和 Delete
5.3 查询操作
5.4 alter操作
5.5 导出数据
第6章 副本
6.1 副本写入流程
6.2 配置步骤
第7章 分片集群
7.1 集群写入流程（3分片2副本共6个节点）
7.2 集群读取流程（3分片2副本共6个节点）
7.3 3分片2副本共6个节点集群配置（供参考）
7.4 配置三节点版本集群及副本
7.4.1 集群及副本规划（2个分片，只有第一个分片有副本）
7.4.2 配置步骤
7.5 项目为了节省资源，就使用单节点，不用集群
二、ClickHouse高级
第1章 Explain查看执行计划
1.1 基本语法
1.2 案例实操
1.2.1 新版本使用 EXPLAIN
1.2.2 老版本查看执行计划
第2章 建表优化
2.1 数据类型
2.1.1 时间字段的类型
2.1.2 空值存储类型
2.2 分区和索引
2.3 表参数
2.4 写入和删除优化
2.5 常见配置
2.5.1 CPU资源
2.5.2 内存资源
2.5.3 存储
第3章 ClickHouse 语法优化规则
3.1 准备测试用表
3.2 COUNT 优化
3.3 消除子查询重复字段
3.4 谓词下推
3.5 聚合计算外推
3.6 聚合函数消除
3.7 删除重复的 order by key
3.8 删除重复的 limit by key
3.9 删除重复的 USING Key
3.10 标量替换
3.11 三元运算优化
第4章 查询优化
4.1 单表查询
4.1.1 Prewhere替代where
4.1.2 数据采样
4.1.3 列裁剪与分区裁剪
4.1.4 orderby 结合 where、limit
4.1.5 避免构建虚拟列
4.1.6 uniqCombined替代distinct
4.1.7 使用物化视图
4.1.8 其他注意事项
4.2 多表关联
4.2.1 准备表和数据
4.2.2 用 IN 代替 JOIN
4.2.3 大小表JOIN
4.2.4 注意谓词下推（版本差异）
4.2.5 分布式表使用GLOBAL
4.2.6 使用字典表
4.2.7 提前过滤
第5章 数据一致性（重点）
5.1 准备测试表和数据
5.2 手动 OPTIMIZE
5.3 通过 Group by 去重
5.4 通过 FINAL 查询
5.4.1 老版本测试
5.4.2 新版本测试
第6章 物化视图
6.1 概述
6.1.1 物化视图与普通视图的区别
6.1.2 优缺点
6.1.3 基本语法
6.2 案例实操
6.2.1 准备测试用表和数据
6.2.2 创建物化视图
6.3.3 导入增量数据
6.3.4 导入历史数据
第7章 MaterializeMySQL引擎
7.1 概述
7.1.1 特点
7.1.2 使用细则
7.2 案例实操
7.2.1 MySQL开启binlog和GTID模式
7.2.2 准备MySQL表和数据
7.2.3 开启ClickHouse物化引擎
7.2.4 创建复制管道
7.2.5 修改数据
7.2.6 删除数据
7.2.7 删除表
第8章 常见问题排查
8.1 分布式DDL某数据节点的副本不执行
8.2 数据副本表和数据不一致
8.3 副本节点全量恢复
8.4 数据副本启动缺少zk表
8.5 ZK table replicas数据未删除，导致重建表报错
8.6 Clickhouse节点意外关闭
8.7 其他问题参考
三、ClickHouse监控及备份
第1章 ClickHouse监控概述
第2章 Prometheus&Grafana的安装
2.1 安装Prometheus
2.1.1 上传安装包
2.1.2 解压安装包
2.1.3 修改配置文件 prometheus.yml
2.1.4 启动Prometheus Server
2.2 Grafana安装
2.2.1 上传并解压
2.2.2 启动Grafana
第3章 ClickHouse配置
3.1 修改配置文件
3.2 重启ClickHouse
3.3 访问Web查看
第4章 Grafana集成Prometheus
4.1 添加数据源Prometheus
4.2 添加监控
第5章 备份及恢复
5.1 手动实现备份及恢复
5.1.1 创建备份路径
5.1.2 执行备份命令
5.1.3 将备份数据保存到其他路径
5.1.4 恢复数据
5.2 使用clickhouse-backup
5.2.1 上传并安装
5.2.2 配置文件
5.2.3 创建备份
5.2.4 从备份恢复数据
5.2.5 其他说明
0 条评论
下一页
