大数据课程体系
2024-07-31 13:06:58 0 举报AI智能生成
大数据课程体系
作者其他创作
大纲/内容
VMware中安装CentOS7
下载CentOS7安装包
新建虚拟机
安装操作系统
Hadoop3.x集群环境配置
关闭防火墙
设置固定IP
修改主机名
添加用户
修改用户权限
新建目录
安装JDK
克隆虚拟机
配置主机IP地址
大数据开发总体架构
Hadoop简介
配置各节点SSH无秘钥登录
搭建Hadoop x集群
HDFS
HDFS简介
HDFS体系架构与数据存储原理
HDFS命令行操作：ls/put/moveFromLocal/get/rm/mkdir/cp/mv/appendToFile/cat
HDFS Web界面操作
HDFS Java API操作：读取数据
HDFS Java API操作：创建目录
HDFS Java API操作：创建文件
HDFS Java API操作：删除文件
MapReduce
MapReduce简介
MapReduce设计思想
YARN工作流程
MapReduce切片机制原理
MapReduce数据处理流程
案例：单词计数
案例：求平均分
ZooKeeper
ZooKeeper简介
ZooKeeper架构与数据模型
ZooKeeper集群环境搭建
ZooKeeper命令行操作
ZooKeeper JavaAPI操作：创建节点
ZooKeeper JavaAPI操作：修改节点
ZooKeeper JavaAPI操作：查看节点
ZooKeeper JavaAPI操作：删除节点
案例：监听服务器动态上下线
Hbase
Hbase简介
HBase2.x分布式集群搭建
Hbase Shell命令行操作
Hbase JavaAPI操作：创建表
Hbase JavaAPI操作：添加数据
Hbase JavaAPI操作：查询数据
Hbase JavaAPI操作：删除数据
Hbase过滤器：行键过滤器
Hbase过滤器：列族过滤器
Hbase过滤器：列过滤器
Hbase过滤器：值过滤器
Hbase过滤器：单列值过滤器
Hbase过滤器：多条件过滤器
Hive
Hive基本概念及数据单元
Hive运行架构与原理
Hive三种运行模式
Hive内嵌模式安装与验证
Hive本地模式安装与验证
Hive远程模式安装与验证
Hive内部表（管理表）：创建并添加数据
Hive内部表（管理表）：导入数据
Hive外部表：创建并导入数据
Hive内部表（管理表）与外部表的区别
Hive表分区概念原理
Hive表分区操作
Hive表分桶概念原理
Hive表分桶操作
Hive自定义函数UDF：隐藏手机号中间4位
Hive JDBC读取表数据
案例：Hive整合Hbase概念和原理
案例：Hive整合Hbase操作
案例：搜狗用户搜索词分析
案例：需求分析及数据导入
案例：用户访问数量统计
案例：链接排名与用户点击的相关性
案例：上网时间段与访问量分析
案例：域名及访问量分析
Kafka
Kafka架构原理
Kafka主题与分区
Kafka分区副本
Kafka消费者组
Kafka集群环境搭建
Kafka命令行操作
Kafka JavaAPI 生产者
Kafka JavaAPI 消费者
Kafka JavaAPI 顺序消费
Flume
单节点架构
组件介绍
多节点架构
安装与简单使用
Flume日志监控：输出到控制台
Flume日志监控：写入HDFS
Flume日志监控：Flume整合Kafka
Storm
Storm集群环境搭建
案例：单词计数
Storm整合Kafka
Scala
Centos7中安装Scala
Scala变量声明
表达式
循环
方法
函数
数组
List
Map映射
元组
Set
类的定义
单例对象
伴生对象
主构造器
辅助构造器
抽象类
特质
Spark
Spark Standalone架构
Spark On YARN架构
Spark Standalone集群搭建
Spark 应用程序提交
Spark Shell使用
什么是RDD
创建RDD
RDD算子：map算子
RDD算子：filter算子
RDD算子：flatMap算子
RDD算子：reduceByKey算子
RDD算子：union算子
RDD算子：sortBy算子
案例：Spark RDD单词计数流程分析
案例：Spark RDD单词计数代码编写
什么是Spark SQL
Spark SQL运行架构
DataFrame和DataSet
Spark SQL基本使用
Flink
架构原理
批流一体
DataStream
Checkpoint
Flink SQL
任务调度
负载均衡
状态管理
Runtime
执行计划
Flink性能监控与调优
Flink + ES
Flink + Kafka
Flink + Pulsar
Flink + ClickHouse
Flink + Doris
0 条评论
下一页
