2-Flink 简介 AND 编程模型
2023-09-02 10:10:54 4 举报Flink 简介 AND 编程模型
作者其他创作
大纲/内容
与 SparkStream的区别
版本
定义流开始 定义流结束可以等数据结束之后在计算有界流的数据可以排序 不需要有序读取批处理
SQL构建在Table之上 需要构建Table环境Table可以和DataStream和DataSet相互转换SQL最终会转为流式执行计划
定义流开始 没有结束会不停的产生数据 必须不停的处理无界流的数据我们得以什么顺序去读 推断结果的完整性流式处理
当前最新 1.17.1
有界流
可以相互转换
首选
Data Source
ProcessFunction是Flink最底层的接口可以处理单个事件和多个事件提供了事件和状态的细粒度控制灵活性高 但开发很复杂 高手
流批一体早期-->做离线现在-->做实时
离线数据
结果
事件日志
Flink
在ProcessFunction基础上多了一些算子支持 Java + Scala预先定义了很多函数DataStream是流式处理 DataSet是批处理
1.所有流式计算场景2.正确性保证3.分层API4.聚集运维5.大规模计算6.性能卓越
历史
APP
无界流
Flink-->流批一体
Stateful Stream Processing
编程模型
架构模型：Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor，Flink 在运行时主要包含：Jobmanager、Taskmanager 和 Slot容错机制：一个RDD 一个CheckPoint速度：一个秒级 一个毫秒级一个流批一体 一个准实时
特点
实时数据
1.9x新融合阿里 9000万欧买下Flink
数据存储
DataStream DataSet API
任何类型的数据都可以形成一种事件流
分层API
SQL&Table API
0 条评论
下一页
为你推荐
查看更多
