analytics-sink流程图
2020-12-01 14:52:49 0 举报
sadas
作者其他创作
大纲/内容
将analytics.es topic中数据写入到es上
kStream
elasticSearchStream
MdmMessage
会根据json和指定字段处理返回MapEvent对象
KafkaMessage
Message
branch
主要流，根据type类型进行branch，执行不同的操作
doRoute
transform
buildMsgpacktype=2
根据SaSchema的StoredType类型来生成不同类型的消息（hdfs，kafka，es，mdm）
buildJsontype=1
hdfsStream
会根据json和指定字段划分出多个MapEvent对象，使用List存储
会优先写入hdfs中，进行存储，根据type类型划分存储对应的文件名
kafka-topic
archiveStream
HdfsMessage
toList
根据生成不同类型的消息对象进行分流，存储在kafka的不同topic下
该方法主要是根据eventId从数据库中的sa_schema和sa_schema_column两表获取数据，生成多个SaSchema，再根据saschema对象获取到SaSchemaColumns，将处理好的EventInput的字段数据与SaSchemaColumns字段名形成kv格式的map
analytics.source数据源
将analytics.hdfs topic中数据写入到hdfs上
对json中的字段进行特殊处理
ElasticSearchMessage
HDFS
0 条评论
回复 删除
下一页
