数据特点
2021-02-23 19:41:06 32 举报
业务数据到大数据的数据时间特点
作者其他创作
大纲/内容
①
落库mysql创建时间createDate
⑤
③
channel监听crm传输时间updateTimestamp
1. ①和②关系 (1)busiTime == createDate :业务发生当天落库(正常情况下) (2)busiTime < createDate :业务发生之后的某一天才落库(比如补传)2. ②和③关系 (1)createDate == lastModifieddate :落库后没有更新过 (2)createDate < lastModifieddate : 落库后的某一天发生了数据变更3. ③和④关系 (1)lastModifieddate == updateTimestamp:传输crm端没有延迟 (2)lastModifieddate < updateTimestamp:传输crm端有延迟跨天4. ④和⑤关系 (1)updateTimestamp == consumerTimestamp:传输过程crm端到大数据消费端没有延迟 (2)updateTimestamp < consumerTimestamp:传输过程crm端到大数据消费端没有延迟跨天5. ③和⑤关系 (1)lastModifieddate == consumerTimestamp:传输没有延迟 (2)lastModifieddate < consumerTimestamp:传输延迟跨天注意: 实际数据处理时④和⑤同属于传输过程可以当做一个过程来处理以consumerTimestamp为最终时间, 所以font color=\"#ff0000\
大数据端消费落hive库时间consumeTimestamp
④
②
业务业务时间busiTime
前提:所有时间都是到天的,busiTime<=createDate<=LastmodifiedDate<=updateTimestamp<=consumeTimestamp
mysql新增或变更监听时间LastModifiedDate
0 条评论
下一页