主站二期

HDFS文件近实时路径： hadoop fs -ls /collect_data

抽取

mongoDB作业相关

近实时用到hive表 ods_common_school_class_bookods_que_unit_book_infodm_study_student_unit_base_semesterstg_q_unit_tag_relmid_user_role_class_semesterods_common_units_subjectods_common_teacher_classods_common_classods_common_users

mysql

hbase

主站web页面生产环境

接近实时flume

qa_treasury stg层

每1hour每10min

topic：notifycustom_question、custom_work、login、plan、circle、teach

mysql除作业之外

hiveqa_treasury

生产topicbackend_userlog

生产环境xa-server分发埋点

数据微服务dataservice-teachdataservice-kpdiagdataservice-interactionsdataservice-misc

调度/每天凌晨1:00

需等zakaban调度执行成功

开发topicbackend_userlog

实时流tracking-data-etl清洗

HDFS文件仓库路径： hadoop fs -ls /collect_data/userlog/2018xxxx

ES

镜像（实时镜像）

触发埋点

3min/flume