小流量统计流程

本地目录

接口

hadoop集群

写入mysql

更新hive表

查询/返回数据

combine_log

get_etl_session_log

Map/Reduce

expid_stat拆分ID统计

NA/PC/WAP基本统计

session_log

1.用get_simple_combine_log函数获取hadoop集群上的combine_log；2.通过Map/Reduce获取所需字段信息，并将文件输出到集群；3.用copydata_to_local函数，将步骤2中生成的文件拷贝到本地；4.顺序读取目录中的文件，并针对每个文件进行处理，将数据写入mysql；5.通过接口查询并返回数据，显示到前端。

hive/select

copydata_to_local

readfile

get_simple_combine_log

hive/alter