statmr2
2016-02-19 09:25:35 0 举报
Statmr2是一款强大的统计分析工具，专为R语言用户设计。它提供了丰富的统计方法和模型，帮助用户轻松地进行数据分析、预测和建模。Statmr2支持多种数据类型，包括连续型、离散型和时间序列数据，可以满足各种应用场景的需求。此外，Statmr2还具有直观的用户界面和丰富的文档资源，使得即使是初学者也能快速上手。总之，Statmr2是R语言用户进行统计分析的必备利器。
作者其他创作
大纲/内容
LogType &Channel ID
例如：Reducer 流量排前100的URL，设置上线为200。统计数据逐条加入，到达上线，将200条排序，删除末尾流量较少的100条，继续注入至200条，排序。。。最后留下100条为Rankstat的结果。有更好的算法提升约2倍。
Reduce by topN
LogEntity
Channelid & traffic
RankJobDriver
1. 用文件名获取日志类型和频道id，这两个参数决定了此条日志对应的统计项。2. 解析日志得出log实体并提取出统计项的实体，很多的统计项实体构成了map模块的输出
StatEntity
Reduce by rkey
Mapper
output by size
1. combiner的输入是由多个统计项实体构成的StatisticsEntity2. 同一个node内rkey相同的统计项进行合并，总统计条数到某一值就输出
筛选3张统计表
StatisticsEntity
Filename2StatType2RankKey
Reducer
StatJobDriver
HbaseJobDriver
Log2StatType
combiner
MAIN
merge(by rkey)
0 条评论
回复 删除
下一页
