statmr2
2016-02-19 09:25:35 0 举报
Statmr2是一款强大的统计分析工具,专为R语言用户设计。它提供了丰富的统计方法和模型,帮助用户轻松地进行数据分析、预测和建模。Statmr2支持多种数据类型,包括连续型、离散型和分类变量,可以满足各种实际应用场景的需求。此外,Statmr2还具有友好的用户界面和丰富的文档资源,使得即使是初学者也能快速上手并掌握其使用方法。总之,Statmr2是R语言用户进行统计分析的必备利器,值得一试。
作者其他创作
大纲/内容
LogType &Channel ID
例如:Reducer 流量排前100的URL,设置上线为200。统计数据逐条加入,到达上线,将200条排序,删除末尾流量较少的100条,继续注入至200条,排序。。。最后留下100条为Rankstat的结果。有更好的算法提升约2倍。
getStatFiles
Reduce by topN
LogEntity
Channelid & traffic
RankJobDriver
1. 用文件名获取日志类型和频道id,这两个参数决定了此条日志对应的统计项。2. 解析日志得出log实体并提取出统计项的实体,很多的统计项实体构成了map模块的输出
StatEntity
Reduce by rkey
Mapper
Reducer
output by size
get key&value
add to container
split statinfo
1. combiner的输入是由多个统计项实体构成的StatisticsEntity2. 同一个node内rkey相同的统计项进行合并,总统计条数到某一值就输出
筛选3张统计表
StatisticsEntity
Filename2StatType2RankKey
StatJobDriver
HbaseJobDriver
batchImport
Log2StatType
文件名获取文件类型,文件类型决定key和value的获取方式
copyStatDir
combiner
Hbase storager
MAIN
merge(by rkey)
0 条评论
下一页