首页  思维导图  详情

新闻客户端

2016-03-10 11:02:24   1  举报





AI智能生成

为你推荐

查看更多



中心主题是文本或讨论的核心思想或观点。它是作者或演讲者希望读者或听众理解和记住的关键信息。例如，如果一篇文章的中心主题是“全球变暖的影响”，那么文章的每个部分都应该围绕这个主题展开，讨论全球变暖的原因、影响以及可能的解决方案。同样，如果一个演讲的中心主题是“团队合作的重要性”，那么演讲者应该通过各种例子和故事来强调团队合作的价值，并给出如何建立和维护有效团队的建议。中心主题是使文本或讨论有条理、连贯和有意义的关键。

作者其他创作

大纲/内容

新闻客户端

数据仓库

数据仓库维护

业务层面

便捷性

高效

覆盖

产品

运营

客户端

数据层面

稳定

监控

日记量监控

调度监控

备份监控

脚本监控

及时

备份

数据备份

脚本备份

准确

数据清洗

数据过滤

结构清晰

数据逻辑模型

应用层

汇总层

流水层

基础层

缓冲层

可扩展性

维护管理

扩展

人工

自动化配置

大数据平台

AWS EMR

分布式离线计算框架

hadoop

核心组件

Map/Reduce

hdfs

yarn

应用场景

常用架构

rsync+hadoop+hive+yarn

rsync+hadoop+hbase+yarn+zookeepe

常用场景

大量的用户行为数据

常规报表开发

临时的计算需求

优点

扩展性强、横向扩展数千个节点

可分布式并行计算

开源项目、生态圈活跃，开源组件多如：hbase、mathout等

缺点

单输入单输出、任务内串行，中间结果IO消耗

无法响应秒级别的响应

分布式基于内存计算框架

spark

Scala

mapreduce

RDD

streaming

scala+spark+hadoop+yarn

数据挖掘

机器学习

多次操作特定数据集的应用场合

中间结果存储在内存上

快速迭代

无法满足异步更新状态如:增量修改

消耗内存较大通常1G的数据消耗5G的内存

集群不稳定、只适合做计算，不适合做服务

数据仓库工具

hive

数据仓库建立

数据分析

自定义UDF函数，完成复杂的分析逻辑

语法与mysql类似

自定义map/reduce的个数，从而调整并行计算的效率

可以兼容hadoop、spark的计算框架使用

表之间无法update操作

storm-分布式实时计算框架

Spout/Bolt/Topology

Zookeepe

JZMQ

Kafka+Storm+Redis+Mysql

flume+kafka+Storm+HDFS/Hbase

实时推送

实时反馈

快速响应

可分布式

存在单点故障

多进程锁难维护

数据库

MYSQL

优化索引

存储空间

热备

RDS

权限

集群管理

资源管理

任务调度管理

用户权限管理

新闻推荐

新闻推荐一期

算法

TFIDF

标签初始化

人工审核

余弦相似度

挂靠率

挂准率

系统

切词系统

词库系统

扩展性形成闭环

标签库系统

用户使用方便

新闻后台管理系统

数据接口

重连

队列

效果评估

ABTEST

离线数据预测

用户使用预测

存在问题

问题描述

相应改进方案

改进方案

人力评估

可行性评估

方案验证的方法

方案评估的报告

新闻推荐二期

用户模型模块

用户数据

行为特征数据

用户属性数据

相似用户

行为相似

新闻话题相似

新闻模型模块

推荐引擎

话题新闻推荐引擎

标签新闻推荐引擎

相似新闻推荐引擎

产品自定义新闻

热门新闻