大数据相关技术
2015-08-21 09:13:58 0 举报AI智能生成
大数据第六章内容知识整理
作者其他创作
大纲/内容
大数据相关技术
产生
google和amazon首先使用，facebook和 yahoo跟进
发展
数据管理技术是产品基础，关系数据库不能很好的工作，投入研究带来技术突破。
各种开源实践
处理环节
数据采集
etl方法和工具
建立数据源的评估
数据存储
分布式文件系统
分布式数据库
事务性数据库
分析性数据库
访问接口及查询语言
数据计算和计算模式
大数据查询分析计算
hbase，hlive， cassandra，impala，hana等
批处理计算
hadoop，mapreduce，spark等
流式计算
迭代计算
图计算
google的pregel，facebook的giraph等。
内存计算
hana，spark等
数据展示与交互
数据流线化，任务并行化，管道并行化和数据并行化
信息可视化
数据挖掘的基础知识
数据准备
数据挖掘
结果表达和解释
数据挖掘算法分类
监督学习
非监督学习
半监督学习
数据挖掘常见算法
分类
找到分类方法
聚类
定义相似度和距离
回归和预测
线性回归，逻辑回归
时间序列分析
关联规则分析
个性化推荐
利用推荐过滤系统，在恰当的时间里推荐恰当的物品给恰当的人
与搜索不同，推荐用户不需要输入，用应用过程中，根据行为做个性化推荐。
电商推荐模型算法
非个性化推荐
人口统计化推荐
用于简单用户新用户等
基于内容的推荐
基于用户协同过滤
基于项目的协同过滤
0 条评论
回复 删除
下一页
