白条数据模型技术架构
2016-04-22 13:48:24 4 举报
AI智能生成
白条数据模型技术架构是一种用于处理金融交易数据的系统。它采用了分布式数据库和缓存技术,以确保数据的安全性和可靠性。此外,它还使用了大数据分析和机器学习算法,以帮助用户更好地管理他们的财务状况。 在白条数据模型技术架构中,每个用户都有一个唯一的账户,用于存储他们的交易记录和其他相关信息。这些信息被存储在多个节点上,以确保数据的高可用性和可扩展性。此外,该系统还提供了丰富的API接口,方便第三方应用程序与其进行集成。 总之,白条数据模型技术架构为用户提供了一个安全、可靠、易用的平台,帮助他们更好地管理自己的财务状况。
作者其他创作
大纲/内容
白条数据模型技术架构
爬虫功能区
开发语言:
java 为主
python为辅
技术框架选型:
httpclient, jsoup (静态抓取 &解析)
casperjs,phantomjs(动态请求&抓取&解析)
chronos(爬虫定时任务配置)
selenium(自动化测试)
mesos(资源调度)
marathon(任务调度)
数据存储选型
mongo集群,多节点备份
redis集群
数据挖掘功能区
python为主
技术框架选用:
jieba (自然语言分词)
scikitlearn ,(数据预处理,数据分析,数据挖掘)
Theano(深度学习)
hadoop,spark(MR计算任务基础框架)
HDFS
RDD
0 条评论
下一页