文本处理
2016-11-30 11:44:12 0 举报
文本处理是计算机科学和信息技术中的一个重要领域,主要涉及对文本数据的收集、存储、分析、转换和展示。这个过程可能包括词法分析、句法分析、语义分析、情感分析等多个步骤。文本处理技术被广泛应用于搜索引擎优化、自然语言处理、信息提取、机器翻译等领域。通过使用先进的算法和技术,如深度学习和机器学习,文本处理可以大大提高数据处理的效率和准确性。然而,文本处理也面临着一些挑战,如处理大规模数据、处理不同语言和文化背景下的文本、保护用户隐私等问题。
作者其他创作
大纲/内容
规则库/黑图库
content
线上规则表
【生成句向量】RNN/LSTM
广告改写后置服务
feed_content
后置(状态机)
【GAN训练】
验证规则
验证结果写入sample_validate.py
后置改写后的抓取来源文章
审核
架构
【文本预处理】1、去英文及特殊符号2、分词3、除去停用词4、除去词频过小的词
sample_validate.py
任务表
前置改写后全网来源
图片特征挖掘
广告改写前置服务
账号挖掘
外媒
策略服务
前置(开放平台)
开发平台(透穿)
疑似广告特征库
离线广告挖掘
new_feed_content
前置改写后抓取来源
抓取来源
全网来源
文本特征挖掘
候选表
【生成词向量】word2vec
待审核规则写入数据表mysql_insert.py
结果表
点击上线
点击查看
规则写入线上表change_mysql.py
feed_content二维码特征phash特征
0 条评论
下一页