ES方案
2024-07-09 10:47:24 0 举报
登录查看完整内容
ES方案是一种基于深度学习的自然语言处理技术,主要用于情感分析、文本分类、关键词提取、自动摘要、文本生成等领域。本方案采用先进的深度学习模型,如循环神经网络(RNN)、长短时记忆网络(LSTM)和门控循环单元(GRU)等,结合大量标注数据训练,可以实现对文本的高效处理和理解。用户可以根据自己的需求选择合适的模型和参数,通过调用API接口实现对文本的自动分析和处理,大大提高了工作效率。
作者其他创作
大纲/内容
具体见时序图
FLOW
用户回写
主表
公司ES平台
大数据
识别主附表
id,_p 只更新这两个主表字段至ES
appid(下拉)
配置翻译
根据库中关联关系,识别哪些需要分词,再建联去mysql捞对应副表数据by主表的外键
入库资源
DAG
由于子副表结构不定向,且过于复杂,子表瓶颈转移至主表->统一由大数据推往current表
HR-Core
难点:1、查新value还是旧value?2、查出来的大json,无法得知结构,如何接
难点:1、无法得知大json结构,就无法拼接请求体2、查出的结构,可能没有_p,要主动拼上,但拼到哪一层不知道3、1对多的副表不能少,因为是副表统一覆盖的
upsertES
特殊字符过滤
副表
中台实时同步current表至ES
业务人员
否
提供离职信息【回调】
mysql数据库
i18n
根据canal变更的字段,和索引配置,决定计算哪个分词
棱镜
1:n的副表字段,整合到主表的某一个_p字段、或副表的某一个字段
例如审批中心:多表级联,链路4-5条,实现成本非常高,出错率也很大。
方案二
翻译联动
资源拉取
索引、表名、字段、IP
无
B端页面
直接计算分词,id拼接直接upsert
已知index,关联字段,查找ES
直接计算主表分词,id拼接
联想词(V3)
是否源语言
Gundam
业务系统
索引配置主附表关系
方案5专项解决实时链路
配置新字段
间隔分词
业务方更新mtime,故我们只需订阅主表变更即可
存在则解析json串,拿到对应的_p value
基础数据
配置分词格式、DB
是否主表有关联副表
摘要提取
resource
查出对应的所有副表,重新聚合分词、或者1v1则不用聚合,放入_p字段
连接器
分词之后替换回json串
1:n
关键字提取
元素id
方案五
是
分词功能(V1)
条件
离职申请
ES配置
FE
app资源拉取
方案三
查询人员信息
拼音拓展
入库中台
每个节点
语种(枚举)
标准+自定义语料
对比中台数据库,是否存在需要分词的数据
拿到主附表字段了,计算分词,聚合ids和分词字段
新增页面
语义拓展
配置资源
精准搜索平台
是否为主表
canal
C端页面
结果
页面元素语言拉取
方案一
内容
离线任务方案
元数据
元素资源拉取
拼接到json里,upsert至ES
直接订阅ES变更
强写分词结果
idindexfield:value
查询改写(V2)
方案四
根据前置条件拉取翻译结果
副表更新
同义词处理
批量翻译
资源库
redis
停用词过滤
业务主动更新类大搜数据->
upsert ES
只是为了 找到id集合,不需要大json
企微
推至大数据、分词后放入search_current_result
发信息模板
type(枚举)
有
0 条评论
回复 删除
下一页