ES方案
2024-07-09 10:47:24 0 举报
登录查看完整内容
ES方案是一种基于深度学习的自然语言处理技术，主要用于情感分析、文本分类、关键词提取、自动摘要、文本生成等领域。本方案采用先进的深度学习模型，如循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）等，结合大量标注数据训练，可以实现对文本的高效处理和理解。用户可以根据自己的需求选择合适的模型和参数，通过调用API接口实现对文本的自动分析和处理，大大提高了工作效率。
作者其他创作
大纲/内容
具体见时序图
FLOW
用户回写
主表
公司ES平台
大数据
识别主附表
id，_p 只更新这两个主表字段至ES
appid(下拉)
配置翻译
根据库中关联关系，识别哪些需要分词，再建联去mysql捞对应副表数据by主表的外键
入库资源
DAG
由于子副表结构不定向，且过于复杂，子表瓶颈转移至主表->统一由大数据推往current表
HR-Core
难点：1、查新value还是旧value？2、查出来的大json，无法得知结构，如何接
难点：1、无法得知大json结构，就无法拼接请求体2、查出的结构，可能没有_p，要主动拼上，但拼到哪一层不知道3、1对多的副表不能少，因为是副表统一覆盖的
upsertES
特殊字符过滤
副表
中台实时同步current表至ES
业务人员
否
提供离职信息【回调】
mysql数据库
i18n
根据canal变更的字段，和索引配置，决定计算哪个分词
棱镜
1:n的副表字段，整合到主表的某一个_p字段、或副表的某一个字段
例如审批中心：多表级联，链路4-5条，实现成本非常高，出错率也很大。
方案二
翻译联动
资源拉取
索引、表名、字段、IP
无
B端页面
直接计算分词，id拼接直接upsert
已知index，关联字段，查找ES
直接计算主表分词，id拼接
联想词（V3）
是否源语言
Gundam
业务系统
索引配置主附表关系
方案5专项解决实时链路
配置新字段
间隔分词
业务方更新mtime，故我们只需订阅主表变更即可
存在则解析json串，拿到对应的_p value
基础数据
配置分词格式、DB
是否主表有关联副表
摘要提取
resource
查出对应的所有副表，重新聚合分词、或者1v1则不用聚合，放入_p字段
连接器
分词之后替换回json串
1:n
关键字提取
元素id
方案五
是
分词功能（V1）
条件
离职申请
ES配置
FE
app资源拉取
方案三
查询人员信息
拼音拓展
入库中台
每个节点
语种(枚举)
标准+自定义语料
对比中台数据库，是否存在需要分词的数据
拿到主附表字段了，计算分词，聚合ids和分词字段
新增页面
语义拓展
配置资源
精准搜索平台
是否为主表
canal
C端页面
结果
页面元素语言拉取
方案一
内容
离线任务方案
元数据
元素资源拉取
拼接到json里，upsert至ES
直接订阅ES变更
强写分词结果
idindexfield:value
查询改写（V2）
方案四
根据前置条件拉取翻译结果
副表更新
同义词处理
批量翻译
资源库
redis
停用词过滤
业务主动更新类大搜数据->
upsert ES
只是为了 找到id集合，不需要大json
企微
推至大数据、分词后放入search_current_result
发信息模板
type(枚举)
有
0 条评论
回复 删除
下一页
