00 大模型LLM+RAG
2024-06-25 14:23:29 3 举报
知识切分方面,做了固定字符切分的效果验证,分析索引噪音点,利用大模型做了大量的降噪处理; 在query改写方面,利用大模型做了更加明确的意图抽取,并对用户的query进行降噪的探索; 在数据召回方面,embedding模型基于bge、voyage和cohere做了大量的测评,探索向量+分词的召回策略; 在后置处理优化上,做了知识的去重以及rerank的探索等。
作者其他创作
大纲/内容
数据管理底座、模型中心、多引擎中心、召回策略中心
Text2Cypher能力
分词
多引擎中心
分词索引
存储
图谱召回
query改写
评测能力
增删改查能力
知识切片
知识库
理解式模型
向量索引
分词召回
数据管理底座
分词数据库
embedding服务:voyage bge
prompt提示词管理中心
QA泛化
Text2Cypher
分词索引数据同步
向量召回
图谱数据库
query改写能力
知识窗口
图谱引擎
血缘管理能力
向量数据库
知识加工能力
embedding
底层模型能力支撑
生成式模型
模型能力支撑
query route 能力
知识血缘
Rerank服务(多路召回结果重排)
引擎支撑
图谱索引
召回策略配置能力(对上面的召回链接进行裁剪配置)
多路召回能力
分词引擎
向量引擎
大模型服务
RAG技术架构:一底座三中心在工程架构上,每个子系统按照能力划分子Modular,在上层配置调度策略并统一调度,符合Modular RAG的技术规范;在检索技术上,围绕着检索做了大量的索引降噪、多路召回、知识去重、重排等操作,符合Advanced RAG的技术规范。
图谱索引数据同步
向量索引数据同步
知识合并
引用式生成能力
版本切换能力
关系抽取
文章主题抽取
数据召回
chunk服务(知识切片)
引擎同步能力
0 条评论
下一页