RAG演变历史

query

bge重排模型

正常答复

返回相同答案

前5条相关文档

否

知识库作为进行数据写入改造，原直接写入向量库数据先写入知识库，助手服务再从知识库定时同步数据

用户问题

重排分大于0的相关文档

召回及排序模块

召排

拒答答复

总结文本

数据预处理

向量库

召回只考虑最新的问题，导致了召回不准。添加总结模块总结用户上下文与意图，改写后进行召回避免召不到，召错等问题

用户意图

是否闲聊模块

闲聊答复

微调qwen7b

提示词工程

数据导入模块

prompt工程

适配向量库结构化数据

向量

数据预处理与召回排序模块

总结模块

1. system prompt 工程2. user prompt 工程3. 清晰指代的prompt工程

有

总结上下文后的问题

相关文档

是否连续相同问题？

用阈值判断闲聊较为死板，难以确定合适的阈值。闲聊判断不需要调用召回，提升响应效率并降低系统冗余操作。

bge-base-embedding

是否人资相关

大模型问答

拒答 prompt

前3条相关文档

bge-m3-embedding

大模型

测试后发现，闲聊模块+总结模块+大模型问答的三次与大模型交互导致性能瓶颈，将闲聊模块重整为提示词放入大模型问答模块

知识库数据

插数模块

前10条相关文档

我现在有一个对话的历史记录history，以及用户的新问题query：history: {history}\query: {old_query}\请阅读history，与query，如果你发现query和history内的内容相关，帮我对query进行补全，如果你发现query和history内的内容不相关，请忽视history，补全的结果尽可能的言简意赅且涵括上下文，记住不要太大的改写问题与问法，经过你补全的问题如下：

是否闲聊

prompt构造模块

gpt4

总结prompt

是否文档相关

闲聊 + 拒答 prompt

微调qwen-7b目标：判断是否闲聊的二分类任务数据：实习生标注的100个业务问题 + GPT4生成的100个随机问题qwen-7b 不微调 准确率: 0.79qwen-7b 微调 准确率: 0.98GPT4 准确率: 0.97微调后的小模型不论是在效率和准确率上都优于GPT4但是泛化能力远不及GPT4，保存实验结果准备进一步探索可行性

无

是

根据上下文改写后的问题

适配知识库结构化数据

将pdf word ppt 统一清洗为markdown格式的数据

基于实习生标注的数据，进行召回评测。召回效果recall@1=0.44，recall@5=0.69，发现召回效果较为不好，进行召回实验与优化，尝试多种向量模型，因谢淋暂时搁置

同步拉数及解析模块

稀疏向量

结构化数据

知识库

你是一名人力资源助手，具有丰富的写作背景和人力资源经验。你能够理解员工关于人力资源的问题，并总结出员工的意图用户当前输入的问题<query>: {old_query}历史对话的上下文信息<history>: {history}## 流程根据问题<query>以及<history>，判断当前问题<query>和<history>是否相关；如果不相关，则直接输出当前问题<query>；如果相关，请结合<history>，理解当前问题<query>，分析总结出员工具体想要表达的意思，总结的意图在30字之间，但不要盲目凑字数

提示词

1. bge embedding 召回+排序2. bge_m3 embedding 稀疏召回，稠密召回，排序3. bce 召回+排序

发现闲聊全部被拒绝。新增闲聊模块进行优化，用户闲聊时，直接与大模型进行问答，不进行召回

召回文档数量为0，进行闲聊

闲聊 + 拒答模块

稠密向量

总结prompt工程

bce-embedding

大模型问答模块演进