LLM的app应用流程
2024-11-07 21:33:55 0 举报LLM的app应用流程
作者其他创作
大纲/内容
User
LLM API
UI
内容分类过滤器扫描output中是否存在有害或有攻击性的内容
输出存储在 LLM 缓存中或从 LLM 缓存中提取
优化后的Prompt发送给LLM
Service
query插入到原始Prompt中
用户通过UI发送query给LLM
Embedding Model
数据过滤器确保LLM不使用未授权的数据
过滤完的片段插入到原始的Prompt中
原始的Prompt
Vector Database
Data Filter
内容分类过滤器 or 过滤器
Prompt优化工具
LLM Output
LLM Host
用query的embeddind信息，从向量数据库根据相似度匹配，获得文档片段
LLM Cache
0 条评论
下一页
