千帆大模型平台
2024-03-17 14:51:34 1 举报AI智能生成
大模型平台
作者其他创作
大纲/内容
数据服务
数据集
文本对话
标注
有标注：固定格式有问有答的数据
无标注：固定格式有问无答的数据
排序
有排序：固定格式，一个问题多个答案，答案有优先级
无排序：固定格式，一个问题，一个答案
范文本无标注
文本数据，无固定格式要求
query问题集
固定格式，只有问题无回答
数据标注
在线标注
针对问题标注标注答案，可以使用AI大模型自动生成答案
众测标注
百度众测团队进行标记
数据处理
对文本对话无标注数据集、query问题集数据集进行数据处理
数据回流
服务返回的结果保存回数据集
知识库
将问答文档到生成知识库
大模型训练
SFT
全量更新
全量更新在训练过程中对大模型的全部参数进行更新(不推荐)
消耗资源且效果不一定比LoRA好
LoRA
LoRA在固定预训练大模型本身的参数的基础上，在保留自注意力模块中原始权重矩阵的基础上，对权重矩阵进行低秩分解，训练过程中只更新低秩部分的参数
资源消耗较少
推荐5-10次迭代
RLHF训练
1、训练或基于一个已有的大模型（LM）
可以直接使用千帆大模型平台提供的通用语言大模型
2、集合问答数据训练一个奖励模型（RM）
使用含排序已标注数据集进行训练
3、用强化学习（RL）方法微调LM
使用query问题集数据，加奖励模型进行强化训练（LM）。生成强化后的模型
模型管理
模型仓库
我的模型和预制模型
模型评估
使用已标注数据集评估模型
模型压缩
通过量化、稀疏化等方法在尽量减少精度损失的前提下，降低AI加速卡资源占用，提高推理速度。
大模型服务
服务管理
可以基于预制、或者自己训练的模型服务API服务
在线测试
在线测试服务
应用接入
应用管理、api调用是基于应用的莫要调用
调用统计
统计服务调用量
prompet工程
Prompt模板
提示词模板
Prompt优化
提示词优化
Prompt万能公式
定义角色+北京描述+定目标+补充要求 （附加：+例子）
插件应用
插件编排
关联插件增强回复
知识库插件
ChatFile插件
百度搜索插件
天气插件
域内知识搜索插件
自定义插件
0 条评论
下一页
