Qwen大语言模型
2024-06-06 10:03:35 12 举报Qwen大语言模型是一种先进的自然语言处理模型，广泛应用于智能助手、文本生成、机器翻译等领域。它可以理解和生成人类语言，通过大规模的训练数据学习并模拟人类的语言模式。本流程图详细展示了Qwen模型训练时的数据格式，分别为input_ids, labels, attention_mask标签的构建，以及Qwen输入prompt模板。
作者其他创作
大纲/内容
nl_token
assistant_input_ids
user
im_end
system
assistant
attention mask
<|im_start|>assistant
pad_id
im_start
user_input_ids
system \ You are a helpful assistant.
labels
<|im_start|>user
ignore_id
input_ids
0 条评论
下一页
