大模型
2024-04-13 18:24:59 16 举报AI智能生成
关于大模型的知识点
作者其他创作
大纲/内容
概念
具有大规模参数和复杂计算结构的机器学习模型
大小模型区别
当模型的训练数据和参数不断扩大，大模型会比小模型多一种涌现能力
相关概念区分
大模型（Large Model）
超大模型
大语言模型（Large Language Model）
GPT
GPT 和ChatGPT都是基于Transformer架构的语言模型，主要解决一个问题
chatCPT
专注于对话和交互式对话，经过特定的训练，以更好地处理多轮对话和上下文理解。
发展史
萌芽期（1950-2005）：以CNN为代表的传统神经网络模型阶段
探索沉淀期（2006-2019）：以Transformer为代表的全新神经网络模型阶段
迅猛发展期（2020-至今）：以GPT为代表的预训练大模型阶段
特点
·巨大的规模
· 涌现能力
· 更好的性能和泛化能力
· 多任务学习
· 大数据训练
· 强大的计算资源:
· 迁移学习和预训练
· 自监督学习
· 领域知识融合
· 涌现能力
· 更好的性能和泛化能力
· 多任务学习
· 大数据训练
· 强大的计算资源:
· 迁移学习和预训练
· 自监督学习
· 领域知识融合
分类
NLP
CV
多模态大模型
泛化与微调
泛化：指一个模型在面对新的、未见过的数据时，能够正确理解和预测这些数据的能力
微调：给定预训练模型（Pre-trained model），基于模型进行微调
微调的方法
Feature augmentation
Fine-tuning
Transfer learning
0 条评论
下一页
