大模型的发展历程
2023-10-30 17:02:52 0 举报大模型的发展历程
作者其他创作
大纲/内容
2022年11月
2018年
2020年
OpenAI公司推出GPT-3，模型参数规模1750亿，在零样本学习任务上实现了巨大性能提升
大模型的发展历程
自然语言处理模型Word2Vec诞生
CNN为代表的传统神经网络模型占主导地位
•GPT4正式发布，包含1.8 万亿参数，采用混合专家模型• 百度发布“文心一言”，国内大模型研发热潮涌现
2005年
2023年3月
2022年3月
2017年
中国发布的10亿以上参数大模型超过79个，“百模大战” 态势初步形成
AlexNet为代表的新一代模型在规模和性能上超越传统方法
搭载GPT3.5的ChatGPT正式发布
• 国家人工智能标准化总体组下设立大模型标准化专题组，启动标准编制工作• 《生成式人工智能服务管理暂行办法》公布
2023年7月
微软发布BEiT- 3模型，标志多模态大模型时代到来
•OpenAI发布GPT-1（Decoder） •Google发布BERT(Encoder) •预训练大模型成为自然语言处理领域的主流
2013年
RLHF算法被提出
OpenAI公司推出GPT-2，模型参数规模15亿，Decoder技术路线优势显现
2019年
2022年8月
2023年5月
2012年
Google提出Transformer架构，奠定了大模型预训练算法架构的基础
0 条评论
下一页
