大模型的发展历程
2023-09-18 20:35:30 3 举报大模型的发展历程
作者其他创作
大纲/内容
· GPT4正式发布，包含1.8万 亿参数，采用混合专家模型· 百度发布“文心一言”，国 内大模型研发热潮涌现
RLHF算法被提出
搭载GPT3.5的ChatGPT正式发布
2020年
2018年
· 国家人工智能标准化总体 组下设立大模型标准化专 题组，启动标准编制工作· 《生成式人工智能服务管 理暂行办法》公布
2019年
OpenAl公司推出GPT-2，模型参数规模15亿，Decoder技术路线优势显现
2022年11月
2012年
2022年3月
2023年3月
2005年
2023年7月
2023年5月
中国发布的10亿以上参数大模型超过79个，“百模大战”态势初步形成
Google提出Transformer架构，奠定了大模型预训练算法架构的基础
span data-docs-delta=\
2017年
2022年8月
CNN为代表的传统神经网络模型占主导地位
· OpenAl发布GPT-1 (Decoder)· Google发布 BERT(Encoder)· 预训练大模型成为自 然语言处理领域的主流
自然语言处理模型Word2Vec诞生
2013年
大模型的发展历程
AlexNet为代表的新一代模型在规模和性能上超越传统方法
OpenAl公司推出GPT-3，模型参数规模1750亿，在零样本学习任务上实现了巨大性能提升
微软发布BEiT-3 模型，标志多模态大模型时代到来
0 条评论
下一页
