ChatGPT发展历程、原理、技术架构详解和产业未来
2023-02-22 16:41:01 6 举报AI智能生成
对GPT感兴趣的可以留言，申请国内GPT内测资格。
作者其他创作
大纲/内容
名称介绍
一款由OpenAI开发的聊天机器人模型，它能够模拟人类的语言行为，提供智能化的对话功能，与用户进行自然的交互。
ChatGPT的传承与特点
OpenAI家族
OpenAI总部位于旧金山，由特斯拉的马斯克、Sam Altman及其他投资者在2015年共同创立，目标是开发造福全人类的AI技术。
此前，OpenAI 因推出GPT系列自然语言处理模型而闻名。
此前，OpenAI 因推出GPT系列自然语言处理模型而闻名。
ChatGPT的主要特点
可以主动承认自身错误。若用户指出其错误，模型会听取意见并优化答案
可以质疑不正确的问题。例如被询问 “哥伦布 2015 年来到美国的情景” 的问题时，机器人会说明哥伦布不属于这一时代并调整输出结果。
可以承认自身的无知，承认对专业技术的不了解
支持连续多轮对话
ChatGPT/GPT的原理
NLP
NLP/NLU领域已知局限包括对重复文本、对高度专业的主题的误解，以及对上下文短语的误解
GPT v.s.BERT
与BERT模型类似，ChatGPT或GPT-3.5都是根据输入语句，根据语言/语料概率来自动生成回答的每一个字（词语）
ChatGPT的技术架构
GPT家族的演进
ChatGPT之前有几个知名的兄弟，包括GPT-1、GPT-2和GPT-3。这几个兄弟一个比一个个头大，ChatGPT与GPT-3更为相近
人类反馈强化学习
这一训练范式增强了人类对模型输出结果的调节，并且对结果进行了更具理解性的排序
TAMER框架
该框架将人类标记者引入到Agents的学习循环中，可以通过人类向Agents提供奖励反馈（即指导Agents进行训练），从而快速达到训练任务目标
ChatGPT的训练
第一阶段：训练监督策略模型
第二阶段：训练奖励模型（Reward Mode，RM）
第三阶段：采用PPO（Proximal Policy Optimization，近端策略优化）强化学习来优化策略
ChatGPT的局限
ChatGPT在其未经大量语料训练的领域缺乏“人类常识”和引申能力，甚至会一本正经的“胡说八道”
ChatGPT无法处理复杂冗长或者特别专业的语言结构
ChatGPT需要非常大量的算力（芯片）来支持其训练和部署
ChatGPT还没法在线的把新知识纳入其中，而出现一些新知识就去重新预训练GPT模型也是不现实的，无论是训练时间或训练成本，都是普通训练者难以接受的
ChatGPT仍然是黑盒模型。目前还未能对ChatGPT的内在算法逻辑进行分解，因此并不能保证ChatGPT不会产生攻击甚至伤害用户的表述
ChatGPT的未来改进方向
减少人类反馈的RLAIF
Claude 和 ChatGPT 都依赖于强化学习(RL)来训练偏好（preference）模型。CAI（Constitutional AI）也是建立在RLHF的基础之上，不同之处在于，CAI的排序过程使用模型（而非人类）对所有生成的输出结果提供一个初始排序结果。
补足数理短板
ChatGPT 不必生成这样的代码，只需生成常规自然语言，然后使用 Wolfram|Alpha 翻译成精确的 Wolfram Language，再由底层的Mathematica进行计算
ChatGPT的小型化
量化（quantization），即降低单个权重的数值表示的精度。比如Tansformer从FP32降到INT8对其精度影响不大
剪枝（pruning），即删除网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效
稀疏化。例如奥地利科学技术研究所 (ISTA)提出的SparseGPT （http://arxiv.org/pdf/2301.0077）可以将 GPT 系列模型单次剪枝到 50% 的稀疏性，而无需任何重新训练。
ChatGPT的产业未来与投资机会
AIGC
AIGC即利用人工智能技术来生成内容，与此前Web1.0、Web2.0时代的UGC（用户生产内容）和PGC（专业生产内容）相比，代表人工智能构思内容的AIGC，是新一轮内容生产方式变革，而且AIGC内容在Web3.0时代也将出现指数级增长
受益场景
从下游相关受益应用来看，包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。从上游增加需求来看，包括算力芯片、数据标注、自然语言处理（NLP)等
0 条评论
下一页
