ChatGPT 的背景与意义
2023-04-14 17:06:41 1 举报AI智能生成
描述ChatGPT的背景与意义
作者其他创作
大纲/内容
计算机处理自然语言的巨大的挑战
小规模专家知识
基于浅层机器学习
大量标注数据
基于深度学习
基于机器学习
大模型
大数据
大计算
大规模预训练语言模型
五次研究范式的转变
概要
语言理解
生成
知识推理能力
惊艳
自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能
ChatGPT 是继数据库和搜索引擎之后的全新一代的 “知识表示和调用方式”
ChatGPT 主要解决了用自然语言直接调用这些知识的问题，这也是人类获取知识最自然的方式。
ChatGPT
自然语言处理的发展历史
具有良好的自然语言生成能力的大模型 GPT-3.5
引入人类标注人员作为系统的额外奖励
人类标注人员扮演用户和代理进行对话，产生对话样本并对回复进行排名打分，将更好的结果反馈给模型
训练这一模型的钥匙——基于人工反馈的强化学习（RLHF）。
大规模预训练语言模型的技术发展历程
ChatGPT 的相关技术
ChatGPT 技术发展脉络的总结
ChatGPT 技术发展历程
ChatGPT 基于 GPT-3.5 系列的 Code-davinci-002指令微调而成。而 GPT-3.5 系列是一系列采用了数千亿的 token 预训练的千亿大模型
强大的底座能力
不再是随着模型规模线性增长，有了激增，
惊艳的思维链推理能力
可以处理未见过的任务
泛化性得到了显著地激发
实用的零样本能力
相较于普通聊天机器人
拥有了建模对话历史的能力，能持续和用户交互
大量指令激发的泛化能力在零样本和少样本场景下具有显著优势
相较于微调小模型
相较于其它大规模语言模型
ChatGPT 的优势
可信性无法保证
时效性差
成本高昂
在特定的专业领域上表现欠佳
语言模型每次的生成结果是 beam search 或者采样的产物，每次都会有细微的不同
大规模语言模型自身的局限
数据的偏见性，很可能生成有害内容
标注人员分布不均的情况下，可能会引入新的偏见问题
标注策略导致的局限
数据原因导致的局限
ChatGPT 的劣势
ChatGPT 的优势与劣势
利用 ChatGPT 辅助开发代码，提高开发效率，包括代码补全、自然语言指令生成代码、代码翻译、bug 修复等
代码开发
ChatGPT 的生成结果在许多任务上相比微调小模型都有很明显的可取之处（比如文本摘要的事实一致性，篇章级机器翻译的性别问题）
ChatGPT 和具体任务相结合
微调激发的零样本能力
在人工智能行业的应用前景及影响
.搜索引擎
基于 ChatGPT 创建更智能的游戏虚拟人和玩家交流提升体验
是利用虚拟数字人进行虚拟主播直播互动
在心理健康抚慰、闲聊家庭陪护等方面
泛娱乐行业
相关博主的内容产出效率将得到极大的提升，有更多的精力润色相关内容，期待更多的高质量文章的产生
自媒体行业
迫使多所学校全面禁用
完成家庭作业
大魔王
教育行业
ChatGPT 的具体影响不大。因为限于 ChatGPT 训练数据的限制
ChatGPT 无法对专业领域的专业知识进行细致的分析，生成的回答专业度不足且可信性难以保证
其他专业领域
ChatGPT 可以帮助个人使用者在日常工作中写邮件、演讲稿、文案和报告，提高其工作效率。同时基于微软计划将 ChatGPT 整合进 Word、PowerPoint 等办公软件，个人使用者也可以从中受益，提高办公效率
在其他行业的应用前景及影响
ChatGPT 的应用前景
技术限制引起的，如生成的内容不能保证真实性、会产生有害言论
用户对 ChatGPT 的使用不当引起的，如在教育、科研等领域滥用 ChatGPT 产生的文本
滥用风险
错误信息风险
者隐私信息被 ChatGPT 通过其他信息推断出来
隐私泄露风险
用户与机器交流受到伤害风险
ChatGPT 是否会侵犯他人的知识产权
ChatGPT 产生的内容是否具有知识产权
知识产权风险 知识产权风险包括两个方面
有害言论风险
ChatGPT 带来的风险与挑战
ChatGPT 的背景与意义
0 条评论
回复 删除
下一页
