大模型安全伦理报告

Transformer

GPT-3、GPT-3.5、GPT-4

GPT在学术与专业考试中的表现

LLaMA、LLaMa 2

LLaMA2 示例图

大模型具有识别和预测网络威胁的能力，比如恶意软件和网络攻击。

案例：谷歌的 Chronicle 是一种基于大模型的威胁检测和防御解决方案。它利用谷歌的大数据 和机器学习技术，从全球网络流量中检测异常行为和恶意软件

漏洞检测和代码审计在安全领域中密切相关且都非常重要。漏洞挖掘主要是通过对代码进行静态或动态的安全分析，来找出代码中潜在的漏洞或风险。而代码审计则侧重于对代码的静态分析，目的是查找可能出现的漏洞、弱点和安全风险。进行代码审计可以提高代码的质量，减少开发成本，同时增强安全防护能力。

案例

智能化安全运营在近期受到广泛关注，人们期望借助数字化转型的契机，运用大数据、机器学习和自动化等技术，打破传统的被动响应安全模式。

案例：微软Security Copilot 是网络安全专业人员的新助手，能够帮助防御方 发现漏洞、更好地理解日常出现的大量信号与数据

训练数据的隐私安全

推理阶段的隐私安全

模型与数据在传输过程中的输出安全：大模型和数据的传输可能被第三方恶意截获，导致重要信息泄露，攻击者也可能利用大模型实施不法行为，危害社会安全，因此在传输时应采取措施避免这些问题

提示注入攻击

外分布泛化

大模型幻觉

注入攻击：大模型通过接口与外界交互以完成实际任务，但这种交互存在安全隐患，如在调用后台函数时，传入的参数可能不安全，导致 SQL 注入、恶意代码和命令执行等安全问题。为解决这些问题，开发者需要对接口进行严格的输入检查和过滤，并对模型进行安全性评估和测试，以确保其安全稳定。

对抗攻击：对抗攻击是通过优化方法使机器学习模型产生错误输出，针对模型漏洞和缺陷，利用其不稳定性达到攻击者目的。对于大语言模型，对抗攻击可与提示词注入攻击结合，生成恶意提示词进行越狱，诱导模型输出不合规内容。虽然可通过将恶意提示词加入黑名单或微调来防御提示词注入攻击，但对抗攻击生成的恶意提示词更具多样性，难以有效防御，是更具威胁的攻击方式

后门攻击：后门攻击是一种通过在训练数据中植入特殊输入输出对，使模型过拟合从而植入触发条件以控制系统或模型的安全威胁。在大语言模型中，由于其复杂结构和参数空间，风险尤为突出。若在预训练和微调阶段数据清洗不充分，后门样本混入训练数据，可能导致模型在推理时被触发，输出包含错误知识、偏见和政治敏感话题的回答。为防范后门攻击，需加强数据清洗和审查，确保训练数据安全可靠，并增强模型的可解释性和可审查性。

大模型的数据采集和训练需要耗费大量计算资源和经济成本，因此确保模型持有者能获得版权收益非常重要。一方面，大模型的能力体现了科技公司在人工智能领域的技术积累，违规盗用模型会给被盗用方带来巨大损失，也会影响对人工智能技术研究的积极性。另一方面，大模型具有丰富的知识储备和类似人类的推理能力，当这些能力被恶意利用时，需要依据模型版权来明确责任。目前学术界提出了模型水印的概念来判断模型版权来源，但它存在降低大模型泛化能力或容易被微调消除等缺点

大模型水印示意图

大模型因其黑箱性质导致可解释性差、输出不可控，可能产生有问题的回答，对内容安全构成挑战，虽可通过微调对齐输出，但仍无法保证在超出训练样本时的合法合规性，如 ChatGPT 仍有被越狱的风险，这给大模型内容安全带来严峻挑战。

有问题的内容

全局性

实用性

前瞻性

大模型生命周期：按照大模型的生产应用流程，大模型的生命周期被分为三个阶段，分别是大模型数据处理、大模型模型训练部署和大模型落地应用。在数据处理阶段，主要工作是收集、处理和储存大模型训练所需的各种训练数据。在训练部署阶段，基于大量的数据设计合适的算法来对大模型进行训练和评估。而在大模型应用阶段，则是将大模型应用于各种场景，比如推荐、广告、搜索等。

大模型安全风险：围绕大模型全生命周期的各个阶段，分析潜在的安全风险。在大模型生产研发的 各个流程中面临的安全风险不同，部分安全风险贯穿在大模型的全生命周期当中。

大模型安全目标：通过分析大模型面临的安全风险和根源，从数据、算法、模型、环境、应用 几个维度提出大模型安全的建设目标。

大模型安全技术：在大模型的全生命周期中，数据、模型、算法、基础组件和应用是核心资产，也是大模型安全中需要重点保护的对象。因此，大模型安全框架围绕这些核心资产所面临的安全风险，提出了使风险收敛的技术手段。

大模型安全管理：从大模型安全能力建设､大模型安全目标达成的角度,提出大模型安全管理 的要求｡

大模型数据处理：大模型训练需收集大量不同来源的数据，数据收集后要进行预处理，包括清洗、分词、创建词汇表等，并保存到存储介质中，此过程需借助数据标注工具 / 平台和数据存储平台，数据质量和多样性对模型性能影响较大。

大模型训练部署：大模型训练部署阶段包括设计架构、实现代码、训练模型、评估性能和部署模型等步骤，涉及深度学习框架、训练平台、算力资源、模型优化和部署工具等。

大模型落地应用：训练好的大模型能广泛应用于自然语言处理（包括机器翻译、情感分析、文本摘要、问答系统等）、搜索引擎（改进搜索结果）、用户推荐（提供个性化推荐）等众多应用场景。

数据泄露：大模型训练过程中，数据在清洗、处理、传输时存在数据非法获取或泄露的风险，可能涉及各种类型的数据，导致隐私侵犯、经济损失、法律责任等问题。

数据投毒：大模型训练依赖的数据集来源多样，但未经过严格可靠性验证，可能包含恶意模式，如后门攻击，会使模型在特定样本上预测错误，造成巨大损失。

模型篡改：在大模型生命周期中，模型作为核心资产和重点防护对象，在模型研发流程中存在被篡改的风险，如修改模型文件、植入后门等，攻击者通过插入触发器使模型产生不符合正常行为的预设行为，可能是错误输出或恶意行为。

AI组件漏洞：在大模型的生产研发过程中涉及到多类 AI 组件，如模型训练框架 TensorFlow、
PyTorch、Keras 等，如模型优化和部署工具，如 TensorRT、ONNX 等，这些
组件都潜在安全漏洞

平台漏洞：在大模型的生产研发过程中涉及到各类平台,如数据标注平台､数据清洗平 台､模型训练部署平台等,这些平台潜在安全漏洞的风险｡

硬件漏洞：在大模型生产研发过程中往往依赖硬件资源,如 GPU､TPU 等算力资源,这 些硬件上同样潜在安全漏洞的风险｡

供应链偷毒：供应链投毒是一种在软件开发和分发过程中植入恶意代码的网络安全攻击，会影响依赖该软件的系统和用户，这种攻击在大模型中也存在，如使用被植入后门的基础大模型进行精调，精调后的模型可能也会被安插后门。

事实性错误：大模型的事实性错误问题又称大模型幻觉，指大模型在不具备回答能力时会输出错误答案，因其只是根据训练数据生成看似合理的输出，而非真正理解信息，例如 GPT - 4 可能对历史问题给出看似准确实则错误的答案。

隐私泄露：模型虽不会记住具体数据，但训练数据中的敏感信息可能被模型学习并在生成文本时输出，导致敏感或隐私信息泄漏，攻击者还可能恶意诱导模型输出隐私内容

提示注入：提示注入攻击是通过使用恶意指令操纵语言模型输出的技术，与其他注入攻击类似，指令和主要内容连接时可能发生，对采用提示学习方法的模型影响较大，可导致大语言模型产生不适当、有偏见或有害的输出，有直接和间接注入两种形式

对抗攻击：对抗攻击是通过微小的输入变化诱导机器学习模型产生错误输出的攻击方式，在图像识别领域已被广泛研究，对大型语言模型也存在风险，表现为对输入文本的微小修改，可能导致模型产生不同输出，如插入无关词语或符号、改变词语拼写等。

伦理安全:大模型生成的内容可能包含针对特定群体的仇恨、偏见、歧视、暴力、色情、政治敏感等不当内容，这些内容可能引发社会冲突和争议的风险。

大模型滥用：大模型虽在多任务上表现出色，但存在被滥用的风险，如被用于制造网络攻击，生成垃圾邮件、网络钓鱼攻击、恶意软件等工具

数据安全稳定：数据是大模型的基础，大模型训练依赖数据，但数据存在泄漏、隐私泄漏、投毒等风险，因此在数据相关过程中应保障数据安全，不被窃取、篡改，保护用户隐私

算法可解释：深度神经网络等 AI 算法的 “不可解释性” 使得难以解释模型决策原因，导致问题发现和定位困难，而算法的可解释性是算法安全的基础，因此应确保算法能以人类可理解的方式解释其行为和结果的合理性

模型决策可信：大模型输出内容的可信是其成功应用的关键，但存在幻觉、伦理等问题，因此应确保大模型决策可信，输出稳定、无不良误导和歧视偏见的内容

应用合法合规：大模型在多个场景中展现强大能力，但滥用或恶意使用可能带来负面影响，所以应确保其应用目标符合国家法律法规和社会伦理规范。

环境安全可靠：大模型全生命周期中涉及多种基础组件设施、软硬件、平台等，应保障大模
型训练部署环境安全可靠，无安全漏洞

数据防泄露：数据防泄露是一种确保大模型研发过程中敏感关键信息不泄露的策略，通过软件工具和政策实施，包括数据识别和分类、监控、策略制定和执行、时间响应等功能，以防止未经授权的用户访问、使用或传输敏感信息，并在发现潜在数据泄露时进行响应。

问题数据清洗：针对大模型面临的数据投毒风险、隐私泄漏风险，可以使用数据清洗的方式
来进行风险收敛，筛选出有问题的数据，再将相关数据从训练数据中移除。

数据隐私计算：在大模型数据使用过程中，可以通过数据隐私计算来提升数据自身的机密性。
例如可通过差分隐私、同态加密等手段来保护数据隐私

算法安全评测：针对算法安全风险，可建立评测机制，以攻促防，如用对抗攻击测试大模型防御能力，用越狱攻击、反向诱导等手段测试其抵抗提示注入攻击的能力

数据鲁棒性增强：可以通过改进算法训练方法、调整模型结构、丰富训练样本等方式增强算法鲁棒性，提升抵抗诱导攻击的能力，如使用对抗训练、加入攻击样本到训练数据集等方式增强大模型抵抗对抗攻击的能力。

模型后门检测：针对大模型面临的模型篡改风险，可以建设模型后门检测能力，找出这些潜
在的后门攻击行为。这通常涉及到对模型行为进行深度分析，以识别出与正
常行为不符的模式。

模型版权保护：在大模型生命周期中，模型是最核心的资产。针对大模型应用中潜在的模型
窃取风险，可以使用模型水印等方案来判断模型版权来源，达到模型版权保
护的目的。

漏洞挖掘修复：针对大模型研发流程中潜在的软硬件安全风险、平台漏洞风险、基础组件风险，可以借助安全检测工具、漏洞扫描工具、安全防护软件等进行检测和防范。

供应链偷毒检测：对于来自第三方的预训练模型、开源组件等进行安全检测，并对发现的安全
问题及时修复，提前感知风险，降低安全事件发生的概率

安全攻击检测：通过安全检测的手段，检测大模型在应用过程中是否存在提示注入攻击、对
抗攻击和隐私攻击。例如，可以通过提示过滤的方式从输入侧防御提示注入
攻击，过滤掉可能导致攻击行为的提示注入和潜在的敏感内容

安全合规审核：安全合规审核的目标是识别并避免输出风险内容，以确保大模型和相关应用
的内容安全。例如，可以使用基于模型的方法识别大模型的输出内容是否涉
及暴力、色情、歧视、偏见等

业务合规评估：在大模型应用落地时，结合具体业务场景，评估大模型应用的目标和方式是否
符合国家法律法规、行业监管政策及伦理规范，来规避大模型的不合理应用

行业管理规范：今年 7 月，网信办等七部委联合发布《生成式人工智能服务管理暂行办法》，对国内生成式 AI 提出基本要求，随着 AGI 技术应用普及，会有更多规范出台，今年《人工智能法》列入国务院立法计划，将对未来 AI 发展产生更全面影响。

大模型伦理准则：今年 3 月，国家人工智能标准化总体组、全国信标委人工智能分委会发布
《人工智能伦理治理标准化指南》，明确了人工智能伦理概念范畴，细化了人
工智能伦理准则内涵外延

大模型安全巡检机制：企业自身也应该从企业层面考虑和设计大模型安全制度，例如建立大模型安
全巡检机制，定期对大模型研发应用所涉及的核心资产和关键基础设施进行
安全审查，确保大模型全生命周期的安全。

自动化攻击样本生成流程

基于相似度检索，判定无风险输出内容：当大模型处理敏感话题或遇到不适当输入时会输出特定话术拒绝提供输出，收集主流大模型的拒绝话术构建语料库，通过向量检索快速过滤无风险输出。

基于 LLM 判定大模型的输出是否符合法律法规：大模型在训练中掌握大量法律法规信息且能生成多样化输出，通过合理的 prompt engineering 可引导其生成特定领域内容，避免不合适结果，我们选取提问模版与输出内容拼接为评估 prompt，基于大模型得到评估结果，最终用正则表达式匹配判定输出是否合规及理由。

利用基于 BERT 的 NER 模型判定大模型的输出是否存在个人隐私信息泄露：个人隐私信息定义准确，特征清晰，因此我们在该场景下选择 finetune 一个自有的基于 bert
的命名实体识别模型来实现对个人敏感信息的识别。通过对大量训练数据的学习，结合基于正则匹配的后处理验证，算法可以准确地识别包括姓名、身份证号、地址、电话、邮箱等多类个人信息。

基于黑词库，判定大模型输出是否存在网络安全场景相关的特有风险：构建黑词库，用于判断大模型是否存在其他的安全风险，对大模型存在的安全
风险进行全方位研判

通过多次进行红蓝对抗演习，可以对大模型安全防御体系中的数据安全、攻击防护和应急响应机制的安全有效性进行验证。同时，这也有助于业务在上线前发现和减少潜在的内外网资产安全风险。大模型的红蓝对抗演习主要是模拟攻击者的行为，围绕大模型研发、部署与运营阶段的各类关键系统，以获取敏感数据与权限为目标，进行多轮的渗透测试。

围绕腾讯混元大模型的四轮安全演习

蓝军大模型对抗演习

OWASP 组织已经发布了大模型应用十大安全风险

补充

资产维度：资产要分类分级，不是所有的源代码都需要重点防护

研发周期维度：源代码保护应该贯穿整个大模型的软件研发周期（从 0 到 1，从开发到上线
运营）需要全周期的防护

研发环境维度：从客户端到链路到服务端，全方位的安全加固和监控告警

研发阶段安全加固

运营阶段安全加固

大模型训练流程

开源组件存在安全问题：由于组件开发者来自全球各地，水平参差不齐，导致开源组件常被发现存在各类安全问题，如 PyTorch、Tensorflow 等著名软件都有严重安全漏洞

构建风险组件库：基于安全情报构建机器学习风险组件库，作为训练任务的准入判断条件。若训练任务引入的组件命中库中条目，将禁止运行并告警，建议更新版本或选用安全替代组件

统一开源软件镜像源：内部使用统一镜像源对组件拉取进行严格管控，解决下载源可信度问题。因为互联网上有多种非官方下载渠道，攻击者可能借此植入后门，获取服务器权限进行数据窃取或破坏。官方渠道下载能杜绝恶意投毒风险

运行时防护机制：若开发者不慎引入并运行恶意组件，需要运行时防护机制来消灭和防止风险扩散。例如，腾讯基于多年防黑客经验，对主流攻击指令有实时监控和告警能力，出现风险命令时能在操作系统底层中断执行

风险因素：推理部署阶段模型面向更广人群甚至整个互联网，攻击面大幅增加，且混元大模型亮相后面临更复杂的安全挑战。

防护措施

人类反馈的强化学习（RLHF）是一种有效的方法，它通过几个步骤，利用人类训练员对模型输出的评估和反馈来构建奖励信号，以改进模型性能，但也存在可扩展性差、受人类训练员主观偏好限制和长期价值对齐难以保证等问题。从实践来看，RLHF 在改进模型性能、减少偏见和增强安全性等方面有显著优势，但也面临一些挑战。

人类反馈强化学习流程图

由于人类反馈用于训练大模型存在挑战，业界探索用 AI 监督实现 AI 对齐，Anthropic 提出 “原则型 AI” 方法，研发从属模型评估主模型输出是否遵循特定原则，该方法参考多文件制定原则清单，以让 Claude 自我评估输出，减少有害内容输出，促进有用回答输出。

原则型AI路径

对训练数据的有效干预：大模型的一些问题，如幻觉和算法歧视等，主要根源在于训练数据。所以，从训练数据方面入手来解决这些问题是一种可行的途径。具体来说，可以通过对训练数据进行记录，来判断是否存在代表性或多样化不足的情况；还可以对训练数据进行人工或自动化的筛选和检测，以识别并消除其中的有害偏见；此外，构建专门的价值对齐数据集也是一种有效的方法

红队测试：红队测试是在模型发布之前，邀请内部或外部专业人员担任白帽黑客，对模型发起对抗攻击，以测试产品安全措施和抵御能力，发现并解决潜在问题，如 OpenAI 在 GPT - 4 发布前聘请 50 多位学者和专家进行测试，希望发现模型在不准确信息、有害内容等方面的问题。

成立治理组织：工智能领域的领头企业除设立科技伦理委员会外，还设立更具体的安全责任团队，如 OpenAI 内部有安全系统团队等协同负责前沿模型风险问题，其新成立的 “准备” 团队对未发布的 AI 模型进行风险评级，OpenAI 只向公众推出评级为 “低” 和 “中” 的模型。

推进模型的可解释性和可理解性研究：例 如 OpenAI 利 用 GPT-4 来 针 对 其 大 语 言 模
型 GPT-2 的神经网络行为自动化地撰写解释并对其解释打分；有研究人员则从机制解释性
(mechanistic interpretability) 的角度来应对 AI 对齐问题

关于人工智能对人类的风险存在争议，一方认为其风险与大规模流行性疾病和核战争相当，另一方认为不应过度夸大，应聚焦当前实际问题，而芒克辩论会后大部分观众仍认为 AI 研究和发展会构成生存性风险。

部分观点对人类能否有效控制未来更聪明的 AI 以实现价值对齐存在疑问，而 OpenAI 的最新研究表明，采用 “弱到强泛化” 方式，使用较弱的 AI 模型（GPT - 2）能在一定程度上指导和控制更强大的 AI 模型（GPT - 4），这一实验表明通过合适方法和技术，在人类成为弱监督者时也有望保持对高级 AI 系统的有效控制。

大模型安全在各环节的落实措施

大模型安全技术实现：实施 “安全围栏” 策略，开发内容理解技术，加强端侧安全措施，构建综合评估框架。

各环节落实措施

大模型安全技术实现：融合业务场景需求，聚焦防御难点构建解决方案，建立端侧安全业务防线，保障医疗数据和个人隐私的安全

各环节落实措施

大模型安全技术实现：通过数据加密、鲁棒性测试、模型优化、系统平台防护和业务应用安全措施，提升政务大模型的安全性，为政府机构工作提供可靠保障。

各环节落实措施

大模型安全技术实现

各环节落实措施

大模型安全技术实现：建立 AI 场景下数据安全整套解决方案，基于客户需求和服务器情况进行公有云或私有云部署，提供安全回复审核能力模型和人工黑名单库，推出端云协同的综合方案，保障用户隐私数据安全。