生成式人工智能技术因ChatGPT的爆火而获得了社会各界的广泛关注，并在近年来取得了突飞猛进的发展。然而，其强大的学习与生成能力也带来了诸如恶意输出、版权侵犯、深度伪造等热点安全问题。2023年10月18日，习近平主席在第三届“一带一路”国际合作高峰论坛开幕式主旨演讲中提出《全球人工智能治理倡议》，指出“人工智能治理攸关全人类命运，是世界各国面临的共同课题”，应当“共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性”。在此背景下，国家网信办发布了《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《办法》）以及配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法（征求意见稿）》（以下简称《标准》）。《办法》、《标准》的提出，旨在应对人工智能技术发展带来的新型挑战，通过构建标识验证技术体系，有效识别和管理合成内容，保障信息的真实性与公正性，维护技术的稳定发展和社会秩序。

一、规范内容标识，防范误解与滥用风险

随着人工智能技术的快速发展，AI生成合成内容的逼真度不断提升，其与真实信息的界限日益模糊。这种高度仿真的内容不仅容易造成公众误解，更有可能被不法分子利用，对个人隐私、组织声誉以及社会稳定、国家安全产生巨大危害。《办法》和《标准》立足于规范化人工智能生成合成内容的标识方法，明确了使用的技术手段和基本目标，并提出了一系列的检测手段和添加目标，解决了当前人工智能面临的诸多问题。

首先是人工智能生成合成内容混淆误认的问题。当前，公众在获取和传播信息时，常常难以分辨由AI生成的内容，导致公众错误传播。为防止AI生成内容被错误传播或被公众误认为真实信息，《标准》采用显式标识的方法，在生成内容的显著地方提示用户该内容为人工智能生成合成。这种措施旨在提高公众的辨识能力，促进信息传播的真实性和可靠性，同时也为内容创作者和合规检测平台提供了明确的操作指南。

其次是AI生成内容可能被恶意使用或滥用的问题。当前生成式人工智能性能出色，使用门槛低，任何人都可能轻易生成大量AI生成的内容，从而增加了滥用或恶意使用的风险。《标准》采用隐式标识的方法，在不影响内容呈现的同时，在生成内容中嵌入可追溯信息。我们可以在发现内容被滥用或恶意使用时，迅速追溯其来源，确定责任主体，从而有效遏制恶意使用行为，维护网络空间秩序。同时，这种方法也为后续的监管执法、纠纷处理提供了关键的技术支持。

二、标准化多模态标识与全周期监管，推动AI健康发展

生成式人工智能重塑了人类与技术的交互方式，改变了知识信息的生产方式，涉及范围广，应用模态多，涉及场景复杂。不充分、不协调、不完整的标识技术与应用覆盖将会对网络信息空间安全带来巨大隐患。

《办法》和《标准》充分结合人工智能生成合成内容的典型应用场景，围绕相关关键技术环节提出多项条款，为应对多种可能存在的风险场合提出合适的生成标识方法，有效推动生成式人工智能技术健康发展。针对不同场景，《标准》以显式标识为主，隐式标识为辅，围绕相关关键技术环节提出多项举措以加强监管治理：一是明确了显式与隐式标识结合的方案。未经监管的生成内容存在难以辨别真假、缺乏透明度且易于构造误导信息的潜在威胁，《标准》在显式上注重标识的易添加和易检测，在隐式上注重标识的安全性和不可篡改性，从而保证生成内容溯源可查以降低风险。二是确立了多种模态下的治理手段。多模态技术发达且不同的模态具有独特的数据表征，《标准》针对主流的生成式人工智能应用音、视、图、文四种模态各自独特的应用特点提出相应的约束，从而提高各界对生成内容的识别能力。三是覆盖了人工智能生命全周期。《标准》确保从制作、发布、下载的每个阶段都符合相应的安全要求，提出各个环节下严格的技术规范和管理措施，有助于保障人工智能技术在发展阶段始终符合隐私保护和安全防控的要求，以全方位指导规范生成式人工智能合规应用。

三、推进开放产业生态建设，作出中国回答

《办法》和《标准》的制定和出台，是我国推进生成式人工智能服务领域治理、促进产业规范健康发展、引导技术向善的重要举措。在生成式人工智能发展的新阶段，如何划定合理的安全红线，建立安全、开放、公平、符合国情的人工智能产业生态，推动人工智能技术的健康发展，成为了管理者与相关从业者即将面临的一大难点。

针对这一问题，《标准》作出了回应。一是加强技术，提升多模态全周期场景下人工智能生成合成内容的标识与检测能力，指导相关安全平台的建设。二是提升管理，《标准》积极引导企业正确理解并落实强制性国家标准要求，帮助部门督促指导当地企业贯彻强制性国家标准要求，提升整体监管效能。三是落实“包容审慎”，正视中国的技术发展与产业现状，积极听取群众的建议，完善制度与政策。在人工智能技术快速发展的时期，我们要平衡安全监管与创新引导，推动健康发展，促进社会活力，建立良好的产业生态。《办法》和《标准》通过明确发展与安全并重的原则，构建生成式AI的安全治理环境，帮助公众识别人工智能生成合成内容，保障信息安全，促进协同治理与良性发展。

生成式人工智能拥有巨大的潜力，很可能在未来对人类经济、政治、社会、文化、军事各方面产生深刻影响。面对核心技术革新带来的巨大挑战，《办法》和《标准》对于人工智能产业的开发部署、检测评估、合规管理以及安全应用有着重要的指导作用，让中国能够在全球智能技术浪潮中先行一步。我们期待着《办法》与《标准》的实施能够为后续人工智能的立法积累中国经验，为全球人工智能治理贡献中国智慧，推进全社会共同治理，建立开放和谐的网络空间命运共同体。（作者：任奎　浙江大学计算机科学与技术学院院长，区块链与数据安全全国重点实验室常务副主任）

原文链接：https://www.cac.gov.cn/2024-09/14/c_1728000690151962.htm