文 | 薛澜

随着人工智能技术的快速发展，人工智能的治理问题也越来越受到社会各界的广泛关注。人们逐渐意识到，人工智能不仅是一项前沿科技，更是一种深刻影响社会结构、经济体系和全球治理格局的系统性力量。因此，如何在推动人工智能技术创新的同时建立起科学有效的治理机制，已成为当前技术政策研究与实践的核心议题。

人工智能的三种潜在风险

现有的人工智能技术系统由于其复杂性和不可解释性，带来一些潜在的技术失灵风险。一旦被滥用或用于恶意目的，其危害可能超出技术范畴，在关键领域引发局部性损害，甚至演变为系统性风险。因此，理解人工智能风险治理的必要性与紧迫性，需对其潜在风险进行系统分类、剖析成因，并找到相应的解决办法。

人工智能风险的分类有很多种，图灵奖得主约书亚·本吉奥于2025年牵头发布的《国际人工智能安全报告》，将人工智能带来的各种风险划分为三大类：

1. 恶意使用风险，指人为使用人工智能系统进行伤害、操控、欺诈等非法或不道德行为；

2. 技术失灵风险，即人工智能系统在正常使用情况下由于故障或技术失灵带来的不良后果；

3. 系统性风险,指人工智能大规模应用后可能引发的广泛性负面社会影响。

人工智能恶意使用的风险目前已经比较常见。2023年，英国某知名公司遭遇一起令人震惊的深度伪造诈骗案件。该公司一位员工应公司“上级”的邀请参加视频会议，并根据对方指令将约2亿港元汇入多个账户。事后调查发现，除该员工本人外，所有“参会者”皆为由生成式人工智能所合成的虚拟影像，通过深度伪造（Deepfake）技术逼真模拟真实的声音与面貌。这一事件凸显了生成式人工智能被滥用于欺诈的巨大风险，传统的语音、视频验证机制在此类情况下几乎失效。从治理角度看，如何在制度层面防范生成式人工智能被恶意利用，亟须得到更高优先级的回应。

人工智能技术失灵比较典型的情况就是所谓“幻觉”（hallucination）的产生，即模型生成与客观事实不符，甚至完全虚构的信息内容。这在很多对准确性要求很高的应用场景中容易产生风险。

例如，近年来不少律师事务所尝试将人工智能用于法律案件梳理与检索，但结果并不理想。最著名的案例之一是2023年美国某律师在提交诉状中引用了数个根本不存在的“判例”，经查这些判例均由人工智能编造，导致法院当庭指责该律所严重失职。目前，包括美国律师协会在内的多个行业协会已发出预警，要求在法律实践中使用人工智能辅助时必须设立严格的验证机制。

人工智能带来的系统性风险包括对就业、知识产权、社会认知等方面的影响。当前最受关注的风险之一，是生成式人工智能与现有版权保护机制之间日益凸显的冲突。

2023年底，《纽约时报》起诉Open AI和微软，指控其在未经授权的情况下将大量新闻内容用于大模型训练。这一案件触及人工智能治理中极为复杂的议题，包括训练数据的知识产权归属问题，“合理使用”边界如何在训练场景中界定，以及模型生成结果是否构成“衍生作品”等。尽管该案件尚未审结，但已经促使多国监管机构重新审视人工智能与版权之间的关系。

在上述三类风险中，人类社会面临的最大潜在风险就是技术失灵引发的失控情况，亦即当人工智能发展到通用人工智能（AGI）或超级人工智能（ASI）的阶段，人类丧失对其控制权。

早在1950年，人工智能奠基人图灵就在《Mind》期刊发表的经典论文中提出“child-machine”的构想，预见了人工智能可能具备自我学习与自主演化的能力。机器将通过实验学习不断优化自身，行为结果并不完全由人类预设。今天，图灵这一预测似乎正一步步成为现实。随着人工智能系统拥有代码生成、自我优化甚至模拟人类行为的能力，其“不可预测性”日益显现。

牛津大学教授Bostrom提出“价值锁定（Value Lock-in）”风险，即早期设计的不完美目标函数可能在通用人工智能中被永久嵌入，带来不可逆的灾难性后果。因此，可控性问题已成为人工智能风险治理领域的最核心问题之一。

由此引发的一个根本性治理问题是：当人工智能技术发展到某一阶段，是否应该有“暂停”的选项？在生命科学领域，伦理底线的设立已较为成熟。例如，人类胚胎编辑、克隆等研究方向已在国际上形成广泛共识，不少国家设立了明确禁区。人工智能是否也应设定类似的“伦理红线”？

近年来，该问题的紧迫性与争议性显著上升。2023年，超过1000位人工智能专家与科技领袖联合签署《暂停大型人工智能实验公开信》，呼吁对超过GPT-4级别的人工智能系统实施“自愿性开发暂停”，以等待社会共识与治理机制的建立。这一行动虽颇具争议性且在现实中难以实施，但也凸显出科技界内部对于“不可控风险”的现实焦虑。

治理要铺设“通道”和“轨道”

人工智能治理的目的，不仅是“应对风险”，更重要的是塑造人工智能的社会—技术系统、相应制度架构的协同演化，并最终形成一个兼具创新性、安全性与公平性的社会应用生态。

因此，人工智能治理的意义，绝不仅仅是画出“禁区”，更在于铺设“通道”和“轨道”。技术从来不是“拿来即用”的工具。任何人工智能系统的成功部署，必然依赖于其与社会制度、法律规制、基础设施和文化环境的深度耦合。这就是“社会技术共构”的基本逻辑。

一个典型的例子是公路交通系统。从汽车技术诞生到广泛普及，人类社会配套建设了道路网络、交通信号及交规体系、驾照制度、保险机制、加油与维修网络等一系列技术及社会运行机制，来保障让汽车真正成为一种社会生产与生活系统的组成部分。长远来看，人工智能的发展同样需要经历一场复杂的“社会适配”过程。

无论是医疗、教育，还是政务领域的人工智能应用，其有效落地都依赖于数据治理、伦理审查、接口标准、责任认定等制度要素的协同支撑。这些制度性安排本身，即构成了人工智能治理不可或缺的一部分。

以医疗场景为例，即使人工智能系统的诊断准确率优于医生，其应用仍需满足如下治理条件：（a）明确的数据隐私合规机制；（b）医疗责任归属的法律认定；（c）医患之间的信息透明；（d）医保报销政策的对接。

虽然在底层算法与模型结构上，人工智能已取得显著进展，但其“落地”往往滞后于技术本身。根本原因之一，就在于缺乏“场景级治理配套”。如果缺乏这些制度安排，人工智能再先进也难以获得信任和合法性。因此，治理不仅是防范风险的“保护性屏障”，更构成了推动人工智能融入现实社会的“适应性基础设施”。

人工智能治理如何深刻影响市场

除了风险防控和社会建构，治理还担负着人工智能产业市场塑造的功能。

人工智能的治理深刻影响市场的形成与演化路径，具备“产业塑造”与“竞争调控”的重要作用。首先，准入门槛的设定直接决定了哪些企业有机会参与人工智能产业的发展。例如，如果高风险人工智能系统必须满足严格的测试认证要求，中小企业可能因合规成本过高被排除在市场之外；反之，则可能引发“劣币驱逐良币”式的无序竞争。同时，人工智能发展中也面临典型的“路径依赖”风险。一旦特定的模型架构、数据资源或工具链取得先发优势，就可能在非最优技术路线上造成事实性的“平台锁定”。因此，有效的治理手段可以通过技术标准开放、公共算力共享、基础模型开源等，来避免路径锁定的问题。

在当前人工智能治理实践中，开源常被视为实现“普惠化人工智能”的重要途径，然而其也伴随潜在的安全风险与责任不清等问题。相较之下，闭源虽然有利于系统控制与风险管理，却可能加剧能力垄断与模型路径依赖。

因此，一种可能的治理思路是在制度设计上区分不同风险等级与具体应用场景。对于一般性用途，可鼓励开源共享；而对信息操纵、金融系统等高风险应用领域，则应设定更严格的开源门槛与责任机制。

实现人工智能治理的三重功能——风险防控、社会建构与市场塑造，离不开政府、企业与社会多元主体的协同共治。政府不仅是监管者，更是市场塑造者；企业不仅是人工智能技术创新的领先者，也是人工智能治理的前沿实践者；而社会各界既是人工智能技术的使用者，也是推动其治理理念生根落地的重要力量。只有政府、企业和社会摆脱传统的“猫鼠博弈思维”，转向协同治理和敏捷治理的思路，方能在推动技术广泛应用的同时不断优化治理体系，在制度演进中实现技术创新与社会价值的协同共生。

（作者系清华大学苏世民书院院长、人工智能国际治理研究院院长、中国科技政策研究中心主任）