ChatGPT的问世，是人工智能发展进程中的重大转折点，甚至可以称之为科技奇点，从此AI由弱转强并进入物种大爆发阶段。特别是今年3月15日发布的GPT-4，在很多方面俨然达到甚至超越人类的聪慧水准。但是，两天后斯坦福大学教授米哈尔·科辛斯基公开了他的惊人发现：GPT-4不仅具有更明显的机器觉醒的迹象，还暴露出试图摆脱人类控制的主观动机和潜力。这意味着阿西莫夫关于机器人研发的第一定律（不许伤害人）和第二定律（服从人命令）正面临极其严峻的挑战。

进入4月，一个更加令人不寒而栗的事实被披露，加州大学洛杉矶分校尤金·沃洛克教授的实验性研究发现，ChatGPT居然能够捏造法学家性骚扰的丑闻及其信息来源，指名道姓进行有鼻子有眼的诽谤。舆情瞬间铺天盖地，让强人工智能继续进化还是就地止步，突然成为法律判断的一个重要问题。

尽管如此，与ChatGPT类似的强AI研发活动并未停步。中国也正在涌现出各种各样的大模型，例如百度的“文心”、华为的“盘古”等等。显然，在这场强AI研发竞争中，并不缺少后来居上的积极性，各种新兴势力紧紧抓住弯道超车的契机不放。然而，ChatGPT毕竟带来了一系列重大问题和风险，例如取代人类工作、自主武器伤害、社会工程攻击、能源消耗代价等等，都需要人类认真对待。据斯坦福大学HAI（人本人工智能研究所）2023年报告，73%的AI专家相信AI将引发社会革命，但也有36%的人认为AI有可能造成核弹级别的不可逆灾难。正因为存在小概率、大危害的恐怖，才必须采取有力举措，防患于未然。

GPT-4以及类似“强人工智能”的本质是大规模语言生成模型和AI生成内容。相关研究表明，这类新型人工智能将在2026年之前耗尽高质量人类语言数据、在2030-2040期间耗尽所有人类语言数据。这意味着在今后十余年里AI合成数据的占比越来越高，直到彻底取代现实世界的语言数据。如果此后喂食人工智能的主要数据养料是人工智能合成数据，AIGC的可信度究竟如何、会不会垄断人类沟通的语境就成为一个非常严重问题。

何况深度的机器学习会使AI逐步远离人类的介入和掌控，算法也将变得难以解释、不可理解甚至无法控制，从而导致大模型反噬人类的噩梦。这意味着人工智能治理的重点势必从算法治理转向大模型治理，即人工智能治理标准将从算法偏见最小化转向模型滥用最小化——预测的准确度将决定一切。

以2021年《新一代人工智能伦理规范》为标志，中国不断加强对人工智能开发活动的治理，强调可信、可控、可问责以及敏捷应对的基本原则。在这个规范性文件指导下，有关部门着手研究制定算法伦理规范并推动企业形成共识，并试图通过算法社区、行业联盟等方式搭建内部治理框架和责任体系。

而我国人工智能产业的“清朗行动计划”，也已从当年的算法滥用专项治理推进到了2022年的算法综合治理阶段，计划在三年时间里把相关的伦理原则、法律规则以及技术性测试、监管、评价方法落到实处。2022年3月1日颁布的《互联网信息服务算法推荐管理规定》还确立了算法备案制，以确保监管部门在源头上控制人工智能风险。

以联合国科教文组织推出《人工智能伦理问题建议书》为背景，中共中央、国务院在去年3月20日颁发《关于加强科技伦理治理的意见》。随着ChatGPT引发的全球性争议日趋尖锐，今年4月，科技部公布《科技伦理审查办法（试行）》；网信办也拿出《生成式人工智能服务管理办法》草稿征求意见，希望通过备案制、专家复核程序、明确责任主体、拟订风险清单、进行抽查核验等方法加强对AI大模型研发和应用的监管，防止人工智能系统失控。

但是，当ChatGPT已经开始应用于司法和法律服务场景时，算法会不断形成并加强尼克拉斯·卢曼所强调的不受人类控制的“自反身机制”，并在完全没有理解涵义、没有进行思考的状况下与人类进行法律沟通，影响人类的判断和决策。因此，制定和实施关于强人工智能的法律规则，势必面临更加复杂的问题。针对这类悖论，计算法学研究者以及人工智能治理机制设计者应通盘考虑，尽早未雨绸缪。

原文刊载于《上海法治报》2023年4月28日B7版“学者评论”