【摘要】人工智能通常被想象为替代人类的技术，在法律领域，机器人法官、机器人律师往往引发人们的担忧，尤其是生成式人工智能的突破性发展造成了新一轮“机器取代人”焦虑。但人机共生和人机交互才是现在和未来的普遍现象。从人机交互入手，围绕“人在回路”原则来发展相关规则，才能对人工智能的风险和实际损害进行有效防控和救济，并充分利用技术来辅助和强化包括法律工作在内的人类工作，使人工智能服务于增益人类福祉的目的。
【关键字】人工智能；法律；人机交互；人在回路
人工智能已经成为我们所处时代的通用技术。所谓通用技术，是指其用途不止限于一个特定领域，而是可以被用到多个领域（包括人类尚未想到的领域）的技术。这种技术必定会影响和改变包括生产关系在内的社会关系，而社会关系的改变又会带来法律关系上的变化，这种变化中有些可以通过现有法律规则的解释和续造来吸纳，有些则需要立法层面的创新。同时，正如电力、通讯和先前的计算机技术一样，作为通用技术的人工智能也正在改变法律职业自身的工作形态。现有的讨论大多聚焦于“替代”，即人工智能会不会替代律师、公司法务和法官、检察官的工作。但现实和可预见的未来的普遍情况是“辅助”“赋能”和“强化”。无论是思考如何用法律规范人工智能技术的应用和发展（算法的法律），还是讨论如何用人工智能赋能法律的制定、解释和实施（法律的算法），[1]我们所要面对的一个基本事实都是数字化社会中普遍存在的人机交互现象。一方面，法律需要在人机交互场景中保护人的尊严和权利，防止各种小程序和电商平台过度采集和滥用个人信息，在算法操纵的线上世界支持人的主体性；另一方面，法律自身的运行场景也日益数字化和智能化，人机交互成为法律人日常工作的基本特征。智慧立法、智慧政务、智慧法院、智慧检务、智慧公安等概念中的“智慧”都不是指人类智慧，而是指人工智能。可以说，人机交互是当下乃至可预见的未来法律工作的主要形态；人工智能不会取代法律人，但会改变法律人的工作方式；机器不会替代人，但会使用机器的人将取代不会使用机器的人；利用技术强化自己的专业能力，对法律人而言十分重要。
本文以人机交互这一数字社会的普遍现象作为切入点，分析在算法的法律和法律的算法两个维度上如何通过适当的规则和制度设计来发展以人为本的人工智能（Human-cen-tered AI），从而使技术服务于人类的美善生活。
一、人工智能的概念和类型
从人工智能的概念入手是为了凸显出本文的基本线索，即人机交互和以人为本的人工智能设计原则。人工智能并没有统一的定义。软件工程师群体中流行一个笑话：“人工智能是指计算机现在还做不到的事情。如果它做到了，我们就不叫它人工智能，而叫计算机科学。”这个笑话其实透露出一个非常专业的判断：人工智能实际上就是我们过去一直称之为计算机科学的那个专业，它是该专业的前沿部分，旨在突破现有的边界，让计算机能够做之前做不到的事情。人工智能领域的一部影响力广泛的教材总结了四种定义人工智能的方式：像人一样思考的机器；像人一样行动的机器；理性思考的机器；理性行动的机器。[2]这种分类基本上能够概括目前常见的人工智能定义（见表1）。
表1人工智能的定义
人工智能这一概念最早出现于达特茅斯会议的企划书中。1955年8月，数学家约翰·麦卡锡、计算机与认知科学家马文·明斯基、IBM系统设计师纳萨尼尔·罗切斯特和信息论创始人克劳德·香农在一起商议次年举办一次暑期研讨班。研讨班的主旨在会议策划书中得到明确表述：“我们提议1956年暑期在新罕布什尔州汉诺威城的达特茅斯学院举办一场为期两月、十人参加的研讨会。本次研讨会将以这样一个猜想为基础而展开；学习的每一环节及智力的其他方面原则上都可以得到如此准确的描述，以至我们可以制造出一台机器对其进行模拟。我们将尝试发现如何让机器使用语言、提出抽象命题和概念、解决某些目前留给人类去解决的难题及实现自我改进。我们认为，只要一群经过精挑细选的科学家在一起工作一个夏天，我们在这些方面就可以取得一项或多项重大进展。”[3]在会议邀请函中，“人工智能”（Artificial Intelligence）这一概念正式诞生。由此可见，人工智能从一开始就是一群志同道合的科学家和工程师有意追求的事业，其目的是让机器能够学习并完成人类需要运用智能来完成的任务，是对传统编程模式的革新。人工智能的核心技术是机器学习，其商业应用被称为预测性分析（predictive analytics）。但这一事业并非一帆风顺，中间经历了数次“寒冬”，直到最近几年才开始得到小圈子之外的普罗大众的关注，并被认为是“第四次工业革命”的核心技术，具有彻底改变人类生存处境的潜质。
造成人工智能这座蛰伏已久的火山突然喷发的原因是经济形态和技术双重变革的合力。一方面，互联网平台经济成为当代经济的主流，谷歌、百度、亚马逊、阿里巴巴、脸书、腾讯已经取代通用电气等制造业巨头成为新时代的商业霸主，大量的交易在线上而不是线下完成。从可穿戴设备到家用电器都已智能化和联网化，使互联网升格为物联网，人们的线上和线下生活日渐融为一体，越来越多的人成为传感器测量和监督下的“量化自我”，每时每刻都生成着大量可供分析和产品化的数据，成为“泛在计算”（pervasivecomputing或ubiquitous computing）的迫踪和分析对象。[4]另一方面，英特尔创始人之一戈登·摩尔所提出的“集成电路上可容纳的晶体管数量每18~24个月就会翻倍”[5]这一定律不仅应验了，而且在计算机算力和存储能力方面都得到体现，使得海量数据得以低成本存储处理，为机器学习提供了丰富的资源。大数据是人工智能的燃料，应用编程界面（API）是人工智能的引擎，再加上商业应用的巨大获利机会，共同推动着人工智能的蓬勃发展。
与以往的“非智能”工具相比，人工智能技术的最大特点在于它的“学习”能力。学习在这里有着特殊的含义，用人工智能技术的理论奠基者之一、图灵奖和诺贝尔经济学奖得主司马贺的话来说：“学习是一个系统中的任何导致该系统适应环境的能力发生或大或小的永久改变的变化。”[6]人工智能学习的素材是人类的行为数据和文本、音视频等内容数据，通过学习，它能够分析和预测人类行为（分析式人工智能），也能够生成新的内容（生成式人工智能）。也就是说，它能够在与人类进行交互的过程中提升自己的能力，能够发现海量人类行为数据和内容数据中潜藏的范式和规律，并基于此来诱导人类行为，生成让人会误以为是人类创作的内容。这种“活的”或“智能化”的工具是人类以往没有使用过的，也使得人机交互变成了真正的“互动”。也正是因为它的这个特点，从人机交互的界面设计、过程治理和结果控制入手来规制人工智能技术的应用变得十分重要。遗憾的是，现有的涉及包括人工智能在内的数字科技的法律规则仍然是将人和物（工具）分开来进行考量，一部分规则从技术对人的影响入手，侧重保护人的权利（比如，隐私权和个人信息权益）；另一部分强调人对技术的控制（平台责任中的专人负责规则），而缺乏对人机交互作为一种系统性存在的考量和规制。
人工智能技术及其商业应用涉及算力、算法和数据三大要素，分别对应于网络架构中的物理层、逻辑层（或软件层）和内容层。我国目前已经制定了针对每一要素的法律规范。比如，针对算力的《网络安全法》和《关键信息基础设施安全保护条例》，针对算法的《互联网信息服务深度合成管理规定》《互联网信息服务算法推荐管理规定》和正在起草的《生成式人工智能服务管理办法》，针对数据（内容）的《民法典》人格权编相关条款、《个人信息保护法》《数据安全法》《网络信息内容生态治理规定》等。其中只有《网络信息内容生态治理规定》超越了“人一物”二分的思维框架，从生态和架构的角度入手，对人机交互界面的设计提出了要求。比如，其第9条规定：“网络信息内容服务平台应当建立网络信息内容生态治理机制，制定本平台网络信息内容生态治理细则，健全用户注册、账号管理、信息发布审核、跟帖评论审核、版面页面生态管理、实时巡查、应急处置和网络谣言、黑色产业链信息处置等制度。”
对现有的规范性文件进行梳理，我们可以发现，从人工智能的概念到人工智能（机器学习算法）的类型都已经有了相对明确的法律界定（见表2）。
表2一人工智能的法律定义和分类
在上述分类中，深度合成技术其实可以并入生成式人工智能之中，是生成式人工智能之下的一种子类型，这一点在《互联网信息服务深度合成管理规定》第23条的列举中体现得十分明显，深度合成技术包括但不限于：（1）篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术；（2）文本转语音、语音转换、语音属性编辑等生成或者编辑语音内容的技术；（3）音乐生成、场景声编辑等生成或者编辑非语音内容的技术；（4）人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术；（5）图像生成、图像增强、图像修复等生成或者编辑图像、视频内容中非生物特征的技术；（6）三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术。也就是说，早在ChatGPT等大型语言模型引爆生成式人工智能热潮之前，我国已经有了这个领域的法律规则。
二、回应人机交互问题的法律原则：人在回路
所谓人在回路，即英文中的human-in-the-loop（HIIL），是指在机器学习、自动驾驶、自动化武器及自动化决策等人工智能运用场景中要求人类的介人。也就是说，即使从技术上讲，机器已经可以自动化地完成所有的感知、决策和执行过程，从人本主义的角度出发，仍然需要人作为机器决策的把关者。尽管不一定明确使用“人在回路”这个术语，但要求有人来监管和介人人工智能的自动化决策却是体现在世界各国相关立法中的普遍原则，以至有学者提出了“人在回路权”这一概念，认为它是数字社会中人的基本权利之一。[7]法律中体现“人在回路”原则的规则设计被内化为工程设计中的基本原则，催生了“关注人类因素的工程设计”（Human Factors Engineering，HFE），以及研究特定工程设计之用户体验或对人类用户之影响的工效学（Ergonomics）。[8]
我国体现“人在回路”原则的法律规则依循的是传统的“让人来负责”的思路。比如，《网络安全法》第21条要求网络运营者确定网络安全负责人；《个人信息保护法》第52条要求处理个人信息达到国家网信部门规定数量的个人信息处理者指定个人信息保护负责人；《关键信息基础设施安全保护条例》第14条要求关键信息基础设施运营者设置专门安全管理机构，该机构的负责人和关键岗位人员要经过安全背景审查方可上岗；《网络信息内容生态治理规定》第9条要求网络信息内容服务平台设立网络信息内容生态治理负责人，配备与业务范围和服务规模相适应的专业人员，加强培训考核，提升从业人员素质；《互联网信息服务算法推荐管理规定》第7条要求算法推荐服务提供者落实算法安全主体责任，配备与算法推荐服务规模相适应的专业人员和技术支撑。在个人用户权益保护方面，“人在回路”原则体现为要求运营者、数据处理者或服务提供者在算法设计上要强化用户的主体意识和选择权，把人带进算法的闭环，让用户能够自主决策是否接受算法推荐或个性化内容，比如，《电子商务法》第18条规定，“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项，尊重和平等保护消费者合法权益”；《个人信息保护法》第24条第2款规定，“通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供便捷的拒绝方式”；《互联网信息服务算法推荐管理规定》第17条规定，“算法推荐服务提供者应当向用户提供不针对其个人特征的选项，或者向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭算法推荐服务的，算法推荐服务提供者应当立即停止提供相关服务”。
这种人与算法二分、由人来控制算法或对算法负责的机制体现了传统的思维，可以解决出现损害结果后的追责问题，却无法起到在确保合理使用、激励技术和产业发展的同时预先防止风险的作用。换句话说，这种未触及人机交互的普遍形态而仅侧重于让人进入算法自动化决策的闭环实施干预的规则设计，未能考虑到人是否有能力进行干预、何时干预及如何干预这些操作层面的问题，只是把人安放进了算法的回路。人在其中可能扮演的角色包括：（1）纠正算法错误的角色，比如，发现和改正明显的错误、漏洞和偏差，确保算法安全运行并实现其功能，但这个角色在深度学习必然蕴含的“算法黑箱”情境中很难扮演，实际上处于虚置状态；（2）弹性角色，充当故障安全机制，即确保算法失灵时关闭系统或转入人工处理模式；（3）正当化角色，通过为决策过程提供人类因素来增强系统合法性，因为人们普遍相信只有人才有道德感和道德判断能力，事关是非对错、公平分配的人类事务不能交给冷冰冰的机器；（4）尊严保护角色，受决策影响（尤其是不利影响）的个人，如果知道该决策是由机器作出的，会感到受到了冒犯；（5）出现问题时承担责任的角色（又被戏称为背锅角色），因为惩罚机器没有意义；（6）代言人角色，作为人类利益的代言人，为自动化决策注入人性因素；（7）增强摩擦力的角色，高速运转的算法系统出现问题可能过了很久才被发现，而在此过程中更多的损害已经不可避免地造成，人的介入会降低算法运转的速度，从而使算法回到人类能够跟上的速度；（8）在自动化程度日益提高的时代为人类保留一些工作岗位的关照角色；（9）将系统与人类用户联系起来的接口角色。[9]
此种落实“人在回路”原则的制度设计是基于一种基本的假定，即人有人擅长的事情，机器有机器擅长的事情，将二者结合到一起就可以达致最佳状态。这一假定最早由美国工程心理学家保罗·菲茨提出，被简称为Maba-Maba假定。菲茨提出这一假定的语境是民用航空和交通控制领域的人机交互，他所列出的人和机器各自擅长的事情清单并不能直接适用于如今人和人工智能系统交互的场景，但这一列清单的思路却延续下来，成为许多人（包括立法者和政策制定者）思考相关问题的基本框架（见表3）。在理想情况下，人在回路系统中将实现两全其美：人类的灵活性可以缓解算法的硬脆性，算法的速度有助于迅速解决简单重复的问题（包括处理大量简单案件），同时，为速度较慢的人留出空间来权衡较难的问题（包括处理疑难案件），算法的逻辑一致性和人类的语境敏感性也能互相补充、折冲平衡。
表3菲茨清单[10]
如今，人工智能领域的专家们已经对人所擅长的事情和机器所擅长的事情有了全新的认识。比如，主流的机器学习颠覆了“人擅长归纳推理，机器擅长演绎推理”这一认识，从海量的无结构数据中找出模式或规律——这种归纳推理正是深度学习类算法最擅长的事情。该领域的权威专家写道：“算法预测不需要物理学。未知的结果，无论它是未来的还是未被观察到的，总是依循在过去观察到的现象中发现的模式。”[11]实际上，机器学习的核心机制就是：从大量数据中识别出模式或规律，然后，将这些规律迁移适用于其他场景。机器学习从本质上讲是一种计算统计技术，其功能是发现隐藏的规律，依据的是相关性而不是因果性。目前人工智能的主要商业应用形态，类似于艾萨克·阿西莫夫在《银河帝国》中所描绘的哈里·谢顿的心理史学。[12]在这部伟大的科幻小说中，心理史学被定义为数学的一个分支，专门处理人类群体对特定的社会与经济刺激所产生的反应。要使心理史学对人类行为模式的预测达到极高的准确度，作为研究对象的人类必须足够多，多到能够用统计方法来处理的程度，人数下限由“谢顿第一定理”决定。此外，人类群体中应当无人知晓自己本身是心理史学的分析样本，如此才能确保一切反应皆为真正随机。这就是目前各大平台企业都在使用的基于大数据的深度学习算法，旨在准确预测人的线上行为。至于说“机器只能短期存储少量信息，而人能长期记忆大量信息并在需要时适时调取记忆”，则早就被数据存储技术的发展给抛进历史垃圾箱了。
不过，对我们思考人机关系问题最有启发意义的还是汉斯·莫拉维克在1988年总结出的一种现象：“很明显，让计算机在解决智力测试问题或下棋时表现出成人水平相对容易，但很难或不可能让它们在感知和运动方面具备一岁儿童的技能。”[13]这个表述后来被概念化为“莫拉维克悖论”（Moravec's paradox）：推理和复杂运算只需要非常少的算力，但身体技能和直觉却需要极大的算力。这似乎为如何设计人机交互界面指出了一条明路：让机器去做数据存储、信息搜索、模式识别和行为预测，而由人来做直觉判断和需要肢体技能的操作。但在总体性的数字化环境中，人类何时接管、如何接管，以及接管时能否发挥出人类的正常水平都是问题。实际上，人类的接管往往被设计为“被动接管”，即在机器以视觉、声音或触觉刺激的方式发出接管请求时方可接管。而在缺乏外部监督的情况下，商业引用场景中人工智能往往通过诱导性的用户界面设计消解人类接管的可能性。前一种情况的典型例子是自动驾驶汽车，后一种情况的典型例子是暗模式。下面分别加以简要讨论。
1.自动驾驶汽车场景中的“被动接管”和“拒绝接管”
2017年，德国议会通过了《道路交通法》的第八修正案，[14]允许配备驾驶员的高度自动化和完全自动化汽车上路。[15]其中的§1b款（标题为“车辆驾驶员在使用高度或全自动驾驶功能时的权利和义务”）规定：
（1）车辆驾驶员可以在按照§1a款使用高度或全自动驾驶功能驾驶车辆时不再专注于交通状况和车辆控制；在这样做时，他必须保持足够的警觉，以便可以随时履行第2款规定的义务。
（2）车辆驾驶员有义务在下述情况下立即重新控制车辆：
①如果高度或全自动系统请求他这样做，或
②如果他认识到或由于明显的情况必须认识到高度或全自动驾驶功能的预期用途之先决条件不再满足。
与这一注意义务分配模式相配套的责任规则是：如果是在§1b（1）项规定的情况下使用自动驾驶功能时发生了交通事故，责任在自动驾驶汽车一方的，由自动驾驶汽车制造商负责赔偿；如果是在§1b（2）项规定的情况下，驾驶员应当接管而未接管，或接管后发生事故，责任在自动驾驶汽车一方的，则由驾驶员承担责任。
可以看出，§1b（2）项实际上规定了两种人类接管情形：一是被动接管[16]；二是主动接管。但主动接管在高度自动化和完全自动化驾驶汽车（L4以上级别自动驾驶汽车）的场景中实际上很难系统性地实现。试想，一位人类驾驶员或“技术监督”在开启了自动驾驶系统之后，按照法律所允许的行为方式，“不再专注于交通状况和车辆控制”，开始刷手机视频或开视频会议，其不仅难以做到主动接管，就连接到被动接管请求时恐怕都难以作出及时有效的反应。有鉴于此，德国交通部“自动与网联驾驶伦理委员会”《伦理原则报告》第17条又对自动驾驶汽车的被动接管技术设计提出了适应人类认知特性的高要求：
高度自动化汽车的软件和技术应当做到实际上避免在紧急情况下突然将控制权转交给人类司机的情况。为了确保有效、可靠和安全的人机沟通并避免让人承担过重的负担，系统应当更强地适应于人类交流行为并且不要求人类的高度适应能力。[17]
但这个要求在技术上是不可能做到的。如果机器能够预见到事故即将发生，并在给人类留下充分准备时间的情况下请求人类接管，那么这就不是真实世界的交通事故了。所有的事故都是突发的，无论人还是人工智能都无法提前很长时间预见到。如果人工智能系统可以预见交通事故，那么它就可以采取行动去避免事故，而不是请求人类接管。
显然是意识到了这个实践悖论，德国于2021年再次修改《道路交通法》和《强制保险法》，将其中涉及自动驾驶汽车的条款归并为《自动驾驶法》[18]时，在接管问题上确立了与伦理委员会提出的伦理原则截然相反的“拒绝接管”规则：
本法所称的最低风险状态是指这样一种状态，在其中，车辆
（3）独立将自己置于最低风险状态，如果继续行驶只有在违反交通法规的情况下才能进行；
（4）审查技术监督指定的操作并决定不予执行，而是独立将车辆置于最低风险状态，如果此种驾驶操作会危及交通参与者或无关人士。
从德国这一波三折的接管规则变化[19]可以看出，如何用法律来确定人机交互的具体条件和要求是一件异常复杂的事情。人类理解复杂的自适应系统的能力会随着系统自动化程度的提高而递减。如果遵从人类的价值选择（人的尊严和自主性）和法律逻辑，所设计出的规则可能就很难在高度自动化的实践场景中得到执行。反之，如果遵从技术逻辑，人在其中就变成了一个完全被动的存在。
2.暗模式治理
通过架构设计、应用编程界面（API）和用户界面设计（UI）而搭建起的电商平台、社交媒体平台和内容平台如今已成为人们日常生活中不可或缺的参与社会生活和经济生活的媒介。平台借助机器学习算法来获取、分析和使用用户数据，对用户进行标签化识别、画像和行为操纵。在平台用算法编制成的巨网面前，个人是透明的，而其所面对的界面是平台设计的结果，其背后的运作机理是普通用户甚至外部监管者都难以知其深浅的。从某种意义上说，数字社会总体上就是一个算力集中的黑箱社会。[20]而暗模式（Dark Pal-tems）是这个黑箱上向用户开放的窗口，其设计者故意迷惑用户，使用户难以表达他们的实际偏好，或操纵用户付出原本不必付出的额外金钱、时间或个人信息。他们通常利用认知偏差，促使在线消费者购买他们不想要的商品和服务，或者透露他们在充分知情的情况下本来不愿透露的个人信息。暗模式是用户体验（User Experience）设计界的常用伎俩。在数字生态中，一切关乎设计，而设计是平台主导的。设计师使用暗模式来隐藏、欺骗和诱使用户泄露。他们通过以非专家无法理解的方式提问来混淆用户，他们通过隐藏可以帮助用户保护其隐私的界面元素来混淆用户，他们需要注册和相关的披露才能访问功能，并将恶意行为隐藏在法律隐私政策的深渊中。通过将信息共享与应用内福利联系起来，暗模式也使用户披露个人信息显得“不可抗拒”。通过此类方式，设计者故意让用户难以实现他们的隐私偏好（见表4）。
表4常见暗模式类型及特征
暗模式存在于各种类型的平台和网络服务中，比如，在电商平台，它主要表现为不合理的差别定价，也就是我们经常听说的“大数据杀熟”。一人一价、价格不透明及比价困难是电商、预订类平台和网约车平台常见的特点，而这些平台是通过架构设计和用户界面设计来实现这种特点的。用一篇研究暗模式治理的经典论文中的话来说：“决策架构，而不是价格，驱动着消费者购买决策。”[21]我国的相关立法采取了行为界定的传统模式，禁止不合理差别定价的行为。比如，《个人信息保护法》第24条第1款规定：“个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。”而《浙江省电子商务条例》则对此作出了更为具体的规定：
第十四条 电子商务经营者不得利用大数据分析、算法等技术手段，对交易条件相同的消费者在交易价格等方面实行不合理差别待遇。
下列情形不认定为不合理差别待遇：
（一）根据消费者的实际需求，且符合正当的交易习惯和行业惯例，实行不同交易条件的；
（二）针对新用户在合理期限内开展优患活动的；
（三）基于公平、合理、非歧视规则实施随机性交易的；
（四）能够证明行为具有正当性的其他情形。
本条所称交易条件相同，是指消费者在交易安全、交易成本、信用状况、交易环节、交易方式、交易持续时间等方面不存在实质性差别。
不过，这种针对行为而不是架构而确立的法律规则无法解决普遍存在的暗模式问题，使得不以价格而以过度获取个人信息为表现形态的商业模式无法得到规制。从域外经验来看，美国加州和欧盟的相关规范值得参考。美国加州的《隐私权法》（CPRA）是世界上第一部对暗模式作出明确界定的法律，它将暗模式定义为“一种人为设计或操纵的用户界面，其实质效果是颠覆或损害用户自主性、决策或选择”，并规定受暗模式诱导而表达的同意不是真实的同意，合同自始无效。[22]即将于2024年3月开始实施的欧盟《数字服务法》[23]则对暗模式有更加详细的界定。
在线平台界面上的暗模式是有意或实际上严重扭曲或损害服务接受者作出自主且知情的选择或决定之能力的做法。这些做法可用于说服服务的接受者作出其本不想作出的行为或作出会给其带来不利结果的决定。因此，应禁止在线平台服务的提供者欺骗或怂恿服务的接受者，以及通过在线界面或其部分的结构、设计或功能来扭曲或损害服务接受者的自主权、决策或选择。这应包括但不限于剥削性的设计选择，以引导接受者采取有利于在线平台服务提供者但可能不符合接受者的利益的行动，或当要求服务的接受者作出决定时，以非中立的方式呈现选择。例如，通过视觉、听觉或其他组件设计更加突出某些选项。
在该规则制定过程中，相关立法讨论提到的暗模式类型主要包括：（1）过载。让用户面临眼花缭乱的请求、信息、选项或可能性，促使他们共享更多数据，或无意中允许违背数据主体期望的个人数据处理。（2）跳过。故意通过设计让用户忽略或无视对其自身数据保护至关重要的信息。（3）搅拌。通过界面设计来实现用户情绪调动或视觉助推，从而影响用户选择。（4）阻碍。指通过使操作难以或不可能实现来妨碍或阻止用户作出对自己有利而对平台不利的选择。（5）变化无常。界面的设计不一致且不清晰，使用户难以寻找到不同的数据保护控制工具，并了解处理的目的。（6）蒙在鼓里。界面的设计方式是隐藏信息或数据保护控制工具，或者让用户不确定他们的数据是如何处理的，以及他们有什么样的工具选项可以帮助自己保护隐私或个人信息。
通过以上讨论的自动驾驶汽车中的人类接管规则和暗模式治理两个例子，我们可以清楚地看到：将人和机器截然二分而分别关注人类行为和机器行为的思维方式无法帮助我们有效解决数字化生态中的人机交互问题。这种环境中的人已经是受机器分析、预测和引导（或误导）的人；而机器也不是被动的、中立的工具，是智能化的、内化了人类欲望和价值选择的机器。体现“人在回路”原则的法律规则，应当着力于总体的架构设计和用户界面设计，而不是随便扔个人进去充当“橡皮图章”或“背锅侠”。在这方面，正在讨论过程中的欧盟《人工智能法》草案可以为我们提供一定的参照。该草案序言指出，“人在回路”中的人必须“具备必要的能力、接受过必要的培训并享有必要的权力来充当这一角色”。该草案第14条特别要求“高风险”人工智能系统的开发者在设计和开发此种系统时为人类对其进行有效监管留下空间。“高风险”人工智能供应商还需要使用“适当的人机交互界面工具”来构建系统，它们必须使“人在回路”的人能够理解系统的运作机制并“能够适当地监控其运行”，这需要此种系统具有可解释性。开发者还以强化人类自主性的方式来设计系统，使“人在回路”中的自然人能够意识到人类服从机器的倾向并保持警醒。[24]正如欧盟在数字科技、数字服务和数字市场方面的其他立法一样，这部法律关注到了数字社会的基本特征，提出了有针对性的全新概念和规制框架。尽管其中的具体规则设计有待商榷，但其思维框架却无疑值得参考。
三、生成式人工智能场景中的“人在回路”
最近，一则律师援引ChalGPT编造的假判例来支持己方主张的事件在美国乃至全球法律界引发了广泛关注。一位名叫罗伯托·玛塔（Roberto Mata）的乘客声称自己在2019年乘坐飞机时膝盖被机上的送餐推车撞伤，于是在纽约曼哈顿的纽约南区联邦地区法院起诉航空公司。航空公司以诉讼时效已过为由请求法院驳回起诉。玛塔的律师之一史蒂文·施瓦茨（Steven A.Schwartz，来自Levidow，Levidow & Oherman律师事务所）向法院提交了一份十页的书面辩论意见书，反驳了对方的主张。意见书中援引了六个先例，包括瓦吉斯诉中国南方航空公司，这些先例都表明法院在此类案件中不会因为诉讼时效已过而拒绝受理案件。但对方律师向法院指出，这些先例都是假的。于是，此案主审法官凯文·卡斯特尔发出了一份法院令[25]，要求施瓦茨提供理由解释自己为什么不应当受到处罚，其中写道：
本院面临一个前所未有的情况。原告律师提交的反对驳回动议的意见书中充斥着对不存在案件的引用。当对方律师提请本院注意这一情况时，本院发布命令，要求原告律师提供一份宣誓证言书，附上他提交的材料中引用的案例副本，他已经照做了。他提交的材料中有六个显然是伪造的司法判决，包括伪造的引文和伪造的案卷号。本院特此发布命令，要求原告律师解释为何自己不应受到制裁。
施瓦茨在随后提交的解释中说自己是用ChatGPT找到的这些案例。他写道：
当我在此案中使用ChatGPT时，我了解到它本质上就像一个高度复杂的搜索引擎，用户可以在其中输入搜索查询，而ChatGPT将根据公开可用的信息以自然语言提供答案。
我现在意识到我对ChatGPT工作原理的理解是错误的。如果我了解ChatGPT是什么或它的实际工作原理，我绝不会用它来进行法律研究。
目前法官尚未决定是否对施瓦茨进行制裁。按照美国律师协会的《职业行为模范准则》第3.3（a）条款，律师不得故意：（1）向法庭作出虚假的事实或法律陈述，或者未能更正自己先前向法庭作出的对重要事实或法律的虚假陈述；（2）不向法庭披露律师已知的直接不利于委托人立场且对方律师未披露的本司法管辖区内的权威法律渊源。[26]显然，施瓦茨的行为客观上违反了这一规则，但他是否故意（knowingly）这么做仍有待法官去判断。
的确，施瓦茨对ChatGPT这种新工具的理解是完全错误的，它不是一种搜索引擎，而是一种基于对人类日常语言样本的学习而生成新的语言文字内容的工具。首先，它不具备实施搜索功能，它的训练数据中不包含2021年之后出现的新内容。比如，本文作者曾经问它：“《中华人民共和国民法典》第1307条的内容是什么？”这可以说是一个非常简单的客观题了。我们知道《中华人民共和国民法典》总共就1260条，第1307条是根本不存在的。但它却言之凿凿地回答：“《民法典》第1307条规定：婚姻的结束，由双方当事人协商一致，或者由人民法院裁定。”也就是说，它对简单的客观知识问题一本正经地胡说是一种常态。其次，ChatGPT之类的大型语言模型是使用通用文本来训练的，其中最具知识性的文本恐怕就是维基百科之类的质量参差不齐的、没有经过编辑把关的共享知识内容，因此，它回答任何专业领域的问题都表现得泛泛而谈，很难直接采用为可靠的文本。但它在日常对话中和写一般性的文案及作文方面却表现得不错。最后，专业领域的生成式人工智能工具是下一步可能出现的新事物。比如，已经在过去的法律数据库业务中积累起了大量法规、案例、法学学术论文等法律相关文本的Lexis和北大法宝已经或正在开发专门的法律知识大型语言模型。这种专业细分领域的大模型很可能生成较为可靠的法律知识文本，但如果要用于正式的司法程序，还是必须经过人类法律职业人士的核实。
机器学习大模型是人工智能技术经过60余年累积而绽放出的应季花朵，令观赏者赞叹不已。由于当下的多模态大模型不仅可以生成文字影音内容（AIGC），甚至可以生成实物（借助3D打印技术，比如商汤“日日新”大模型体系中的“格物”），所以被认为是生成式人工智能的突破性进展。从技术上讲，大模型并非基于任何知识上的创新，而是基于算力、算法和数据的规模升级，是摩尔定律和梅特卡夫定律所揭示的技术的政治经济效应的表现。换句话说，大模型依靠的是“暴力计算”，即高性能GPU运行千亿级参数模型通过海量数据进行预训练。用OpenAI首席科学家伊利亚·苏茨克沃的话来说：“如何解决难题？使用大量训练数据及一个大型神经网络。这样，你可能得到的唯一结果就是成功。”为此，OpenAI的主要投资者微软投入数亿美元为OpenAI打造了一套超算系统，由上万颗单价为数万美元的英伟达A100芯片组成，这套系统为训练ChatGPT提供了3640PF-days的算力消耗（假如每秒计算1000万亿次，连续计算3640天）。由此可见，大模型训练是一个烧钱和耗能的游戏，充满着重资本的味道，一点儿也不节能环保。这时，我们就需要对大模型的商业和社会应用进行一番“成本一收益”分析，看看它带来的收益是否大于成本，以及收益的归属和成本的分担。在进行这种分析的时候，我们应当注意到尚未被计入成本的那些外部性，比如，实际上由公众承担成本的环境损害。
大模型能够带来的好处似乎是显而易见的。虽然训练成本高昂，但一经训练成功，它就可以产生巨大的生产力，自动化地生产文字、图像和音视频内容，比如，帮助文字工作者生成文案和文学作品，帮助医生了解病人的病史和症状描述并形成诊断和治疗方案，帮助老师、科研人员和学生阅读大量文本并提取关键知识点和主要论点，帮助法律职业者审阅法律文件、分析法律问题并形成初步法律意见书等。进一步，当细分领域的专业化大模型出现的时候，它可以改变各行各业的生产方式和组织形态，大幅度提升制造业、交通运输业、农业乃至任何我们能够想到的行业的自动化程度和生产率。以商汤的“日日新”大模型体系为例，它包含作为对话和文本内容生成平台的“商量”（SenseChat），可以像ChatGPT那样跟人进行多轮对话，可以写广告语、文案、故事、小说和程序代码，如果用于智慧医疗，可以提供随访、健康咨询、互联网问诊和辅助医疗服务，这些功能已经在上海新华医院、郑州郑大一附院、成都华西医院得到实际应用；它还包含根据文字生成图像的“描画”，可以生成图文并茂的文案、漫画并辅助其他形式的艺术创作；还有生成元宇宙3D虚拟场景的“琼宇”，可以实现对虚拟空间和虚拟物体的复刻与交互（比如，耗时两天即可生成具有厘米级复刻精度、还原场景的真实细节和光照效果的100平方公里虚拟城市），可用于数字孪生、建筑设计、影视创作、文旅宜传和电商展示等场景，以及“格物”，即连接3D物体生成与3D打印，将自动生成的物体制造成实物，可用于制造业。
这些都是大模型商业模式的从业者向我们展示的美好前景，在丝毫不否认这些场景都有可能在近期实现的前提下，笔者想指出其另外一面，以便我们的公共选择能够促成一种普惠的现实，而不是让技术成为“割韭菜”的工具，在给少数人带来巨大收益的同时，让多数人承担成本而只得到极微小的甚至是虚幻的好处。
正如前面已经指出的那样，作为一种机器学习方法上的创新，现有的大模型训练方案是对人类已有的创造成果的规模化学习，所产生的结果是已有内容的新的表达形式，它不会带给我们关于事实的新知。已有的实操都显示出，ChatGPT更善于回答“主观题”，而在“客观题”方面则无法给我们提供准确的答案。按照悉尼大学语言学教授恩菲尔德（N.J.Enfield）的说法，语言是人类社会生活的产物，它的首要功能不是再现事实，而是维系社会关系和协调社会行动。借助语言，我们不仅对其他人产生影响，而且与其他人一起来影响社会。在使用语言时，我们不仅考虑要不要表达自己的真实想法，还要考虑其他人会怎么理解我们所表达的内容，以及他们在按照自己的理解消化了我们所表达的内容后会如何回应我们。语言的功能塑造着语言的形态，导致所有的人类语言中都包含大量表示人类主观感受的词汇，而描述自然事实的词汇却缺乏精准性。比如，人眼可以辨别几百种颜色，但描述颜色的词汇在任何人类语言中都只有屈指可数的几个。[27]
在社会交往中策略性地使用语言是人本身就很擅长的，我们所需要的人工智能是能够为我们理解真实世界提供可靠信息的助手，而不是能够模仿我们熟练使用社交语言的“社牛”。在这一点上，大型语言模型还不如搜索引擎。进而，如果人们觉得大型语言模型支撑的各种聊天工具比真人说话更“动听”，便会减少与亲人、朋友、同事或同学的语言交流，沉浸于跟机器聊天。这将进一步加剧社交媒体兴起以来人在自己主观世界中的沉浸和共同体意识的缺失。“信息茧房”“过滤气泡”和“回音室”等概念都描述了这样一种数字化时代普遍现实。但人毕竟生存在真实世界中，这个世界的客观事实总会检验人的主观认知，一旦面临生存考验，沉浸于主观满足感的人类就会显得十分脆弱。
由此我们可以看到，大模型可能对社会有益的应用方向是那些不需要新知识的领域，或者说是那些以保守为正面价值的领域，如文化、宜传、法律和常规医疗。法律的主要功能在于维护既定的社会秩序，需要在既定规则的大前提下处理大量信息，这恰恰是大型语言模型所擅长的。不过，要把大模型应用到法律工作的场景中，尤其是司法过程和执法过程中，人类的把关是十分必要的。司法过程要处理各种各样的文本和音视频材料，“按照性质，这些材料大体分为两类，一类是解决事实问题的，也就是各种证据；另一类是解决规范问题的。前者是解决案件的事实基础，后者是解决案件的规范基础”[28]。无论是帮助裁判者判断事实问题的材料，还是裁判者借以解释和适用法律的材料，真实性都是首要的要求。虚构的法条（比如，法学院学生在期末考试时行使“紧急临时立法权”编出来的法条）和判例（比如，前面提到的玛塔案原告律师用ChaiGPT编出来的案例）是不能被容忍的，更不能作为裁判依据。正因如此，生成式人工智能如果要用于法律工作，在设计上就需要突出人作为最后把关者和决策者的角色，使算法无法形成从数据采集、数据分析、自动化决策和最终文本生成的闭环。
四、结论
我们已经进入了数字化时代，以人工智能为典型代表的数字科技成了这个时代的通用技术，改变着我们的生活方式、工作方式和社会关系形成方式。与传统的技术相比，人工智能技术的特点就在于它能够“学习”，能够通过对海量人类行为数据的学习来实现自适应和自演进。也就是说，它不再是一种被动的工具，而是一种“活的”、展现出“智能”的工具。人在使用这种工具的时候，也在被这种工具影响和改变。因此，在思考如何用法律来规制这种技术及如何用这种技术来提升法律工作的效率和品质的时候，以人的行为（包括使用工具的行为）为着眼点和着力点的思维方式和规则设计方式已经过时了。我们应当更多地关注人机交互和人机共生的结构性和系统性问题，考虑人工智能不同应用场景中人机交互界面的设计原则，比如，在自动驾驶汽车的场景中赋予算法自动化决策以更多的权重（甚至必要时允许系统拒绝人类接管），而在智慧法院、智慧检务、智慧公安、智慧法律服务这样的应用场景中确保人类的决策能力和机器的辅助地位。
一种以人为本的人工智能法治系统应当包含这样一些基本组成部分：一是总体的数字化生态治理规则，包括网络安全、数据安全、个人信息保护、可信赖人工智能、内容治理和数字市场公平竞争方面的规则；二是对人工智能算法实际应用过程的表现评估机制，包括稳健性和灵活性评估、可靠性评估、有用性评估、可测试/可验证/可证明性评估及安全性评估等，以便及时发现问题，实现风险控制；三是独立监督机制，包括算法备案、算法审核、算法影响评估、算法后果溯源、保险、第三方审查等方面的制度；四是确保人工智能对受影响的利益相关方具有一定透明性和可解释性的制度保障；五是行业标准，如符合伦理的软件工程设计标准等。只有从生态、系统、结构和行为层面同时入手，才能搭建起确保科技向善的法律系统。而这个法律系统本身必须由人而不是人工智能来掌握，才能确保人在日益智能化和自动化的社会环境中保有尊严和自主性。
郑戈，上海交通大学凯原法学院教授，上海交通大学中国法与社会研究院企划委员会主任、研究员，上海交通大学涉及人的科学研究伦理委员会委员。
【注释】
[1]参见郑戈：《算法的法律与法律的算法》，载《中国法律评论》2018年第2期，第66-85页。
[2]Stuart Rusell，& Pder Narig，Arifrcial Inteligenee：A Modem Appranch，Uipper Saddle River，New Jersey：Pearsn Edu-cation Limited，2016，p.1.
[3]Jodn MeCathy，Mavin Misky，Nahanid Raclester and Caade Shaman，A Prgpoasal fie the Dartmouth Summer ReearchPnget on Artficial Intelligence（31 Augist 1955），p.1.
[4]James Hendkr and Alice M.Mulwehill，Seiad Machines The Coming Colison af Anijeial Inteligene，Sociad Netaorkingand Humanity，APres，2016.p.153.
[5]See Arnald Thackray，Darid C.Bmek，and Rachd Jones，Moore's Lane：The Life of Gordon Moore，Silcon Valley's Quicdt Rev-olutionary.New York：Basic Bonks，2015.
[6]Herbert A.Siman，The Sdienee gf the Artjicial，MIT Press，2019.p.100.
[7]Meg Leta Jomes，The Right o a Hman in the Lonp：Polinl Consrudions of Computer Automution and Peronhood，47 So-cial Suudies of Srience 216，224 （2017）.
[8]Gavriel Sdlvenly and Waldemar Kanwowki，Hnndook gf Human Factars and Ergonamis，Wiley，2021.
[9]Reeeca Cnobf，Mangot E.Kaniski，& W.Nidolson Pice II.Humans in the Lap，76 Vadehlt Law Revicw 429，p.473-474.
[10]P.M.Fits（ed.），Haman Enginering fir an Eifetie Ai-nrigatin and Tialfiac-conind System，Wahingtun，DC：National Reseanch Council，1951.
[11]Moriz Handt and Benjamin Recht，Puttems，Predicions，and Actins：Foundations f Machine Leamning，Princekon Uni-versity Press，2022，p.2.
[12]参见[关]艾萨克·阿西莫夫：《银河帝国第一部：基地》，叶李华译，江苏文艺出版社2015年版。
[13]Hans Moravec，Mfind Chddren：The Future af Rcdod and Human Imtellgena，Havand Universily Pres，1988，p.15.
[14]Aches Geel mur Andernung des Stmlenverkehsgesetaes （8.SIVGAndG k.a.Akk.）G.v.16.06.2017 BGH.1S.1648（Nr.38）；Gelung ab 21.06.2017，可下载于：BGBI.I 2017 S.1648-Aches Geselz zur Andenng desStralkenverkchrsgslzes-dejure.org。
[15]有不少评论者认为，这部法律只允许13及以下级别的自动驾驶汽车上路，这是错误的理解。实际上，这次修订已经允许L4和L5级别的自动驾驶汽车上路了，只不过要求其必须有驾驶员。导致误解的原因是不少人混淆了技术等级和法律要求，L4和L5级别的自动驾驶汽车在技术上可以做到自主控制，不需要驾驶员，但法律要求其必须有驾驶员。法律要求并不因此降低车辆的自动化技术等级。
[16]参见郑志峰：《论自动驾驶汽车被动接管规则》，载《华东政法大学学报》2023年第3期。这篇文章侧重于对被动接管规则的讨论，而忽视了相关立法中的“主动接管”选项及后来立法中出现的“拒绝接管”规则。
[17]Eihik-Koammision Automatisiertes und Vemdzte Fanen，Eingesta durch den Bundesminiser far Vekelr und dgiak-frusmktur，Bericht，Juni 2017.
[18]2021年7月，德国联邦议会通过《修订道路交通法和强制保险法的法律——自动驾驶法》（以下简称德国“自动驾驶法”），此处所引条款在le（2）项。由于高度和完全自动化汽车上不再有司机，监督车辆运行状态的人被称为“技术监督”（Technidhen Aufsish）。
[19]对于这个有趣过程的详细讨论，请参见郑戈：《电车难题与自动驾驶系统算法设计中的伦理考量》，载《浙江社会科学》2022年第12期。
[20]Fank Paspuask，The Back Bor Scicty：The Seret Algorihms That Contrd Money and lngomatim，Harand UiniversityPres，2015.
[21]Jamie Lauguri and Lior Jaodb Stmhilevitz，Shining a Light on Dank Pallerns，13 Jarnal of Legal Amalysis 43（2021），p.44.
[22]The Caljfornia Piraey Righus Acd of2020，at https://theepra.org/（Last Visited on May.20，2023）.
[23]EU Digiad Senice t，at hutps://sn-les.cumpa.eu/legadl-cotmVEN/TXT/PDF/？ui=CEIEX:32022R2065（LstVisited on May.20，2023）.
[24]Pmpesal for a Regubtion of the Eumopan Parliament and of the Couneil Laying Dbown Hamonised Rales con Arnifcial Intd-ligrnce and Amending Cetain Uinicm Legislative Ads，简称《欧盟人工智能法》（EUAI Ad），英文版可下载于：https://eur-lex eumpa.ev'resouree.html？uri=cellar：40649735-a372-1leb-9585-0laa75wd7lal.0001.02/D0C-1&foma=PDF。所引规则见第14条第1-5项。
[25]May 4 arder in Mata v.Avianea，he，at http://domes.countlisteer.com/reap/gon.usourts.nysd 575368/gow.us-courts.nysd.575368.31.0.pd（Last Visiked an Feh.1，2023）.
[26]ABA Mold Rules of Pofesicmal Condut，at htps://www.americanbar.arg/ goupa/ mofesiomal_mspwnsibiliy/ruhics-tions/model_nules_of_pnfessional_condudt/moodldl_nules_ofLprofesional_oonhucL_lable_ooontenls/（Last Vihited on Fe.1，2023）.
[27]N.J.Enfeld.Langunge ss.Realiy：Why Langunge ls Gaod for Lanyen and Bad for Sieniss，MIT Prss，2022.
[28]雷磊：《法律渊源、法律论证与法治》，载《社会科学战线》2023年第1期。
