本文是季卫东在2018年11月16日第三届新兴法律服务业博览会暨Legal+高峰论坛上的演讲。
非常感谢主办方的邀请，使我有机会跟大家进行交流。刚才大家都介绍了人工智能在中国、在世界的迅猛发展。显然，人类社会现在正处在第四次产业革命的转折点上。这一切都让我们感到非常振奋。当然作为一个研究者，不仅要有热忱的心，而且还需要有冷静的脑。今天我想着重谈一谈在人工智能迅猛发展的过程中，到目前为止仍然强调得不很充分的、关于人工智能开发的原则、伦理规范以及政策。
如今，我们经过自动化控制（傻瓜相机）、初级人工智能（家庭扫地机器人）、电脑思考的机械学习（对弈程序）等阶段，正在迈进人工智能社会的第四个阶段，即能够从大数据中提取特征量的深度学习阶段（阿尔法元）。在这个阶段有一个最重要的特点，这就是人工智能网络化，不同系统互联互通、在互相作用中共同进化。
人工智能和互联网联系在一起，形成了数据驱动的社会。在这里，数据具有经济价值，甚至可以发挥通货的作用。在这个过程中，我们可以看到存在这样的关系，即通过物联网收集大数据、借助人工智能分析大数据，从而使得我们各种各样的产业活动和生活能够产生极高的效率，提供前所未有的发展空间。这是今天我们时代所面临的变化，而这样一种变化，同时也渗透到法律社会。
人工智能网络化的风险与社会治理
刚才大家都在谈论人工智能，对于人工智能究竟是什么的概念似乎也有必要推敲一下。首先要界定是人类的智能，然后才能界定人工智能。人类智能的根本特征是思考、沟通、推理、判断以及感情表达。关于人工智能，最简单的说法就是像人那样思考的电子计算机，或者数据处理系统。作为数据处理系统的人工智能，输入与输出之间的关系是决定性的，应该成为我们关注的焦点。
目前的人工智能热是由电脑数据处理系统的深度学习而引起的。由于存在深度学习，算法及其组合的变化势必超出人工智能开发者的初始预料，甚至超出人们的控制而自行其是。由此可见，人工智能在给我们带来巨大便利的同时，也会带来巨大的风险。当人工智能互相连接形成网络的时候，在深度学习的媒介作用下很容易发生组合的自动变更以及无法说明的结果，这就势必导致人工智能判断的黑箱化，甚至形成网络混沌现象。这时候我们会发现人工智能将使得社会变得不透明化，安全性受到影响甚至频繁出现失控、失序。
刚才大家还提到了不同层面的人工智能开发，当它们因网络而互相联系的时候，他们各自的不同目的之间会发生竞争甚至冲突，这时候会给开发者、利用者以及社会带来各种各样的危害。从这个意义上来说，如何对人工智能发展过程中的风险进行评价进行管控，就成为人工智能网络化社会的治理以及制度设计非常核心的问题。
首先来谈谈人工智能网络化社会治理的理念、目标以及基本方式。的确，人工智能网络有利于社会的共生和普惠，对效率和整体福利的提高有明显的促进作用。但是，在这个过程中，我们还需要注意的是中国原来比较忽视的价值能否实现和维持。例如个人的尊严、自律、自治这样一些方面的社会目标能否不受到妨碍。重要的是如何使功利与个人权利这两者之间达成适当的平衡。
在这样的情况下，如果我们采取强制性的规范手段去进行管制，很有可能使得人工智能新兴产业不能得到及时而有效的发展。但是如果放任自流，人工智能网络社会的风险就会越来越大。这是“一管就死、一放就乱”的老问题、新表现。从这个意义上来说，如何重视管控过程中的软法，保持弹性空间就非常重要。
不要匆忙立法，但要确立适当的原则、伦理标准以及政策，特别是把刚性的立法与柔性的伦理行为规范进行适当组合，做到刚柔兼济。这就成为我们在考虑对人工智能产业进行适当监管、对人工智能网络社会进行有效治理的主要方式。
作为人工智能研发原则和政策的共识
关于人工智能开发的指针和伦理标准，近些年来，特别是2016年之后，各国都在进行认真的深入的讨论。
比如说美国政府在2016年5月份开始研讨，白宫后来又发了报告书，提出了人工智能相关系统必须具有可控性、必须公开透明可理解、必须能够有效发挥功能，而且和人类的价值愿望一致等基本原则。欧洲议会也在2016年把关于机器人和人工智能的法律和伦理问题研究提上政治的重要议题，举行了听证会，并在当年5月份发布了与机器人研发相关的民事法律规则报告书。我们可以看到欧洲在立法方面相对来说走的比较快。日本也同样进行了相关研究，并且制定了《人工智能开发指针方案》，同时也提出一些基本原则和政策方案供国际社会讨论。
我们在梳理各国讨论人工智能开发的原则和伦理规范时，可以发现有这样一些基本的共识。
➤ 首先是对国际通用的指针、标准和规格，要求各个国家、各个企业都采取合作态度，而不要各自为阵。合作和协调的目的主要是确保互联互通。与这项要求相关联，我们可以看到中国在司法服务方面的智能系统开发的规格是很不统一的，这样就造成重复建设，引起资源浪费以及一些目标冲突的情况。
因此，要尽快建立统一的国家标准，还要尽量参照国际标准和规格来进行设计，并且使得数据形式和处理方式能够尽量标准化。这一切都可以看出，我们需要有一个统一的顶层设计、统一的指标体系，以使人工智能的开发更加有序，提高资源整合和利用的效率，充分实现互联互通的目标。
➤ 另一方面，人工智能的技术要具有中立性和透明性。大家都知道，在法律领域，特别是涉及决策和司法、执法的方面，有一个非常重要的要求，这就是可问责性。问责的关键是履行说明义务。说明的关键是论证和解释。如果算法不可解释，那就无法履行说明义务，也就无从问责。不能问责的法律人工智能会带来严重后果以及连锁反应。因此，人工智能开发的一个重要课题实际上就是要防止算法黑箱导致法律的问责机制发生变化。为此，必须强调算法的可解释性，尽可能地减少乃至防止出现算法黑箱现象，确保采取人工智能的法律过程也能进行问责。当然还要实现对可控性的要求，防止人工智能在失去控制的情况下对人类社会造成伤害。
➤ 此外，我们在促进人工智能开发的同时，必须坚持人本主义的立场，以人为本。尤其是无人驾驶的汽车、飞行器等的开发，一定要优先保护人的安全。这包括对利益者和利益相关者充分说明人工智能的性能、原理、注意事项以及潜在的风险。人工智能网络社会的特征是数据本位，因此对大数据如何进行处理的规范体系建构显得特别重要。要充分注意数据安全的保障，还有大数据中的隐私权保障等等。这些都是我们从现在起就应该注意的问题，应该制定必要的原则、规则、标准以及政策以防患于未然。人工智能的产业跑得太快了，盲目开发、野蛮生长，也会丢掉灵魂，造成后悔莫及的事态。
与人工智能相关的主要法律问题和研究领域
到目前为止，人工智能在法律界的发展也是非常迅猛的，尤其在中国更是高歌猛进。
人工智能本身涉及到的法律问题包括：人工智能生成物的归属问题，比如说自动作曲或者自动绘画的软件产生的作品著作权归其给谁。还有这些生成物的权利垄断性承认等方面的问题。
另外，人工智能生成物的行为责任的归属也是重要的问题，包括损害他人名誉，包括自动运行汽车事故的责任等等。此外还有提供给人工智能进行学习的数据，其中既有著作权方面的问题，也有隐私权方面的问题，还有竞争的自由与公平之间关系如何适当处理的问题。不得不承认，现行法律制度在保护人工智能方面存在着明显的缺陷。比如说软件程序的保护，算法的保护，到目前为止在法律制度上都是不充分的，需要我们进行深入的研讨。
特别值得指出的是，如今中国在法律服务行业以及司法方面都大量运用了人工智能，其实这里也存在很多法律上的问题有待探讨。人工智能代行法律业务是否违反法官法和律师法的规定？如果人工智能被赋予法律人格，进行相关的活动有没有法官资格和律师资格等等。这些问题都很有趣，也不得不尽早做出适当的安排，否则就会造成法律体系上的内在矛盾和缺陷。
大数据和人工智能时代的司法权之变
特别是人工智能在司法方面的运用，有些问题还是蛮复杂的，需要我们认真考虑，从长计议。我们都知道，对案件进行审理并做出判决的主体只能是法官。但是，在人工智能广泛运用到审判过程中去的场合，法官要借助大数据处理系统来进行审理和判断，自觉、不自觉地就会倾向于接受自动生成的判决文书，这就导致审判主体二元化，或者说审判主体出现层级化现象。
尽管我们现在都有意强调人工智能的司法技术装置只是一种辅助系统，但是在客观现实中还是越来越多地出现了电脑算法支配审判的情况。法官在办案期限规定、司法问责制的压力下，也倾向于利用大数据和人工智能的办案系统来回避和推卸责任，这就势必加剧算法支配审判的事态。特别是大数据处理，它有可能使得既有的系统偏差值被固定化，甚至被放大。这些都是我们在讨论法律人工智能时特别要注意的问题。
总而言之，在司法领域中运用人工智能，我们要未雨绸缪，尽早研讨和确定今后在开发相关产品或数据处理系统中的标准和指针。人工智能的算法的确有利于矫正法官的个人偏差，尤其在中国存在滥用司法裁量权乃至司法腐败的流弊的情况下，这样的功能是非常重要的，具有积极意义。但是我们也要看到，算法无法矫正所有法官都存在的那种系统偏差，这个问题如何解决是个非常大的问题。另外算法透明化也存在着深刻的悖论——算法资源如果封闭化就会造成司法黑箱以及内部人滥用算法支配地位的问题，但如果把这种资源开放，有可能促进司法的博弈和外部对算法的操作。
更重要的一点是有关法律的判断往往涉及到具体的情境、例外、规范创新，还有法与审判所碰到的日常场景往往是非常暧昧的，人通过直观可以做出判断，但是通过人工智能进行正确的判断往往比较困难。在这种情况下，在暧昧中处理问题，特别需要根据价值判断来做出决定。但是，对于人工智能开发而言，最困难的部分就是价值判断。而在法律领域中价值判断几乎是没有办法回避的，如何应对价值分歧对人工智能开发来说也是非常重要的课题。这不仅需要解决自然语言的语义处理问题，还必须考虑法律推理的特殊形态，也就是哈特所说文本开放结构，兼顾确定的核心与模糊的边缘这两个并存的侧面。
从这个意义上说，我们应该看到人工智能是一个非常重要的决策辅助系统，特别是在司法领域中。但是我们也要看到它的局限性。尤其是现阶段，国内各个地方、各个行业都在分别进行开发，有点一窝蜂现象。这样的自由试行当然有利于行业的发展，但是其中潜在的一些问题不久就会显露出来。为此，我在这里特别强调标准化的任务，建议有关方面及时明确与法律相关的人工智能开发的原则、政策和规格，还要确立业界的伦理标准和指导方针。另外，在这个方面加强国际对话以便互联互通也是我们现在面临的重要课题。
我的发言完毕，谢谢大家。
