翻译：陈默涵

三年前，一次研究跨大西洋问题的会议议程中纳入了人工智能的主题。这不在我的兴趣范围内，我差点就略过了那场讨论。但演示一开始，我便被牢牢吸引住了。

演讲者描述了一个计算机程序的工作原理，这个程序即将可以在围棋比赛中挑战国际冠军。围棋比国际象棋更复杂，而一台电脑竟可以掌握围棋，我很惊讶。 在围棋比赛中，每个棋手部署180或181个棋子（取决于他或她持方的颜色），双方交替放置棋子到空板上。通过更好的战略决策，更有效地控制己方领地，困住他或她的对手的一方获胜。

演讲者强调，下围棋的能力无法预先编程。他说，他的机器通过实践，自学掌握了围棋。电脑按照围棋规则，和自己下了无数局棋，从错误中吸取教训，改进它的算法。 在这个过程中，它的技能远超人类导师。 事实上，在演讲结束后的几个月里，一个名为AlphaGo的程序将与世上最厉害的棋手对弈，取得完胜。

当我听着演讲者赞美这一技术进步时，作为历史学家和偶尔的政治家的经历使我停下来，开始思考。自学机器对历史会产生什么影响？它们通过只属于自身的特定程序运作获取知识，并将这些知识应用于实现可能没有人类能够理解的目的。这些机器会学会了相互沟通吗？ 如何在层出不穷的选项中做出选择？ 人类面对人工智能，是否有可能变得像印加人面对无法理解、令人望而生畏的西班牙文化一样？ 我们处于人类历史新阶段的边缘吗？

我意识到自己在这个领域缺乏技术能力，在科技界和人文科学研究方面的熟人的指点下，我组织了一些关于这个问题的非正式对谈。这些讨论使我更关注这一议题。

迄今为止，对当代历史进程造成最大影响的技术进步是15世纪印刷机的发明。它使对经验知识的追求取代了礼仪教义，启蒙时代逐渐取代宗教时代。个人思想和科学知识取代信仰，成为人类意识的主要标准。信息通过图书馆的扩张得到存储和系统化。启蒙时代是塑造当代世界的诸多思想和行动的来源。

但是现在，这个秩序在一个新的、更加广泛的技术革命下显得动荡不安。我们无法完全预测新技术的变革带来的影响，它发展到顶点时，可能会带来一个依赖于数据和算法驱动的机器、不受伦理或道德规范约束的世界。

我们身处的互联网时代已预示着一些问题，而人工智能只会让问题变得更突出。启蒙运动试图使传统的真理让位于解放后的人的分析理性。而互联网的目的是通过积累和操纵不断扩大的数据，获取知识。人类的认知失去了个体特征。个体变成了数据，而数据变成了统治者。

互联网用户强调检索和操纵信息，不注重在情境中、概念上理解信息的涵义。 他们很少探讨历史或哲学意义；通常，他们只想要获取与实时的实际需求相关的信息。 在这个过程中，搜索引擎算法可以预测客户个人偏好，使算法能够提供个性化的结果，使其可被第三方出于政治或商业目的加以利用。真相变成相对概念。信息可能足以击败一切智慧。

用户置身于社交媒体中群众意见的海洋，不再注重自我审视。事实上，许多技术乐观主义者正是通过互联网来躲避孤独。所有这些压力都削弱了人们的意志。坚毅的品格造就和维持信念，这只有走在孤独的道路上时才能实现，而这是创造力的本质。

互联网技术对政治的影响尤其突出。针对微型群体精准投放信息的能力打破了先前就优先事项达成的共识，允许政治讨论中对特定的目的或诉求予以关注。 政界领导被困在来自种种特定事项的压力中，不再有时间思考或反思时代背景，压缩了展望未来的空间。

数码世界强调效率，会阻拦反思。为达到速度，激进变得比思虑周全重要。不是内省，而是小团体们的意见塑造了数码世界的价值观。虽然数码世界成就斐然，但是它强行施加给社会的东西已经超过了它带来的便利，具有自取灭亡的风险。

互联网和计算能力的提高促进了大量数据的积累和分析，人类的认知的发展前景可期，前所未有。也许其中最重要的是人工智能的发展。人工智能可以依照人类的思考过程，发掘和解决复杂、看起来抽象的问题。

这种技术水平远高于所谓自动化。自动化事关手段，通过合理利用机械化设备来达到预定的目标。而人工智能则事关目的，它确立自己的目标。鉴于其成果是由自身评估的，人工智能具有本质的不稳定性。人工智能系统在运作中一直处于不断变化的状态，不停获取并即时分析新数据，然后根据这一分析努力改进自身。 在这个过程中，人工智能发展出了以前被认为只有人类独有的能力。通过作为代码接收的数据（例如游戏规则），以及一些它自己收集的数据（例如100万次游戏的迭代），它可对未来做出战略判断。

无人驾驶汽车说明了传统的人工控制、软件驱动的计算机工作情形和人工智能试图探索的世界之间的差异。开车过程中需要判断诸多无法预测、无法事先编程的情况。用个著名的假设来说，如果一辆汽车被迫需要在某种情况下选择杀死一个老人或杀死一个孩子，会发生什么？它会选择谁？ 为什么？在它的抉择中，哪些因素会被优先考虑？ 它能解释它抉择时的基本原则吗？如果被问到这些问题，人工智能如果能够沟通的话，它给出的真实答案可能是，“我不知道（因为我遵循数学原则，而不是人的原则）”或”你理解不了（因为我已经被训练成以某种方式行事，但没有接受解释行事方式的训练）”。然而十年内，无人驾驶汽车就可能会被广泛使用。

我们要想到，人工智能会比人类更快地犯错、犯更大的错。

人工智能研究目前局限于特定的活动领域，研究正希望带来能够执行多个领域的任务的“通用型”的人工智能。 在不远的将来，人类活动由人工智能算法驱动的比例越来越高。 这些算法是所获数据的数理阐释，而不能解释产生数据的基本社会现实。 矛盾的是，在世界变得更加透明的同时，也会越来越神秘。 这个新世界与我们所拥有的世界有什么区别？ 我们又将如何在其中生活？ 我们将如何管理人工智能，改进它，或者至少可以防止它造成不利。一切最终指向最深处的担忧：人工智能可以比人类更迅速而明确地掌握某些能力，随着时间的推移，这可能会让人类变得无能，甚至削弱人类境况本身，因为人工智能把人生变成了数据。

人工智能将及时在医药科学、清洁能源、环境问题等诸多领域带来极大的好处。但正是因为人工智能依据不断发展、尚无定数的未来做出判断，其结果具有固有的不确定性和模糊性。有三个问题尤其值得注意：

首先，人工智能可能会导致意想不到的结果。科幻小说假设了人工智能攻击其创作者的场景。然而更可能的危险是，人工智能由于其内在的语境缺失而误解人类指示。最近有一个著名的例子是人工智能聊天机器人Tay，它被用于以19岁女孩的语言模式生成友好的对话。但实际上，机器无法理解内置命令中“友好”和“合理”语言的必要性，其所生成的对话变得要么充斥着种族歧视、性别歧视，要么在互动中带有极强煽动性。技术界的一些人声称该实验构思不佳、执行不力，但它阐释了一个潜在的不明确性：人工智能能够在多大程度上理解指令的语境？有什么媒介可以帮助Tay定义何为“冒犯言论”？鉴于人类其实并不普遍认同”冒犯“的涵义，我们是否可以在早期阶段时，检测和纠正在我们的预期框架之外行事的人工智能程序？ 或者，如若不管不问的话，人工智能将不可避免地会和人类预设框架产生偏差，而这些偏差会升级成灾难性的偏离吗？

其次，在实现预期目标时，人工智能可能会改变人类的思维过程和人的价值。AlphaGo通过战略性、前所未有的下棋方法击败了围棋世界冠军。人类对这种方法还毫无概念，也没有成功学会战胜自己的这种下棋方法。这些超出了人脑的能力范围吗？或者说，现在人类可以从新老师的展示中学习下棋招数吗？

在人工智能开始玩围棋之前，围棋具有不同层次的目的：玩家不仅要赢，而且还要学习可能会适用于生活中其他场合的新的策略。相反，人工智能则只知道一个目的：赢。 它不是在概念上，而是在数学算法层面，通过对其算法进行边际调整来“学习”。 所以人工智能在学习着以不同于人类的方法赢得比赛时，改变了围棋的性质和影响力。是不是所有人工智能都有这种一心一意坚持独占鳌头的特征？

其他人工智能项目开发出工具，可生成一系列针对人们问题的答案，并以此来调整人类思维。除了事实问题（如“外面的气温多少？”）之外，关于现实本质或生命意义的问题值得深思。 我们是否希望孩子跟着不受限制的算法塑造价值观？ 我们是否应该限制人工智能对提问者的了解，以保护隐私？ 如此一来，我们要怎样实现这些目标？

如果人工智能的学习速度比人类快得多，我们应想到，人类做决定依据的试错过程于它而言可能也会更快，即，人工智能会比人类更快地犯错误、犯错的程度更大。正如人工智能的研究人员经常提及的， 不可能通过在程序中设置警告，要求程序的结果“道德”或“合理”，以减少错误。人无法定义这些名词，由此产生了一整套学科的理论原则。 人工智能是否应该因此成为定纷止争的仲裁员？

第三，人工智能可能会达到人们预期的目标，但无法解释它得出结论的理由。在诸如模式识别、大数据分析，博弈等领域，人工智能的能力可能已经超过人类。如果它的计算能力继续快速增加，人工智能将很快能够做出较优选择，与人类的优化方案至少有略微差异，甚至可能差别很大。但到那时，人工智能能够以一种人类可以理解的方式解释清楚，为什么它的行为是最佳吗？或者说，人工智能的决策超过了人类的语言和理性能解释的范围吗？纵观人类历史，文明发展出了解释周围世界的方式 ：中世纪的方式是宗教；在启蒙运动中，解释方式为理性；到了19世纪，人们用历史解释世界；在20世纪，人们选择意识形态来解释。对于我们将要迈进的世界，最困难但最重要的问题是：如果人工智能的解释力超过人类的意识，社会不再能够对他们生存的世界做出有意义的阐释，人类意识将会变成什么样？

在人类的经历沦为数据、数据通过内存进行自我解读的世界里，意识应如何定义？ 谁对人工智能的行为负责？ 如何依据人工智能的错误来确定责任？ 鉴于人工智能可以想得更深、甚至可能会规避法律设计，可否通过人类的法律系统设计，跟上人工智能的节奏？

说到底，人工智能这个词可能用得不妥当。确实，这些机器可以解决以前只产生于人类意识的复杂、看似抽象的问题。但它们的特点是不会依据经验思考。 相反，人工智能靠的是全新的记忆和计算。由于人工智能在这些领域的固有优势，它有可能会赢得所有需要赢的游戏。但我们作为人类的追求中，比赛不仅仅关乎输赢。比赛是关于思考的。若把数学过程看作是一个思考过程，并且要么试图自己模仿这个过程，要么只是接受这个过程结果，我们有可能失去一直是人类认知本质的能力。

这种演变的意义体现在最近的程序设计AlphaZero中。它下象棋的水平高于国际象棋大师们，风格在国际象棋历史上闻所未闻。对它来说，区区几个小时的自我对弈后，它就达到了需要人类1500年才能达到的的技能水平。 AlphaZero只被告知游戏的基本规则。 它的自我学习过程不涉及任何人类或是人为产生的数据。 如果AlphaZero能够如此迅速地掌握象棋，人工智能在五年内将会发展到什么程度？ 对人类认知的一般影响是什么？ 在这个过程中，本质上加快了抉择的道德因素起了什么作用？

通常，这些问题被留给技术人员和相关科学领域的知识分子去解决。哲学家和人文科学领域的其他人曾帮助塑造世界秩序的概念，现在则因缺乏对人工智能机制的了解或被人工智能的能力所震慑，往往处于不利地位。

相比之下，科学界则努力探索成就的技术潜能，技术界专注于大规模、神话般的商业前景。它们的动力都是推动科学发现的极限，而不是理解科学发现。 在治理问题上，就本文主题而言，科学界更有可能关注人工智能应用的安全和智能，而不是它所带来的人类境遇的转变。

启蒙运动本质上始于由新技术传播的哲学见解。我们时代的情况恰恰相反。当下已存在可以统领一切的技术，但需要哲学的指引。许多国家已经把人工智能立为国家主要项目。美国尚未从国家层面系统地全面探究人工智能、研究其含义或开启终极学习的进程。尤其是从人工智能与人性相关的角度来看，这议题本应是国家的当务之急。

人工智能开发人员在政治和哲学方面缺乏经验，就像我面对着技术一样。他们应该多问问自己一些我在此提出的问题，从而为他们的技术工作寻找答案。 美国政府应该考虑由杰出的思想家成立总统委员会，协助国家扩展视野。有一点很肯定：如果我们不尽快开始这项工作，不久我们就会发现开始得太晚了。

文章来源：

Henry A. Kissinger, How the Enlightenment Ends, The Atlantic, June, 2018.

网络链接：

https://www.theatlantic.com/magazine/archive/2018/06/henry-kissinger-ai-could-mean-the-end-of-human-history/559124/

本文转自公众号 法意读书