亨利·基辛格 著 吴万伟 译
从哲学上和思想上说，人类社会在任何方面都还没有准备好迎接人工智能的到来。
三年前，在一场跨大西洋议题的会议上，人工智能的话题出现在了议程中。该话题不是我的专业领域，我正准备离开这个专场，已经开始的演讲内容却把我留在了座位上。
发言者描述了很快将挑战国际象棋冠军的电脑程序的工作原理。我感到震惊的是，电脑竟然能够下围棋，围棋比象棋复杂多了。在比赛中，每个棋手要动用180个或181个棋子（取决于他或她执黑还是执白），分别在空棋盘上落子；做出更好的战略决策，通过更有效的控制领地而让对手动弹不得的一方为胜。
发言者坚持认为这种能力不能够依靠编程来实现。他说，他的机器通过练习和训练学会了下围棋。考虑到下围棋的基本规则，电脑和它自己进行了数不清的比赛，从自己的错误中学会改进，并据此优化算法。在此过程中，它的技能已经比人类导师更高。事实上，在那次发言之后的几个月里，一个名为阿尔法狗（AlphaGo）的人工智能编程打败了世界最优秀的棋手，取得了决定性的胜利。
就在我听发言者称赞这种技术进步时，作为历史学家和偶尔从事国务活动的人的经验令我感到忧虑。自我学习的机器是依靠特有的过程获得知识，并将那知识应用在人类理解可能没有办法阐述的某些目的上。人工智能对这种机器的历史产生的影响是什么？这些机器会学习相互交流吗？在新出现的选择项中，人们如何做出选择？人类历史是否有可能像印加帝国在面对他们无法理解和感到敬畏的西班牙文化时走上消亡之路？我们是否处于人类历史新阶段的边缘？
意识到自己缺乏该领域的专业知识和技能，我组织了若干次这个话题的非正式对话，得到了人文和技术领域熟人的建议和合作。这些讨论让我的担忧变得更为强烈。
在此之前，最激烈改变现代历史进程的技术进步是15世纪印刷术的发明，它让经验性知识的探索成为教会教义的补充，理性时代渐渐取代了宗教时代。个人见解和科学知识取代信仰成为人类意识的主要评价标准。信息被储存在越来越大的图书馆中，并得到系统性地处理。理性时代产生思想和行动，而所有这些塑造了当今的世界秩序。
但是，如今在横扫一切的新技术革命的背景下，这个秩序处于动荡之中，其后果我们还无法充分认识到，最后的结果或许是数据和算法驱动下的机器世界，但这个机器并不受伦理道德的约束或哲学规范的管理。
我们生活的因特网时代预兆了一些问题和议题，人工智能不过令其变得更加严峻和尖锐了。启蒙运动寻求的是将传统真理置于解放了的、分析性的、人类理性审视之下。因特网的目的是通过不断扩张的数据积累和操控来验证知识。人类认知已经丧失了个性特征。个人求助于数据，数据变成了王者。
因特网用户强调提取信息和操控信息更甚于将其意义进行语境化或概念化处理。他们很少询问历史或哲学，他们通常要求获得与即刻的现实需要相关的信息。在此过程中，搜索引擎的算法获得了预测个别客户的偏爱的能力，从而能够让算法计算出个人化的结果，并将这些结果提供给其他人用于政治和商业目的。真理变成相对性的东西。信息吞没智慧的风险越来越大。
面对社交媒体潮水般涌来的各种观点的冲击，用户已经没有时间去反省；事实上，很多技术爱好者使用因特网来来回避令他们感动恐惧的孤独。所有这些压力都削弱了刚毅性格，而这是形成和维持坚定信念所必需的品质。坚定的信念只能依靠孤独的跋涉才能获得，而这种跋涉才是创造的本质所在。
因特网技术对政治的影响已经有人特别地表达出来。针对目标微群体的能力已经将从前的优先选择共识进行精细化的分解，将焦点集中在专门化的目的和诉求上。面对缝隙压力（niche pressure）的政治领袖已经被剥夺了思考和反思背景的时间，缩小了他们形成视野和眼光所需要的现有空间。
数字世界强调速度阻碍了人们去反思；它的奖励机制赋予激进分子而不是认真思考者巨大的能量；它的价值观是附属群体的共识形成的，并非依靠自我反省。虽然有种种成就，数字世界面临背叛自己的风险，因为它给人类带来的限制可能比带来的方便多得多。
随着因特网和运算能力的不断增强，大数据的积累和分析变得更加方便，出现了人类理解上前所未有的广阔前景。或许最具重要意义的是制造人工智能的工程---这种技术通过复制人类思维的处理过程而制造和解决复杂的、看似抽象的问题。
这已经远远超过我们知道的自动化。自动化处理的是手段；它通过把所掌握的工具理性化或者机械化而实现事先设定的目标。与此相反，人工智能处理的是目的；它要确立自己的目标。在成就部分由自身塑造这点上，人工智能从本质上说是不稳定的。人工智能体系通过自身的运作，处于不断流动的过程中，因为它不断获得新数据和分析新数据，并在此分析基础上寻求改善和更新。依靠这个过程，人工智能获得了一种从前被认为只有人类才具备的能力。它能做出有关未来的战略判断，有些基于被视为语码（如游戏规则）的数据，有些则基于自身收集的数据（如百万次的比赛循环）。
无人驾驶汽车说明传统的、人类控制的、软件驱动的电脑行动与人工智能寻求探索的宇宙之间的差别。驾驶汽车要求在众多根本无法预测的场景下做出判断，因此根本没有办法预先编程。如果用众所周知的假设案例，这辆汽车必须在杀死爷爷还是杀死孙子之间做出选择，将会发生什么？它会选择杀死谁？为什么？它在试图最优化的选择中要考虑哪些因素？它能解释自己的合理性论证吗？一旦受到挑战，如果能够交流的话，它的真实答案可能是：“我不知道（因为我遵循的是数学原则而不是人类原则）”或者“你不懂的（因为我一直受到特定方式的训练，我不需要解释）。”但是，无人驾驶汽车很可能在十年之内就上路了。
我们必须预料到人工智能犯下的错误会比人类更快和更加严重。
在此之前，人工智能局限在特定活动领域之内，这种研究现在却寻求创造“更笼统的智慧”，能在多个领域执行任务的智慧。在可衡量的时间阶段内，人类越来越多的活动都可以由人工智能算法来驱动了。但是，这些算法是对观察到的数据的数学解释，并不能解释产生数据的现实。矛盾的是，随着世界变得越来越透明，它也变得越来越神秘。将新世界与我们现在的世界区分开来的东西是什么？我们如何生活在这个世界？我们如何管理人工智能，如何改善它，或者至少防止它造成伤害？最令人恐惧的担忧是：人工智能在掌握了某些比人类更快和更强的能力之后，随着时间的推移，它会削弱人类的能力和人类生活条件本身，因为它将这些也变成了数据。
未来，人工智能将为医药科学、清洁能源和环境议题等其他领域带来了不起的好处。但是，恰恰因为人工智能在逐步演变的不确定的未来做出判断，其结果天然具有不确定性和模糊性。下面三个领域值得我们特别关注。
首先，人工智能或许产生意料之外的结果。科幻小说已经想象出人工智能反噬其创造者的场景。更有可能的危险是人工智能由于天生缺乏背景信息而错误地解释人类的指令。最近的一个著名案例是被称为泰伊（Tay）的人工智能聊天机器人，它本来是用19岁女孩的语言模式产生友好对话的。结果，这个机器人不能确定导师安装上的“友好的”和“通情达理的”语言指令，反而做出了种族主义者的、性别歧视者的和其他煽情政治宣言和骂人脏话等回应。技术界的有些人宣称这个实验构想很糟糕，实施得也很拙劣，但它说明了背后的模糊性：在多大程度上能让人工智能理解指令的背景？什么媒介能帮助泰伊自己定义“令人讨厌的”（offensive）？这个词的意义，人类并没有普遍共识。我们能在更早阶段辨别和纠正在期待框架之外行动的人工智能程序吗？或者，如果放任人工智能自己处理，是否将不可避免地形成些微的偏离，经过一段时间之后终于演化成为灾难性的意外后果？
其次，人工智能实现了预期的目标，但它可能改变人类的思想过程和价值观。阿尔法狗依靠空前的战略步骤打败了世界围棋冠军，这些步骤是人类从来没有考虑过的，也从来没有成功地掌握。这些步骤超越了人类大脑的能力吗？抑或人类现在能学习新围棋大师展示的步骤？
在人工智能开始下棋之前，围棋游戏有多样的多层次的目的：选手追求的不仅是赢得胜利，而且是学习新的战略，它们可能应用于人生的其他方面。在这点上，人工智能只有一个目的：赢得胜利。它不仅从概念上而且从数学上“学习”，依靠算法的边缘性调整。所以在依靠不同于人类的下棋方式学习而赢得比赛。人工智能改变了游戏的本质和影响。这种追求胜利的单一思维模式是所有人工智能的特征吗？
其他人工智能项目旨在通过开发能够产生回答人类问题的众多答案的设备来修改人类的思想。除了实际问题之外（室外温度是多少？），还有关于现实本质的问题或人生的意义等深层次问题。我们希望孩子通过与无任何羁绊的算法炮制的话语交流而学到价值观吗？我们应该限制人工智能学习提问者而保护隐私吗？果真如此，我们该如何实现这些目标？
如果人工智能学习的速度比人类快得多，我们肯定期待它大幅度加快人类决策常常产生的试错过程：犯下的错误比人类的更快更严重。正如人工智能研究者常常暗示的那样，人们不可能通过加入一个要求“伦理学的”或“通情达理的”结果的项目警告来纠正这些错误。整个学界已经对如何定义这些术语争吵不休了，人工智能将因此成为仲裁者吗？
第三，人工智能或许实现了预期目标，但是不能解释得出这些结论的合理性论证。在某些领域---模式识别、大数据分析、游戏---人工智能的能力已经超越了人类。如果其计算能力继续快速提高，人工智能将很快能够以至少稍微不同的方式最优化场景，但很有可能的是与人类最优化的方式差别很大。但是，在此，人工智能能以人类能理解的方式解释其行动为何最优吗？还是人工智能的决策制定过程超越了人类语言和理性的解释力范围？在整个人类历史上，文明曾经创造出解释周围世界的方式，在中世纪使用宗教，在启蒙时代使用理性；在１９世纪使用历史；在２０世纪使用意识形态。有关我们未来世界的最困难和最重要的问题是：如果人类的解释力被人工智能超越，人类意识将变成什么样子？社会已经不再能够用在人类看来有意义的方式解释人们生活的世界？
在将人类经验简化为数学数据，并依靠自身的记忆来解释的机器世界，意识如何被定义？谁应该对人工智能的行动负责？它们的错误产生的债务如何确定？人类设计的法律体系能够赶上在思维能力上超越人类的人工智能活动的步伐吗？
从终极上说，人工智能这个词或许是个错误。当然，这些机器能够解决从前只有人类认知才能处理的复杂的、看似抽象的问题。但是，它们行为的独特性并不是人们设想和体验过的思考。相反，它是空前的记忆和运算。因为在这些领域的天生优越性，人工智能可能赢得分配给它的任何比赛。但是，对于我们作为人的目的而言，比赛并不只是赢得胜利，它们是思考的问题。把数学过程当作思想过程来对待，无论是试图模仿我们自己的过程还是仅仅接受其结果，我们都将陷入丧失人类认知本质的能力的危险中。
这场革命的隐含意义被最近设计的项目阿尔法零（AlphaZero）显示出来。它下棋的水平超过围棋大师，使用的方式是围棋史上从来没有见过的。在自己和自己下棋的几个小时里，它就达到了一种技能水平，那是人类需要１５００年才能掌握的水平。只是为阿尔法零提供了游戏的基本规则。它的自我学习过程中既没有人的帮助也没有人产生的数据。如果阿尔法零能够如此快速地达到这种熟练程度，五年后人工智能将如何？它在总体上对人类认知的影响会是什么？在此过程中，作为选择加速的本质的伦理学应该扮演何种角色呢？
典型的是，这些问题留给了技术人员和相关科学领域的知识分子。哲学家和人文学科的其他人曾经创造了从前的概念，帮助塑造了世界秩序。但他们可能出于劣势地位，因为缺乏人工智能机制的知识或者被它的能力吓傻了。相反，科学世界受到强烈的刺激来探索取得进步的可能性，技术世界充斥着商业眼光和视野。这些世界的刺激和奖励推动发现的边界进一步扩张，而不是试图理解这些边界。到现在为止，管理人工智能的机构更有可能调查人工智能在安全和情报方面的应用而不是探索它已经开始产生的人类条件的转变。
启蒙开始于新技术传播的哲学见解。我们的时代正走向相反的方向。它产生了潜在的支配性技术，却在寻求作为思想指南的哲学。其他国家已经让人工智能成为国家重点工程。美国作为国家还没有系统性地探索其整个范围，研究隐含意义或开始终极学习的过程。首先从把人工智能与人类传统联系起来的角度看，这应该成为国家的优先选择。
就像我在技术领域没有经验一样，人工智能开发者在政治和哲学领域没有经验，他们应该问自己本文中提出的一些问题，以便将答案纳入其工程探索中。美国政府应该考虑组织一场杰出思想家的总统委员会会议帮助形成国家共识。下面这个情况必然出现：如果不尽快开始这个努力，不久之后我们就会发现已经来不及了。
译自：How the Enlightenment Ends by Henry A. Kissinger
