本文为江晓原在“人工智能与未来社会：趋势、风险与挑战”学术研讨会上的主题发言。

斯蒂芬·霍金、比尔·盖茨和伊隆·马斯克等人，早就呼吁世人警惕人工智能的盲目研发，特别是要警惕军事用途人工智能的研发，认为这有可能“唤出魔鬼”。马斯克更明确表示，“我们需要十分小心人工智能，它可能比核武器更危险”。我认为，人类现在正在玩的最危险的火有两把，即基因工程和人工智能，其中更危险的就是人工智能，但是很多人并没有认识到这一点。

一、近期威胁：大规模失业、军事化用途

第一，大规模失业。当下，人工智能在中国的发展速度十分迅猛，大多数人对这样“弯道超车”的现象持乐观态度，但我认为这未必是好事，其结果很可能是替发达国家承担“趟地雷”的任务。人工智能在工业上的大规模使用，导致工作岗位被机器人所取代，社会迎来一大批失业人群。虽然大部分的工作由人工智能完成，其创造的财富也会不断增长，但是却会迎来新的社会财富分配问题。若大部分失业者所得财富仅略少于少数工作者一点，势必会挫伤工作者的积极性；若财富分化悬殊，小部分工作者所得财富远高于多数失业者，必将导致失业群体的不满，激化社会矛盾。

第二，军事化用途。将人工智能用于生产更高效率的杀人武器，比如无人机，以前攻击目标是由人来做出决定的，但现在人工智能技术下生产的无人机，追求的是不再需要人来指出攻击目标即可自动判定目标执行攻击，这无疑是将杀人的权力让渡给一个机器。而杀人的罪责到底是由制造机器的厂家承担还是机器的归属人来承担，这些问题都还未有相应法律法规作为规范。最近马斯克等116人联名呼吁“不要研发杀人的机器人”，声音更大了。

在这个问题上各大国都处在被劫持的状态。人们常说“落后就要挨打”，其暗含的逻辑就是“先进可以打人”，先进的国家可以欺压落后的国家，即使各国不希望制造杀人武器，但又不得不制造杀人武器，因为谁也不想落后，谁也不愿挨打。

实际上人工智能军事化的危害性，并不在于其导致伤亡人数的多少，战争也不会因为其导致伤亡较少而变得就可取。在此，推荐一部美国的纪录片《零日》，影片中美国和以色列为了破坏伊朗的核计划联合研发了一种超级病毒。事实上，这种超级病毒就是一种幽灵般的人工智能，它感染了伊朗的网络之后，会自动寻找和识别特定的目标——离心机的控制器。由于病毒设计巧妙，它在当时几乎无法被侦测出来，而且它也不会去破坏和干扰除了离心机之外的任何别的机器，所以刚开始它隐蔽得很好。然而，美国人偷笑的时间并没多久，这种超级病毒还是被发现了。不仅被发现了，而且被破解了。这就意味着伊朗及其盟友，也获得了这种超级病毒。人工智能的军事化应用当然比原子弹能造成的伤亡要小，但其破坏性一样不容小觑。

二、中期威胁：人工智能的失控

如今机器人和互联网结合，以前的个体物理极限将不再存在。简单的来说，过去可以拔掉电源终止机器人的工作，而对于和互联网结合的人工智能来说，根本不能通过“拔掉电源”将其控制。

现在有些业界专家还在说，可以拔掉机器人的电源。实际上人工智能跟互联网结合以后，它完全不需要什么形态，以前没有互联网的时候，单个的人工智能有局限，哪怕全部都是芯片，也有存储、运算方面的极限。但是现在跟互联网一结合，所有的伺服机构都不再需要了，只要在网络上下单、订购各种服务，就可以完成对社会的破坏。所以到那个时候根本无法拔电源，因为它不存在一个电源可以拔掉。

人工智能的专家称要为人工智建立一套道德体系，笔者对此持强烈的怀疑态度，人类尚未能保证教育好自己的子孙后代，又何来信心让将比人类更聪明的人工智能避免误入歧途？

在这个问题上，专家们经常说，我们在机器人的芯片里写进什么话，让它不学坏。关于这个问题最简单的疑问就是，你都不能保证自己的孩子不学坏，更何况人工智能呢？到目前为止，没有人能给出一个办法让人相信他真的能防止人工智能的反叛。

三、远期威胁：人工智能的终极威胁

人们经常提到阿西莫夫一本小说中的机器人的三定律，却很少知道他还有另外一个重要的观点——所有依赖人工智能的文明都必定会衰亡。未来能够长久发展的文明都是立法严禁研发人工智能的。

为什么呢？若假设人工智能对人类是完全忠诚的，人类的一切活动可通过支配它而完成。一旦有了这样的人工智能，人类将失去人生意义，成为行尸走肉，在体能和智能方面将全面快速衰落，而且由于人类将一切事情交由人工智能完成，这也是将这个世界的管理权让渡给了人工智能。随着它们的进化，它们终将认识到人类是这个世界的负担，最后理性的结果必将是清除已成行尸走肉的人类。这样对人类来说，实际上就是自掘坟墓。这就是人工智能的终极威胁。

四、终极问题：我们究竟为什么要发展人工智能？

很多人赞成发展人工智能，只是因为它是科学技术，而科学技术它一直被认为是一个尽善尽美的东西，所以只要一说发展科学技术就是天然正确的。如果反对某种技术研发，一定说是阻碍科学发展，而阻碍科学发展的在很多人脑子里认为天然的就是一个罪状。实际到了今天，已经不能再简单地将“阻碍科学发展”视为罪状了，至少应该认识到有一些科学技术是不应该发展的，是有危害的。

在人工智能这件事情上，资本在其背后的推动是很明显的，策划出阿尔法狗下棋的商业炒作之后，更多的资本流向了人工智能的行业。但是资本的增值是盲目的，而且不计后果的，关于这一点重温马克思的教导很有意义。我现在对资本的恐惧要比对权力的恐惧大得多，资本比权力更可怕是因为资本其实非常盲目。

我提出一些激进的反对人工智能的观点，主张就人工智能不可逆转的发展形势及时思考。我认为，现在不能盲目赞美人工智能，歌颂人工智能的美好，我们应该在媒体上多进行关于人工智能的伦理方面的探讨，至少能引起各界对人工智能这方面问题的注意。在某些领域中，可以考虑保留低级的人工智能，保留人工智能的某些初级应用。要认识到这个东西就像魔鬼一样。我们尽量设法对某些指标性的东西加以明确，如各国约定在全球范围普遍内不允许做某些事，这样有可能延长人类文明。