摘要：人类显然正在不可逆地踏入人工智能时代。在人工智能为人类提供更多的生产性和社会性服务的同时，人工智能同样也深刻改变了人类社会和形成了对人类社会的整体风险。本文认为，这种风险主要体现在十个方面，包括：隐私泄露，劳动竞争，主体多元，边界失控，能力溢出，惩罚无效，伦理模糊，暴力扩张，种群替代和文明异化。因此，从当前起，人类必须要高度重视人工智能产生的社会风险问题，并在全人类合作的基础上，形成有效的人工智能全球风险治理体系，以避免由于国别的恶性竞争导致人工智能的无序发展，从而对人类整体产生伤害。人类在核武器扩散控制方面的不成功经验，应足以引发在人工智能治理的高度借鉴和警惕。从整个社会而言，要做好至少五个方面的准备：一是尽快取得人工智能的风险共识；二是尽快增加人工智能的透明性研究；三是规范科研共同体的自我约束；四是推动各国尽快立法；五是加快建立全球协作治理机制。
关键词：人工智能；社会风险；全球治理
作者简介：何哲（男，1982-）陕西西安人，博士，现为中央党校（国家行政学院）公共管理教研部教授，研究方向包括国家治理，网络社会治理；行政体制改革等。
当前人类显然正在不可逆的进入人工智能时代。在互联网、云计算、大数据、深度神经网络等一系列技术的催生下，自2010年起，人工智能以指数级的速度飞速成长，并终于在2016年以战胜前人类围棋世界冠军李世石为标志性事件。自2016年起，人工智能技术显然在产业和生活中的应用被极大加快，世界各主要大国亦开始高度重视人工智能的发展，纷纷制定了相应的发展规划和战略[[1]]。
在人工智能越来越融合入人类生活时，必须要沉下心来去思考人工智能所带来的风险问题。一种观点认为，这种技术所带来的社会冲击并不是人工智能所独有的，从工业革命开始，围绕着机器与人的关系，一直都有所争论甚至冲突，但最后，机器并没有威胁到人类，人类反而在机器的帮助下变得更好的。因此，对人工智能的担心是没有必要的，技术本身就蕴含了技术的治理之道。显然，这种观点显然是过于低看了人工智能所具有的巨大潜力和模糊了人工智能与以前所有机器技术的本质区别。即，人工智能技术以前所有出现在人类社会中的机器，都只能替代人类的体力劳动和简单脑力劳动，在复杂推理等脑力劳动面前毫无作为。而人工智能不仅可以替代人类的体力劳动，更可以几乎完全替代人类的脑力劳动。在近年来进行的大量探索性研究都表明，在人类自以为傲的各种复杂场景中，特别是竞技游戏中，人工智能已经远远高于普通人类的水平，而与人类中的顶级高手不相上下。
因此，人工智能是完全不同的机器，人工智能更像是作为载体的智慧体，从而具有与以往机器显然不同的特质。一个简单的类比是人类对核武器的控制。尽管人类使用武器的能力与人类文明几乎是一样悠久的，但是在核武器出现以前，人类并未在武器的影响下而灭绝，反而极大扩展了自己的文明发展。因此，是不是就可以推论核武器也不必担心？自然可以被解决？显然这是极不负责任的！核武器与之前所有的人类武器相比，它是第一个能够彻底的摧毁人类本身的武器。因此，从核武器诞生的那一天起，被核武器的巨大威力所震撼的核科学家乃至世界各国，就一直努力要禁止核武器的扩散[[2]]。因此，人类对人工智能的态度也应如此。
本文将对人工智能时代所引发的社会风险进行探讨，我们逐次探讨三个问题，1）人工智能都引发了哪些社会风险；2）引发人工智能治理危机的关键原因是什么？3）人类当前应该如何面的和做好人工智能时代的治理准备？
一、人类进入到人工智能社会是一个不可逆且加速的历史进程
人工智能自上世纪五十年代诞生之日起，就一直有大量的研究者和艺术创作者关注人工智能所带来的威胁问题。从上世纪五十年代阿西莫夫创作的科幻小说《我，机器人》，到八十年代起的电影终结者系列，直到进入到21世纪，著名科学家霍金[[3]]和著名企业家马斯克都在不同场合表达了对人工智能所带来的潜在风险的深深忧虑。伴随着人工智能的不断发展，越来越多的人工智能本身的技术研究者和社会学科研究者也开始关注人工智能所带来的风险问题。尽管如此，这些关注和担忧，都丝毫没有影响到人工智能近年来的飞速发展和应用的普及。
从技术角度，自上世纪六十年代起的摩尔定律在持续了近六十后至今依然生效，远远超过了定律提出者本人和大量科学家的预测，乃至于有科学家认为，其在未来的若干年内可能依然有效[4]。计算能力的大幅度增长为人工智能的模型复杂度和推理复杂度的进化插上了翅膀。一方面集成电路的尺寸在大幅度缩小，手指盖大小芯片的集成电路规模上升到100亿以上的晶体管元器件。另一方面，分布式计算方法的运用极大增加了通过芯片的水平扩展提高整体算力的潜力。以分布式计算为原理，通过并行计算乃至云计算的更广泛的架构，更是提供了动态性的几乎无限扩展算力的方法，奠定了人工智能发展的雄厚的运算基础。在算法方面，基于深度神经网络的机器学习算法已经成为各种人工智能体系的核心支撑，与其他人类知识形成的逻辑判断相结合，形成了应用场景下人机的共同工作机制，从而使得计算机大量吸纳人类知识，大幅度提高了进化速度。而在数字化方面，自从有网络以来的三十年，尤其是近十年间，人类全社会的数字化水平大幅度提高，数字化在便于人类储存检索的同时，也为人工智能的学习和进化提供了充分的知识口粮，人工智能以人类难以想象的速度通过对数字化世界的汲取和学习完成形成进化。因此，在这几个方面共同的作用下，人工智能的发展取得了突飞猛进的质的跃升（图1）。
在这样的支持基础下，可以看到，全社会在各方面的数字化成就为人工智能的跃升已经铺平了道路。因此，人工智能的出现，是整个人类社会近几十年来数字化转型的必然结果。这一结果，无论其前景和风险如何，都无法被停止和扭转。
从对人工智能发展的技术估计来看，自人工智能诞生至今，就存在两种观点，一种是乐观派，一种则相对保守。从乐观派的角度，例如1955年，著名的计算机科学家和管理学家赫伯特·西蒙就预测在10年内，计算机就会战胜人类国际象棋冠军[[5]]。显然我们知道这件事直到1997年才完成。而到1965年，西蒙又预测，在20年内，计算机就会替代人类。显然，今天看来，也预测的过于乐观。在八十年初，日本科学家同样做出了乐观的预测，认为在20年内，日本将造出和人类一样具有思维能力的计算机，也就是所谓的第五代计算机。然而，迄今为止，这一目标依然未实现。弗农·温格（Vernor Vinge）发表了《技术奇点的来临：如何在后人类时代生存》一文[[6]],认为三十年之内人类就会拥有打造超人类智能的技术，不久之后人类时代将迎来终结。这一预测，目前来看则相对更为稳妥。而另一方面，大多数计算机科学家则较为保守，普遍将计算机超越人类智慧的时间定为2050年左右或以后。例如，未来学家库兹韦尔（Ray Kurzweil）在《奇点临近》[[7]]一书中预言:2045年,奇点来临,人工智能完全超越人类智能。2017年5月，牛津大学的研究报告对300多位人工智能科学家的调查回复显示，在45年内，人工智能在各领域中有50%的机会超越人类，在120年内，能够实现所有人类工作的自动化[[8]]。这一预测依然是较为保守的。库兹韦尔则近来又预测认为在2029年人工智能将超过人类[[9]]。
如果从技术发展的角度来看，对人工智能什么时候能超过人类的判断，很可能是标准非常模糊且具有很大变数的。如果以经典的图灵测试为标准，谷歌公司于2018年5月已经声称自己的语音程序通过了图灵测试。如果以应用为标准，近年来一系列在具体应用领域的优异表现来看，例如自动驾驶、围棋、游戏竞技、机器翻译等，使得有越来越多的人倾向于人工智能可能会以更快的速度突破人类智慧这一标准，认为，在2020年代之内，全球人工智能就可能达到人类的智慧水平。这也就意味着人工智能可能最多在十年内就会对人类形成全面的优势。
表1 人类智慧与人工智能的核心区别
如果进一步比较人类智慧与人工智能的区别，我们不得不承认，从计算速度到推理能力再到稳定性等所有领域，被赋予人类智慧特征与数字计算体系充分融合的人工智能几乎对人类都具有优势。
首先，从运算能力而言，基于化学基础的人类运算的速度显然远远落后于人工智能。人类的长处是能够抓住核心特征并形成快速的态势感知和判断。而人工智能是建立在可以无限扩张的并行计算和云计算基础上的，并通过神经网络和人类赋予的逻辑判断的结合，同样正在形成高态势感知能力。
其次，从推理方式而言，人类的大量推理主要是以模糊推理为主，也就是所谓的定性分析大于定量分析。而人工智能则是以精确的定量分析为基础，并被通过模仿人类赋予了定性的局势判断能力。
第三，从存储能力而言，人类记忆显然是低存储能力且具有易失性的。为了克服人类的遗忘，人类需要反复的强化记忆和复习才能够保持。而建立在数字存储基础上的人工智能体系，则完全不会有遗忘和存储量的问题。
第四，从交互能力而言，人类主体通过语言文字的交互能力其速度和准确性极低，最快的传输能力也不会超过每秒1KB字节（500个汉字）。而人工智能动辄以每秒GB的传输能力，远远超过了人类的交互。这意味着，人类群体的少数智慧者很难将其智慧分享给整个群体，而人工智能则任何一个节点的进化，都回瞬间传输到全网络。
第五，从对客观世界的控制能力而言，人类显然需要各种复杂的工具的帮助下并经过学习和适应才能够完成对数字物体的操作。然而，现代高速物联网的建设，即将赋予大部分物体都具有了接受信息和改变状态的能力，而人工智能可以天然的对其进行直接控制。任何数字化的设备，都是人工智能的组成部分。
最后，从稳定性角度，人类的智慧状态受到身体、情绪以及外界环境的影响极大，在不同的状态下，人类可以做出完全不同的判断。然而，显然人工智能完全不受外界环境的影响。在各种极端环境下，人工智能依然可以做出准确的逻辑判断。
因此，从以上的各种比较而言，显然，即将突破人类智慧水平标准的人工智能在各个领域对人类似乎都具有了充分的优势。这使得人类社会第一次在整体上面临着关键核心优势—智慧的丧失危险。人类社会因此必须要高度重视这一历史性的改变。
二、人工智能技术引发的人类社会风险
由于人工智能是一种与传统完全不同的技术体系，因此，人工智能势必对人类社会产生深刻的从内而外的改变并引发相应的风险。大体而言，包括十个方面：劳动竞争、主体多元、边界模糊、能力溢出、惩罚无效、伦理冲突、暴力扩散、种群替代、文明异化。
（一）隐私泄露
隐私是指一个社会自然人所具有的不危害他人与社会的个体秘密，从范围而言，则包括个人的人身、财产、名誉、经历等信息。隐私权是传统社会重要的自由权利，其保护了个体行为的自由范围和尊重了个体的自然与选择偏好差异。因此，在很大程度上，隐私是传统社会自由的重要基石[[10]]。
在东西方的历史中，都很早确立了对隐私权的保护，例如中国自古以来就确立了不能随意进入他人私宅窥探的制度。而儒家则从宗族保护的角度，亦有亲亲相隐的社会管理观念。而法家则同样有家庭内部某些私事不予干预的制度，如《睡虎地秦墓竹简.法律答问》:“子告父母,臣妾告主,非公室告,勿听”。就西方而言，从古罗马开始，就尊重私人领域和公共领域的平衡。而圣经的开篇即讲到亚当与夏娃由于吃了金苹果而产生了羞耻心，要遮蔽身体的暴露。在西方传统文化中，对个人的收入、女性的年龄的打探，都是极为不礼貌的行为。直到19世纪末，英美则正是通过立法形成了对隐私权的明确保护[[11]]。至今，隐私权已经成为现代社会个人权利的基石。
从有了现代通讯制度开始，自上世纪70年代开始，美国就开始明确立法保护电子通讯中的隐私权。尽管如此，经历了互联网、大数据的长期演化，隐私保护在今天依然是一个值得被关注的重要问题。
之所以如此，是因为隐私的泄露成为了今天大数据时代的一种几乎必然的结果。由于大数据时代越来越多的无所不在的监控与感知系统的存在，以及以更好服务为名的对用户信息的收集成为一种普遍的商业存在。使得今天的任何一个用户，在整个网络上，都留下了基于其行为的庞大数字轨迹。
人工智能技术的出现，更加剧了这种状况和危险。人工智能时代隐私问题与大数据时代的根本不同在于，大数据时代只是做到了对数据的充分采集、存储。然而，大数据时代，对个体隐私的最终分析和判定，依然是需要人工来进行了。也就是说，尽管各种传感器和云存储可以精准地去储存一个个体的各种信息，但是，对信息的提取和复杂的综合判定需要人来进行。这就意味着，社会对于个体的精准监控的成本很大，只能做到针对少数个体。然而，人工智能极大降低了分析大数据的成本和提高了效率。通过人工智能，就可以做到对所有个体数据的关联分析和逻辑推理。例如，在大数据时代，尽管城市的各种摄像头精准的记录了所有的数字影像信息，但是其不能将影像对应到自然人。然而，通过人工智能的特征分析，就可以将所有个体识别出来。然后通过将所有摄像头影像的分析，就可以准确记录每一个自然人的轨迹和行动。因此，在人工智能时代，理论上所有个体的绝大多数行为都无法隐藏，无论其是否危害社会。这就产生了一个问题，隐私权在今天或者未来的时代，还是否是个体自由的基础？显然，这一答案是肯定的，那么我们就要去考虑限制人工智能在采集和分析隐私方面的滥用。
（二）劳动竞争
机器对于人的替代和与人争夺劳动岗位的问题，从工业革命以后就开始了。十八世纪的工人就开始有组织的捣毁机器[[12]]，然而并没有阻碍机器的运用，同时也并没有减少工作的岗位。反而创造出了大量的管理岗位和白领阶层。因此，有一种观点认为，人工智能作为一种机器，其最终也会创造大量的新的岗位而不只是对现有工作机会的替代。
这种观点，由于建立在历史经验的基础上，很有一定说服力，并且由于其作为一种有利于人工智能大规模运用在生产领域的理论支撑，所以也得到了企业家们的欢迎。然而，仔细分析这种观点，发现其理论和前提存在严重问题，即：这种观点的前提是把未来的人工智能等同于以往人类经济中出现的机器。
然而，正如同我们反复强调的，今天对于人工智能的分析，绝不能建立在历史经验的盲目乐观之上。因为人工智能从根本上不只是一种替代体力劳动的机器，而是一种足以替代人类脑力劳动的智慧载体。如果我们把所有的经济活动进行分解，可以看出，所谓经济活动，就是这样的一个等式：原材料+能源+知识（技术、工艺、方法）+智慧+劳动=产品+服务。在这个过程中，既可以用计划命令的方式来使得这个过程运作，也可以用资本的方式激励这个过程运作。
如果分析其中的每一个环节，可以发现，工业革命以后，主要是在原材料的获取，能源的开采和体力劳动方面大规模使用了机械和电气设备，从而极大提高了整个社会生产力。在知识和智慧方面，则形成了庞大的专业知识分工体系（科技人员）和庞大的管理岗位（白领阶层），这一部分始终无法被机器所替代。然而，人工智能的关键能力就在于在核心的知识探索和管理体系中逐步具有了对人类的替代能力。今天的科学家已经逐渐应用人工智能进行科学发现，医生利用人工智能诊断疾病，大量的包括人脸识别、轨迹识别、会议记录等已经应用在广泛的管理过程。由于人工智能飞速的学习能力和构造与逻辑上的拟人化，人工智能并没有存在什么天然的阻碍其融入和替代绝大多数人类岗位的自然沟壑。所以，人类大规模的退出生产性劳动，将是一种历史必然[[13]]。一个自然的问题就显现出来，由于人类至今的产品分配体系是以劳动作为核心体系，那么，当人类大规模出现失业问题而同时物质产品生产却没有匮乏，如何更公平的分配物质产品，将是大规模劳动替代后所面临的严重问题，如果解决不好，严重的两极分化、社会不公和社会动荡必将出现。此外，劳动竞争的潜在后果还包括人类整体上逐渐失去生产的知识和能力，这对于人类种群的长期发展，也是极为危险的。
(三)主体多元
人工智能的进一步发展，除了在生产领域的广泛应用外，势必会进一步进入到人类生活的各个角落。这就意味着从现在开始，人类将不得不开始适应人工智能在社会中的广泛存在，甚至作为一种社会主体和人类共生。
人工智能作为主体的社会化过程显然是分为三个阶段。在第一阶段，人工智能只是作为智能网络系统中的核心智慧模块（程序+算力+外设）存在，通过广泛的互联网接入到其涉及的各项工作和任务中去。这时候人工智能更像是具有高级识别与判断能力的机器助手。在第二阶段，人们显然不满足人工智能生硬的外表和僵化的人机界面，为了使得人类更便于沟通和接受，人类赋予了人工智能虚拟的人类外表和人类的称呼，从而使得其在各种显示设备或者虚拟现实设备中能够以拟人的形态出现[[14]]。在这一阶段前，人工依然被屏幕或者非人类的人机界面所阻隔。在第三阶段，人工智能将与各种仿生学技术相结合，以人类的形态出现，进入到人类社会中。这时候，人工智能显然可以从事人类所从事的绝大多数社会行为。
从当前的阶段来看，人类正从第二阶段的中后期向第三阶段飞速接近的时期。而从技术的发展趋势来看，似乎没有什么因素能阻碍人工智能以人类的形态出现。从人工智能技术的开发历史来看，无论世界的东西方历史都对人形机器的产生保有强烈的期待，从《列子汤问》中记载的人偶和达芬奇在十六世纪设计的机器人，都显示了人类对这一创造的好奇和期待。然而，这并不意味着人类真正对主体的多元化问题做好了准备。240年前瑞士钟表匠雅奎特·德罗兹在欧洲宫廷展示其设计的可以写字弹琴的人形机器人时，曾引起了极大的恐慌，被斥为巫术。今天的人类，是不是也会如此，将是一个问题。
拟人态机器人显然能够给人类提供更大可能的方便，无论从生产还是生活，可能是更好的朋友、伙伴、提供更好的家政服务，甚至是良好的生活伴侣和家庭成员。然而，显然这也将极大挑战人类社会长期存在的生物学基础和伦理体系。机器人的权利和义务，以及管制机器人的体系，都将是重大的社会问题和制度挑战。
（四）边界模糊
人类自形成以来的传统社会是一个典型的具有明显内部边界的社会。传统社会是建立在地域、族群、血缘、知识、能力基础上的分工体系。工业革命尽管建立了更大范围内的生产和交换体系，然而并没有削弱这种内部边界的分工，反而强化了这种分工，从而最大化了各个领域的效率和能力[[15]]。然而，自人类进入到网络时代以来。这种内部鲜明分工的社会格局逐渐被打破。网络首先淡化了地域分工，随后又通过知识的扩散淡化了专业分工，社会价值的传播又使得人们根据价值观念重新聚合而不再只根据血缘、地域或者族群。人工智能的出现，则进一步打破了传统的分工体系，模糊了社会的内部边界。
人类之所以长期形成了内部分工体系，当然一方面是自然条件的约束和阻隔，但另一方面也是由于人类较慢的学习能力。尽管人类显然具有远超于其他生物的学习能力和组织能力，然而与人工智能相比，人类的学习能力显然太慢了。人工智能所拥有的高运算能力、高信息检索能力、高进化性使得其远远超过人类的学习能力。一名顶级的围棋选手需要毕生的学习而人工智能只需要三天的自我博弈就可以了。这种极为强大的学习能力产生了三个明显的后果：
第一，其极大加强了机器的多样性能力，淡化了生产体系的专业边界。自工业革命以来，生产领域的专业化在极大加强了效率的同时也限定了机器的狭窄的专业性，也就是一种机器被专门设计从事特殊的工序，而很难进行切换。近年来，随着快速制造、柔性制造、数控机床的发展，加大了机器的柔性转换能力[[16]]。伴随着人工智能在生产领域的不断契入，人工智能的多样化与柔性制造的结合，最终将模糊和淡化机器之间的严格分工边界。生产一种产品的机器在需要的时候可以智能的转换为另一种。这同样意味着整个智能生产体系将打破基于产品的分工边界。
第二，其极大加强了人类的学习能力，从而淡化了人与人之间的社会专业分工边界。在人工智能的辅助下，人类在切换新的领域时不再需要漫长的训练，而只需要监督人工智能工作就可以了。那么，这就改变了人类必须通过长期训练才能够胜任工作的必要性，人类逐渐在人工智能的辅助下逐渐成为多能者，社会分工体系的必要性就会降低。
第三，其最终模糊了人与机器之间的严格界限。人作为主体而机器作为客体的严格分界，最终将被作为智慧载体的人工智能打破。目前正在开发的包括机器与人类神经直接连接的技术（如脑联网），都将模糊人与机器之间的界限。
当机器与机器、人与人、人与机器之间的分界线逐渐模糊的时候，那么从好的方面，这意味着更大的社会灵活性和适应性，然而，这也同样意味着传统基于分工形成的社会结构的逐渐瓦解。
（五）能力溢出
人类长期以来都面临着（人和机器）能力不足的问题，传统社会长期是一个能力稀缺的社会，因此，人类长期以来一直都在致力于增强人类自身和机器的能力。然而，直到近年来，随着信息技术的指数级增长，人类开始逐渐遇到了机器能力超出或者冗余的问题。例如，在大量的计算机辅助的工作，如文档处理、文字与视频交互、网页浏览、工业控制等，人们远没有用到今天动辄百亿晶体管芯片的全部能力，甚至十余年前的芯片也足以满足大部分工作场景。这就引发了能力超出的问题。
在人工智能时代，这种能力超出将表现的更为明显，人工智能是一个基于复杂的硬件、算法、网络、数据的堆叠体系。在强大的算力增长和网络与数据的推动下，人工智能的能力也会飞快的超越其人类预想的工作场景的能力。
这种普遍的能力超出，将会带来几个影响，一是可能会造成较为严重的浪费；二是有可能会形成计算能力的普遍化，也就是学术上称之为“普适计算”；三则是对人工智能的安全控制形成不利影响。基于智能设备普遍连接和分布式运算形成的分布式智能体系，显然将比集中式的人工智能体系更加难以理解、预料和监控。这显然会产生较为严重的安全威胁。例如，以最常见的拥堵式网络攻击(分布式拒绝服务攻击，DDOS)而言，显然大量了冗余计算能力为攻击者提供了足够的分布式算力。而人工智能的普遍分布化，也会极大模糊人工智能的边界和进化形态。
（六）惩罚无效
显然，当人工智能普遍进入人类社会后，就面临着传统治理体系惩罚无效的重大隐患。从人类社会的治理逻辑而言，人类社会的治理遵循着三个原则，一是道德原则，即社会确立什么是对的什么是错的道德规范，从而在人类的内心深处引导人类行为；二是奖励原则，通过物质、荣誉、身份等各种渠道，对个体从事好的行为进行奖励；三是惩罚原则，即对负面的行为进行惩罚和纠正。目前人类社会的法律体系是以惩罚原则为主要表现形式的。道德和奖励原则则通过其他如宗教、教育、经济、政治等其他系统实现。
对于人工智能而言，显然，当人工智能特别是人形机器人进入到人类社会后，直接的结果就是原有人类行为治理体系的失效，尤其是惩罚系统的失效。由于人工智能的个体属性界定不明，与人类的生理系统完全不同，与人类的心理系统也不一致，人类社会基于经济惩罚和人身自由限制为主的惩罚体系究竟有多大作用，则很难估计。目前的一些法律研究者认为不应该赋予人工智能独立的法律主体地位，应该追溯到人工智能的拥有者，或按照监护人的方式来惩罚人工智能背后的设计者或者拥有者[[17]]。然而，显然这种观点忽略和没有认识到人工智能可能具有独立的判断力和个体意志的极大可能性。
在人工智能的早期，惩罚体系的失效问题可能尚且不明显，然而，一旦人工智能的大规模应用后，其将导致严重的社会风险。一些自然人可能会利用人工智能去从事违法行为以逃避或者减轻惩罚，而更大的可能则是人工智能在从事了伤害人类社会的行为后，得不到惩罚或者惩罚并没有实质意义，例如对人工智能体的回收，到底有什么纠正或者惩罚的意义？显然，这些问题，都必须从现在开始进行每一个细节的仔细研究。
（七）伦理冲突
人工智能的大规模进入社会显然会引发一系列严重的伦理和价值问题。从大到人工智能能不能伤害人类？再到人工智能是否能够管理人类？小到人工智能是否具有人类一样的权利，例如自由权、人格权、休息权、获取报酬权、继承权等？[[18]]这些问题都直接关系到人工智能与人类的基本关系问题以及其能够带给人类什么？
如果人类发明和改善人工智能，只是为了一种完全的占有和将其视为附庸，可以无条件的为人类提供服务，那么，人工智能显然就是完全的机器属性。这与人工智能越来越成为高等智慧的载体的属性相违背。而如果尊重并赋予人工智能特别是具有人类外观的机器人与人类一样的权利，那么，人工智能显然无法按照人类的意愿完全行事，人类为什么要创造出具有一样自由意志和权利，又在各方面显然优于人类的新种群呢？这显然是今天需要值得思考的。
有人可能认为这种担心没有必要，然而，从近代以来对动物权的立法保护历程来看，动物从原先严格意义上的人类的附庸逐渐转变为拥有越来越多权利例如休息权，不被虐杀权[[19]]，甚至在德国和意大利，立法规定了宠物拥有主人的财产继承权。这意味着，各种物种之间的平等权利，将是一种人类的基本文明趋势。长久的将拥有高度智慧并且与人类共同生存的种群置于人类的严格约束下，无论是在伦理还是在可行性上，可能都很难做到。因此，人类将如何面对人工智能，特别是人形的人工智能？与此相关，我们应该在什么阶段赋予人工智能什么样的权利，将是一个从现在就必须要严肃对待的问题。
（八）暴力扩散
人类的历史经验表明，技术的发展必然会优先用于暴力，或者说，暴力反过来是促进技术进步的主要发动机之一（另外两个是生产和娱乐）。关于机械和能源的进步极大提高了战争的规模和惨烈程度，而计算机最早的发明也是用于军事的密码破译和弹道计算。因此，技术的进步，必须要警惕其所引发的在社会暴力领域的变革。
人工智能在暴力领域的应用显然已经成为一种事实而不是推测。在上世纪八十年代起基于自动控制和远程遥控的无人机等已经装备发达国家军队。而目前，主要发达国家都在进行人工智能的军事化研发，美军把人工智能化作为军队变革的核心方向[[20]]。大量包括战斗机、坦克等直接攻击武器和运输辅助性武器都在进行人工智能化。
人工智能的暴力影响，不只在国家层面的军事领域，在其他各种领域都将产生作用。例如执法部门利用人工智能进行执法，恐怖分子则利用人工智能进行恐怖活动，在网络虚拟领域，黑客可以利用人工智能操控大量网络节点进行自主攻击。因此，人工智能虽然可能通过加强公共权力的暴力而改善公共安全，但还可能形成暴力的滥用从而危害公共安全。
总体而言，由于人工智能技术的模仿在开源体系的帮助下，远较其他大规模杀伤性武器更容易，因此，基于人工智能武器化造成的恐怖与犯罪在未来可能会变得更加泛滥。而主要发达国家通过赋予人工智能杀伤权亦会违背机器不能伤害人的伦理底线，从而使得未来的人工智能技术变得更具风险。
（九）种群替代
由于人工智能显然是一种在各方面都与人类迥异但又更具有优势的智慧载体，显然人类整体上会面临种群替代的风险。这种种群替代的过程是渐进的。起初是人工智能与人类之间的相互融合，亲密无间，由于人工智能在早期既不具有严格的权利保护，又没有独立意识，并且大量功能是为人类专属设计。因此，人工智能可能是好工具、好助手、好朋友、好伴侣。随着人工智能的大量应用和广泛连接，人工智能的复杂度越来越接近和超过人类。人工智能就不再专属于为人类服务的工具，而是逐渐演化出个体的自我认知和权利意识，而人工智能对人类就业的大量替代和人工智能广泛参与到社会暴力种，也会加剧人与人工智能之间的关系紧张，人工智能就会进一步形成对人类的替代压力[[21]]。
人类最后的底线不只是在经济上和管理上依赖于人工智能，而是在生育过程的纯粹性，也就是种群代际传递的纯粹性。然而近年来生物技术的发展，又逐渐打开了生命本身的神秘大门，人类开始能够通过人工手段帮助生育甚至编辑婴儿[[22]]。一旦人类能够习得这份技能，人工智能也将具有类似的能力。这就意味着，不但人类能够创造人工智能，反过来人工智能也能够通过基因编辑创造人类。双方在相互创造关系上的对等显然意味着人类作为单一智慧种群特殊地位的消失。那么，人类到底在哪些领域能够是人工智能所不能替代的，在这个问题的回答上，伴随着人工智能的发展，人类已经很难像以往那么自信。
（十）文明异化
文明到底是什么？人到底应该如何定义？人的最终归宿是什么？这些问题自古希腊哲学家提出后就一直萦绕在人类心头。如果把文明定义为智慧的表现形态和能够达到的高度，那么，显然文明的形态是具有多种可能的。尽管至今人类尚未有足够的证据证明存在外星文明，但是从人工智能的发展来看，显然提供了一种新的智慧载体和表现的文明形态。
在这样的转型时期，人类是坚守狭义人类文明的界限，还是扩展对文明的定义和形态的认识，是今天人类所必须要面对的问题。如果承认文明是多种形态可能的，那么同样也就意味着人类文明不是最优形态的可能性存在。显然，这对于人类整体将是难以接受的。人类显然可能将经历一个较长时间的过渡和权利斗争，如对AI增强型人类，基因改造人类和人形AI有一个逐渐接受的过程，最终接受文明的广义形态。“我思故我在”，可能最终是文明的基本标准。
三、人工智能治理的障碍与困境
在今天文明转型的重大历史时刻，人类显然应该团结起来对人工智能治理做好准备，然而，在这一领域至今为止还存在着诸多障碍。
（一）对人工智能的风险认识不充分，抱有幻想
人工智能由于其飞速的发展，真正能够认识到人工智能整体风险的，往往是少数的科学家、企业家、政治家。而大量的社会个体，要么还未有足够的信息被告知其风险，要么则是对人工智能整体的发展盲目乐观，过度自信。的确，人类从未真正创造出和人一样甚至超过人的机器，因此，绝大多数人们也并不认为人工智能有一天会真的反过来超越人类文明。
另外一种过于乐观的看法则认为，技术本身孕育着技术的解决方案，因此，当前人工智能的发展，今天看来难以治理的困境，在未来可能自然而然就解决了。这种观点本质上是对人类文明抱有乐观的态度从而采用自由放任的态度。然而，文明发展的“大筛选”理论可能意味着不是所有的文明都最终有良好的进化结局。因此，不能够用一种纯粹试一试的态度来面对未来显然的不确定性风险。
（二）人工智能发展的透明性和可解读性不足
从技术本身的角度，对人类而言，人工智能最大的治理困难在于其人工智能本身的复杂性远超过传统的程序。基于复杂神经网络进化策略而不是传统基于层级逻辑实现的方法意味着人工智能更多是进化而不是设计出来的。而今天动辄数百万节点甚至亿级别以上的人工智能系统意味着，人类能够实现人工智能，但人类并不真正理解人工智能。这就是人类面对人工智能的悖论，我们并不真正理解人工智能（当然，准确讲人类自己也没有真正理解人类智慧[[23]]）。
这种透明性的不足，导致了人类无论是对于人工智能的智慧进化水平，还是多人工智能的相互连接机制，以及人工智能对人类的态度的了解，都处于模糊的状态。这种模糊性导致了针对性的治理策略的制定困难。过早的政策制约显然会阻碍人类的技术发展，而过迟的应对则将使人类陷入危险之地。
（三）技术研发和应用的盲目竞争
近年来的人工智能飞速发展，背后的核心驱动是科技领域的高激烈竞争。这种竞争的直接表现是人工智能发展的相关企业之间的密集竞争。显然，在当今，各领域的龙头企业都看准了人工智能转型将是未来竞争力的核心要素。而人工智能研发的头部企业更将其看为整个科技研发的制高点。在这样的密集竞争下，使得人工智能的研发走上了一条无路可退的快车道。
从应用的角度，近年来发达国家各行业人力成本的以及全球劳动保护和福利水平的增高，而发展中国家人力供给又远跟不上，全球制造业利润已经越来越微薄。因此，通过人工智能大幅度降低企业成本，显然可以极大增加企业的产品竞争力和增加利润[[24]]。在这样的驱动下，企业也有不顾一切尽可能的人工智能化的动机。
（四）开源体系的知识无序扩散
人工智能近年来在世界各国的飞速发展，还与近几十年来全球IT领域的开源运动相关。从上世纪80年代开始，以Linux操作系统为代表，全球IT领域就掀起了以免费、共享、参与为目的的开源运动。伴随着互联网的进一步深入，开源运动已经成为当前IT领域的最重要的驱动力量。在几乎从操作系统到硬件设计的所有领域，都可以找到开源的解决方案。这就为人工智能技术的扩散提供了极大便利。
人工智能技术看似高深，但实际上其原理并不复杂。凭借开源运动，任何国家与企业的个体都可以通过下载已有的开源人工智能代码略作修改就可以开发自己的人工智能应用。因此，“不造轮子”而直接造车子，成为了当今人工智能发展的主流模式。在促进技术传播的同时，显然也增加了技术风险的扩散。例如恐怖主义分子可以很容易通过下载无人机的操控程序以及人脸识别和攻击代码从而组装攻击性无人机。其他的类似隐私搜集、网络攻击等则更是容易实现。
（五）研究共同体的科研自组织伦理的不足
科研伦理是科研共同体自律和控制技术风险的第一环节。然而，由于科研伦理本身上是一个自我约束性道德体系，而缺乏法律的强制性。因此，在面对涉及到人类发展的重大科技突破时，往往自组织伦理会远落后于技术发展，从而失去约束，力不从心。
从目前人工智能研发的伦理体系而言，从上世纪八十年代开始，陆续就有一些国家的人工智能研发机构订立了相应的人工智能开发原则[[25]]，其基本的原则就是不能研发伤害人类的人工智能。显然，科研界对人工智能风险是有一定程度的估计的。然而，这种科研约束体系显然当面临巨大的经济、商业和战略上的利益时，就无所约束。
（六）国家间的战略竞争—人工智能应用特别是军事化的巨大潜力
人工智能治理所面临的最大的治理障碍还在于国家与国家之间围绕人工智能形成的国家竞争。从目前的全球各主要国家发布的政策来看，世界主要大国无一不将人工智能视为未来主要的国家竞争优势。因此，主要大国无一不尽全力发展人工智能，并保持对主要战略对手的优势。
当前人工智能所展示出的高效率、高可靠性、低人力成本等优势，对于改善一国的经济、管理、科技和军事等方面，显示出巨大的潜力。特别是人工智能在军事领域的应用，将极大增加一国军事能力并减少伤亡，从而将形成巨大的常规武器优势。因此，尽管世界各国都认识到人工智能可能具有高度的风险[[26]]，并且也发生了主要承包企业科学家抗议并退出项目的事情发生，但毫无例外并未阻止各国全力发展人工智能的军事化应用。
因此，当前人工智能的态势，很类似于人类曾经经历过对核武器的控制态势。尽管当第一个原子弹爆炸之后，核科学家就一致发起请愿永远不运用在实战领域并保持对核武器的控制。然而，世界主要国家还是尽全力发展。直到今天，全球核武器不是被严格控制而是潜在与事实上的拥核国家已经达到了两位数。这显示出人类对于核武器扩散的控制实际上是失败的。这其中根本的原因就在于复杂的国际环境和全球缺乏一致的协调，国家竞争优势大于全人类的安全[[27]]。然而，在面临人工智能时，人类将面临着更为复杂的环境。因为人工智能比核武器在表象上更加缺乏破坏性，更加安全，并且更加容易复制，且对于国家优势增加的更为明显。因此，全球竞争毫无疑问的增加了人工智能的过度进化和扩散风险。
四、尽快推进和完善人工智能全球治理架构
从当前的趋势来看，人工智能的持续发展已经是一个完全不可逆的过程，考虑到人工智能所具有的潜在高风险，因此，全人类必须要高度重视，推动人工智能的全球治理体系构建。
（一）推动人工智能技术的风险共识
显然，在今天的各个领域，特别是在主要的政治、商业和科学领域，其领导者要充分认识到人工智能所具有的潜在的风险。这种对人工智能风险的认识，决定着社会精英在制定相应政策时所采取的微妙态度。
推动对人工智能风险的共识，既需要社会广泛的宣传、探讨和沟通，也需要对全人类共同的巨大的责任意识。在这一过程中，要避免人工智能技术被政治竞争和资本竞争所绑架，从而陷入了盲目的发展境地从而导致不可挽回的后果。整个知识界首先要高度警醒，尽力推动其安全风险教育和警示，这不仅需要人工智能专家自我的觉醒，也需要其他领域，特别是社会学科知识精英的高度敏感性，从而竭尽全力将技术的发展纳入到有序的轨道。
（二）共同推进人工智能研究的透明性和可解读性研究
人工智能构建和训练的便宜性使得人们忽视了人工智能透明性和可解读性的重视，从而加剧了风险的增大。然而，这并不意味着人工智能完全不具有透明性和可解读性。将所有的功能完全交给复杂网络自我进化以实现人们预期的功能，是造成人工智能透明性和可解读性下降的重要原因。因此，这就要求在人工智能设计上要避免以复杂的堆叠为唯一思路，从逻辑主义到连接主义的混合策略将是改善透明性和可解读性的重要方式。
此外，不仅技术本身应是透明和可解读的，研发机构对于公众和政府也应该是透明的。这就要求人工智能研发的机构要频繁的定期向公众和监管机构报告其研发的进程，从而使得社会多方面可以参与到人工智能的发展进程监控中。
（三）推进全球科研共同体尽快形成人工智能研究自我伦理体系构建
伦理虽然不是法律，但是伦理是制约个体行为的重要依据。在当前，显然应该尽快通过全世界的科研体系建设和沟通，形成全球人工智能科研共同体的伦理体系。这包括对人工智能武器化的谴责，对人工智能与人体结合的谨慎（例如脑接口），对人形机器人开发的约束等。
在科研伦理的设置上，不能延续以往的法无禁止皆可为的自由主义准则。因为，在今天的科技发展，已经接近了足以颠覆人类社会的边缘。人类的前途和命运更多是取决于科学家手里的研究而不是政治家或者企业家的意志。因此，显然整个科研共同体应该更为谨慎。具有半强制性的全球人工智能科研伦理委员会的建构，应该成为世界各国科研共同体当前所面临的共同的迫切任务，从而通过这一委员会来小心翼翼的控制相关研发不超过基本的伦理边界。当然，这种全球协作机制应该避免国家意志的操控成为国际政治角逐的工具。
（四）推进各国完善人工智能国内立法
伦理体系属于科研共同体的自我治理，反映的是科研精英的群体认知。而法律则不同，法律反映的是大众意志和国家意志。因此，法律是捍卫社会利益的最后底线。从人工智能的研究而言，其绝不能仅是相关IT研究人员的自我协作和监督，由于人工智能研究的重大历史和社会意义，必须要纳入到全社会共同的关注和国家监管之下。
从各国立法而言，在政府大力推动人工智能发展的同时，世界各主要国家的立法机构都对人工智能的治理问题进行了相应的立法准备，例如美国两院于2017年底提出的《人工智能未来法案》，欧盟亦在2018年起就动议对人工智能进行立法。然而，由于当前人工智能发展速度过快并且外界对其进展知之不深，并且其还未产生重大的危害性事故，因此，其约束性立法还未有明确形成。显然，从全球各国的立法来看，面临着互相观望同时又受到国内多方面博弈的局面。单方面的自我立法设限，显然会有损于国家竞争优势的构建，所以，从国内立法的角度，只能寄希望于在若干重大原则性问题进行规制。
（五）推进全球合作立法和共同监督机制建立
作为当前人类所共同面临的两大核心技术风险之一的人工智能技术（另一个是基因编辑技术）的有效治理，人类必须要构建起共同的合作治理机制从而才能面对共同的技术风险。否则，由于人工智能技术的高流动性和扩散性，人工智能研发企业很容易从监管更严的区域迁移向没有监管的国家从而规避管制。
而从治理的目的而言，全球合作则显然至少达到以下目的，一是阻止人工智能的在军事领域的滥用；二是建立对人工智能的进入人类社会的监测与评估，防止人工智能对人类进行过度的改造；三是评估人工智能的进化进程，从而做好人类的安全防范。
然而，从现实角度，在订立防止过度开发与滥用的机制上，各国显然面对一个复杂的多方囚徒困境局面，即如果对方遵守协议而自己优先发展，就可以获得更大的国家竞争优势。在这种情况下，全球合作治理也显然是困难的，但这并不意味着无法实现。当全球越来越多的精英和大众认识到人工智能可能带来的巨大风险时，势必会促成全球形成对人工智能共同的管制策略。这一机制由于其重要性，应该在联合国安理会主导下建立而不只是目前一些科研机构或者少数国家自发的形成。当然，在这一过程中，需要发达大国更具有人类责任心，率先推动这一机制的实现。
五、结论
从人工智能的特征和发展来说，人工智能技术在具有高价值的同时，对人类具有巨大的潜在风险，这些风险从低到高包括包括：隐私泄露、劳动竞争、主体多元、边界失控、能力溢出、惩罚无效、伦理模糊、暴力扩散、种群替代和文明异化，应足以引发人类对人工智能发展的高度警惕。从整个社会而言，要做好至少五个方面的准备：一是尽快取得人工智能的风险共识；二是尽快增加人工智能的透明性研究；三是规范科研共同体的自我约束；四是推动各国尽快立法；五是加快建立全球协作治理机制。
文章来源：《电子政务》，2020年第9期。
参考文献
[[1]]何哲.通向人工智能时代——兼论美国人工智能战略方向及对中国人工智能战略的借鉴[J].电子政务,2016(12).
[[2]] 谭艳.《禁止核武器条约》:特征、目的和意义[J].国际法研究,2020(3).
[[3]] 霍金. 人工智能可能使人类灭绝[J].走向世界,2015(1).
[[4]] Shalf John. The future of computing beyond Moore's Law.[J]. Philosophical transactions. Series A, Mathematical, physical, and engineering sciences,2020,378(2166)：20190061.
[[5]] 董俊林.H.西蒙与国际象棋[J].自然辩证法通讯,2013(4).
[[6]] Vinge, V. The coming technological singularity: How to survive in the post-human era[J]. Science Fiction Criticism: An Anthology of Essential Writings, 1993:352-363.
[[7]] Ray Kurzeil. 奇点临近[M]. 机械工业出版社, 2011,p80.
[[8]] 数百位专家预言:人工智能45年内将全面胜过人类[N].搜狐网，2017-6-5.
[[9]] 美科学家:人工智能将在2029年超过人类[J]. 电子世界, 2016 (7).
[[10]] 马特.无隐私即无自由——现代情景下的个人隐私保护[J].法学杂志,2007(5).
[[11]] 倪蕴帷.隐私权在美国法中的理论演进与概念重构——基于情境脉络完整性理论的分析及其对中国法的启示[J].政治与法律,2019(10)周健.美国《隐私权法》与公民个人信息保护[J].情报科学,2001(6).
[[12] ]霍布斯鲍姆.重新思索捣毁机器的工人[EB/OL]，搜狐文化，2015-12-22.
[[13]] 何哲. 人工智能时代的人类社会经济价值与分配体系初探[J]. 南京社会科学, 2018(11).
[[14]] 吴珍发,赵皇进,郑国磊.人机任务仿真中虚拟人行为建模及仿真实现[J].图学学报,2019(2).
[[15]] 于琳,丁社教.马克思与涂尔干社会分工思想谱系的异同与会通[J].江西社会科学,2020,40(2).
[[16]] 潘卫军.现代柔性制造技术及其发展[J].装备制造技术,2007(12).
[[17]] 刘洪华.论人工智能的法律地位[J].政治与法律,2019(1).
[[18]] 杨庆峰.从人工智能难题反思AI伦理原则[J].哲学分析,2020(2).
[[19]] 张敏,严火其.从动物福利、动物权利到动物关怀——美国动物福利观念的演变研究[J].自然辩证法研究,2018(9).
[[20]] 武晓龙,夏良斌,刘峰.美国人工智能军事化研究和进展分析[J].飞航导弹,2020(4).
[[21]] 何哲.人工智能时代的人类安全体系构建初探[J].电子政务,2018(7).
[[22]] 陆群峰.人类基因编辑的伦理问题探析[J].自然辩证法研究,2020(1).
[[23]] Zerilli, John, et al. Transparency in algorithmic and human decision-making: is there a double standard?[J] .Philosophy & Technology 2019 (4): 661-683.
[[24]] 胡俊,杜传忠.人工智能推动产业转型升级的机制、路径及对策[J].经济纵横,2020(3):
[[25]] 杜严勇.机器人伦理研究论纲[J].科学技术哲学研究,2018(4).
[[26]] 黎辉辉.自主武器系统是合法的武器吗?——以国际人道法为视角[J].研究生法学,2014(6).
[[27]] 王政达.美国对国际核秩序的侵蚀与弱化[J].国际安全研究,2018(2).
