张国栋. 数据政治：智能社会向善的前置逻辑——评《黑箱社会：控制金钱和信息的数据法则》. 《智能社会研究》2023, 2(3): 188-198

摘要：本文在介绍与评述《黑箱社会：控制金钱和信息的数据法则》的基础上，区分了社会技术导致的黑箱和技术自身导致的黑箱以及影响。然后引入数据政治的三重维度，分析两类不同黑箱社会形成路径，揭示以“数据#算法”逻辑为特征的智能社会对数据的讨论具有优先性。

关键词：黑箱社会 智能社会 数据政治 “数据#算法”逻辑

一、引言

关于数据在当下和未来社会中的地位，主要有两种观点：一种以《经济学人》（Economist, 2017）为代表，认为“世上最宝贵的资源不再是石油，而是数据”；另一种以乔治•戴森（G. Dyson）（2015）带有警惕性的反思为代表，认为“脸书（Facebook）决定了我们是谁，亚马逊（Amazon）决定了我们想要什么，谷歌（Google）决定了我们怎么想”。站在人文关怀的立场，后者的悲观主义色彩大于前者，因为人的主体能动性被人类创造物所左右；而前者用石油类比数据，人的主体能动性得以彰显，暗示人类终会在未来某一天像驯服石油一样驯服数据。工业社会人类驯服石油的过程曾经历过多次危机，而在未来如何掌控数据，不出意料也会出现这样或者那样的非预期社会后果。作为正在经历从工业社会向智能社会过渡的人们，也将经历不断反思与建构，建立一个既能彰显人类能动性又符合人类共通之善的智能社会。

随着现代社会分工体系的专业化程度不断提高，群体间的依赖程度也随之提升，社会团结变得更加有机。然而，这种发展也阻碍了普通大众对不断技术化、数字化和智能化社会生活世界的理解。很大程度上，对于社会上大多数非专业人士来说，智能化程度越高，社会越趋于黑箱化。本文评介的《黑箱社会：控制金钱和信息的数据法则》（The Black Box Society: The Secret Algorithms that Control Money and Information，2015，后文简称《黑箱社会》），作者弗兰克·帕斯奎尔（Pasquale）主张在隐私保护制度方面，放弃知情同意这种形式上的做法，转而严格监管实际使用这些数据的企业和政府机构（帕斯奎尔，2015：XIV）。该书在出版当年就受到《自然》和《科学》两种权威杂志的推荐。其中《科学》杂志的维克托·迈尔-舍恩伯格（ Viktor Mayer-Schönberger）推荐说：“与其他书籍不同的是，弗兰克·帕斯奎尔的《黑箱社会》为我们提供了一剂全新思维良方，并且有可能将有关隐私话题引向深入。无论你只是对隐私感兴趣，还是已经熟知有关隐私的论述文献，都会在阅读次数增加的过程中受益匪浅（《黑箱社会》封面推荐语）。”

该书不仅是一部探讨社会利益和责任问题的著作，还是一部揭示金钱、权力和数据交易基本模式的社会理论著作。通过对网络公司和金融公司的商业惯例进行研究，作者探讨了这些公司如何在复杂信息环境中使用专有的信誉评定、搜索和金融技术，并对信誉评定技术如何广泛渗透社会、搜索技术对个人造成怎样的影响、不透明金融工具如何在金融市场发挥作用以及三者如何影响个人与社会进行了研究。作者在智能社会的基础上展开了有关信誉评定、搜索和金融技术的政治经济学分析，进而提出敦促互联网和金融行业提升公共价值、弥补内在缺陷的建议。作者对黑箱社会的形成表明了自己的立场：人们很可能迎来一个可被了解的社会，但首先我们必须看清这个社会已经在多大程度上成为黑箱。

当下智能社会研究领域较多关注算法引致的黑箱问题，如算法治理、算法评价、算法责任、算法解释、算法透明、算法规制、算法权力、算法偏见、算法监督、算法监管等（安晋城，2023；陈鹏，2020；郭春镇、勇琪，2023；李安，2021；李丹，2021；刘河庆、梁玉成，2023；石琳娜，2023）成为前沿话题。但是对作为算法基础的数据及其衍生问题关注不足——尽管数据问题曾经也进入过公众与学界的视域，但在某种程度上，数据生成的算法为社会提供的利好面遮蔽了对数据及其衍生问题阴暗面的讨论。从“原因—结果”的逻辑链条来看数据与算法的关系[①]，数据及其衍生问题的妥善解决有益于算法问题的解决，有益于智能社会的技术向善。

基于此，本文首先提纲挈领地介绍《黑箱社会》一书，归纳主旨要义，并结合书中分析引出对有关数据政治与技术向善的讨论：第二、三节是基于该书内容的介绍，分别是社会如何黑箱化、黑箱社会如何影响个人与社会；第四节首先对前述第二、三节的结论进行评论与深化，然后在讨论环节引出数据政治的三重维度，揭示数据政治与智能社会向善之间的逻辑关系。

二、社会如何黑箱化

（一）保密性

黑箱社会形成的重要原因之一是现代社会保密性的整体提升，以及伴随而来的社会个体知情空白的不断扩大。无论是现代金融体系内在机制，还是整个市场运行规则，都处在保密的笼罩之中，好像被某只“看不见的手”所控制，就连哈耶克也将“知情问题”视为仁义政府实施经济干预政策时一道难以逾越的障碍。

在经济数据化和数据经济化趋势下，个体数据在搜集层面产生了隐私条款，社会组织层面对各类保密协议、算法专利、知识产权保护等采取了保密性设置。帕斯奎尔把保密分为三种类型：“真正”保密、法定保密和模糊处理。（1）“真正”保密即在未经授权情况下无法获取的秘密信息。互联网公司算法模型和金融企业工具模型是各自实现其利益最大化的工具，为保护知识产权，现代互联网公司和金融企业对各类算法专利、工具模型等技术严格保密。这些处在“真正”保密状态的专利或模型的发挥效用，是在信息采集基础上进行，采集到的信息一并也被保密起来，而信息泄露责任则转嫁给了有组织的信息采集方，导致企业组织层面保密责任范围不断扩大，而数据化的个人隐私范围则在不断缩小，保密数据不断增多。（2）法定保密意味着某些信息属于隐私而不得公开。传统社会中银行职员必须遵循法律法规和雇佣条款，不得向其他人透露客户账户余额。这种理念的广度与强度在智能社会中进一步扩大，如各类企业在收集信息过程中不可避免地会涉及从生物特征信息到社会属性信息的个人信息，这些个人隐私在法律保密范围之内。（3）模糊处理是一种故意隐藏秘密的行为。一般采用的策略是扩大冗余信息体量、稀释核心关键信息以提升保密性，或者使用模棱两可的信息造成误解或误导。另外，在信誉评分领域，即使是对评分模型进行逆向拆解，也很难精准地预测其行为会产生怎样的后果。

（二）复杂性

技术自身和社会技术[②]的复杂化是导致黑箱社会的另一重要原因。（1）算法技术复杂化。算法技术复杂化建立在强大的算力基础上，软件可以在几分之一秒内对数以千万计的规则和指令进行编码计算。金融算法、搜索算法、信誉评分等不但有知识产权的保密措施，在技术复杂程度方面也进一步提升了普通公众的理解难度。（2）加密技术的再破解技术。在隐私保护过程中，技术层面设计出规避个人隐私的新技术，而技术则进入一种“破解—加密—再破解”的循环，使之进入一种复杂化的不断循环。（3）交易复杂化。各类金融衍生品的设计越来越复杂，通过不断运用质押、对冲、重组、风险分配等金融手段，形成了“快如闪电”的交易和无比复杂的衍生品序列。虽然通过保险再保险的方法来实现对冲，但危机发生频率和严重程度却有增无减。技术自身和社会技术的复杂化不仅可以麻醉公众，而且可以被金融工程师、贸易经理用来唬走评价机构、会计师和监管者等把关人员（帕斯奎尔，2015：192）。

（三）联盟与合谋

（1）联盟。“9·11”事件之后的信息交易模糊了国家与信息市场之间的边界，市场和国家形成联盟进一步模糊了二者的边界，这构成了黑箱社会的核心（帕斯奎尔，2015：290）。为提升监控能力，美国政府以“国土安全”的名义为其监控蒙上了一层神秘的面纱。政府机构不便搜集的信息数据，可以通过经纪公司来获得，以便双方各取所需。很多报道显示，科技公司和美国国家安全局存在交易关系，还在利益交换方面存在一种隐秘的“联姻”。（2）合谋。数据的重要性不言而喻，训练算法模型的关键在于数据源的广度与深度。直接采集或购买是营利性组织获取数据的主要途径，但也带来了一些问题。个人数据信息在不同行业主体间流动，不同行业主体对这些数据的使用目的不同，再加上新算法模型和数字技术的创新迭代，进一步模糊了人们对于数据可以产生何种影响、数据可以做什么的认知。

三、黑箱社会如何影响个人与社会

（一）评分系统

个人信誉评定从正式的征信报告开始，社会征信系统对个人的评分影响个人消费与信贷等。随着社会数字化、技术化、智能化水平的提升，类似于社会征信系统的各类评分系统的运用不断增加，形成了评分社会，对个人的社会属性信息进行标注是其重要工作内容。例如，信用卡公司将婚姻咨询视为逾期还款的前兆，寻求专业医疗方案的行为可能影响信贷决策机构对客户的评价，但实际上疾病不应该是信贷决策的判断标准。个体属性信息标注本身并没有什么问题，问题在于信息数据标注的算法技术存在固有的自动化偏见，编码规则中的价值观和特权问题被隐藏进了黑箱（帕斯奎尔，2015：13），影响个人利益和社会公平公正。

（二）搜索引擎

搜索已经成为我们生活的一部分，某种程度上搜索引擎可以主导大众意识，影响社会价值观，甚至可以决定我们将要做什么、想什么和买什么。搜索通过排名、个性化设置、自动完形、兼容垄断以及社交化发展策略等，不断影响个人与社会。首先，搜索引擎排名容易被操控，除了算法技术自身带有偏差，还有可能存在人为干预。例如，哪些信息被置顶，哪些话题被筛选，决定了信息是否可以成为社会热点或者转瞬即逝。其次，搜索公司在搜索排名中形成全面兼容的垄断，即搜索排名强化自身利益，通过隐性营销形式提升自我垄断地位，挤兑、排除竞争对手，将成为一个无所不包的巨型企业。最后，自动完形、纠错等便捷功能存在不妥和不公平的地方，因为它们致力于在数学、规则和事实的基础上，而不是在舆论、价值观和主观判断的基础上来组织和呈现信息（帕斯奎尔，2015：105）。人们对搜索结果的个性化设置，造成算法期待与真实呈现之间发生了严重偏离，搜索引擎对个体形成的“信息茧房”进行强化，形成“强者越强，弱者越弱”的马太效应。

（三）金融体系

金融旨在刺激实体经济繁荣，促进社会进步。现代社会金融体系的成熟程度在一定程度上反映了社会进步程度，世界各国都在加快各自金融体系的建设，不断融入世界金融体系。

但金融系统中存在的两个黑箱现象，即非法服务与不透明，给个人和社会造成了严重负面影响。“不透明性和复杂性……造成了欺诈和抬价现象，并最终使欺骗行为得到蔓延”（帕斯奎尔，2015：15）。通过调用资金和媒体优势来谋取私利，在决策领域，这些业内人物决定着社会利益，如低息贷款、保障就业和责任分配格局等。利用复杂的交易模型，狡猾的经纪人可以通过制造迷阵来隐藏交易风险。快如闪电的高频交易是低社会价值的，还会产生一系列无比复杂的金融衍生品，最终导致金融危机的发生频次和严重程度有增无减。而金融系统往往和社会医疗、福利有密切关系，其风险危及个人医疗卫生健康福利。金融与市场信誉评级机构配合，进行欺骗性销售行为。这种欺骗行为具有“系统性”特征，比如之前雷曼兄弟公司、安然公司，以及当前互联网金融公司的爆雷新闻，都有可能触发金融危机发生，最终影响一个国家的经济稳定和人们的生活秩序。

四、评论与讨论

（一）评论

1.富有启发意义，还缺乏清晰的解决路径

好的研究一般应富有启发意义或是“深刻的片面”的研究。《黑箱社会》的作者帕斯奎尔采用了第一种策略，这未必不是一件好事，而且也符合技术的特质——发展中的不确定性。从信息社会到智能社会再到元宇宙社会，以技术为中轴的社会形态划分，对如何处置数据的态度一直处在变动之中。如何对科技型企业进行监管，帕斯奎尔提出可以借鉴医疗卫生系统的做法，像保护公众身体健康一样进行个体数据的采集和使用。

2.讨论社会技术导致的黑箱多于技术自身导致的黑箱

“社会技术导致的黑箱”是指社会原因导致的社会黑箱化，比如专利、知识产权、复杂交易流程、隐私保护制度等；“技术自身导致的黑箱”则是指数字技术的不断创新迭代与复杂化不能被普通大众所理解而导致的社会黑箱化，比如复杂的代码、算法等。进而我们可以把帕斯奎尔笔下黑箱社会形成的原因分为社会黑箱和技术黑箱[③]，而以“数据#算法”逻辑为特征的智能社会则是混合的双重黑箱。社会黑箱是由于多样复杂的社会技术降低了公众接触与理解的范围，技术黑箱则是专业技术知识与普通公众之间的技术区隔，二者结合形成了相互强化的黑箱社会（浮婷，2020）。通过技术黑箱强化社会黑箱，以及二者的相互强化，社会阶层、贫富差距的再生产得以维持。

帕斯奎尔讨论黑箱社会的起点是社会技术，较少涉足技术自身导致的黑箱，这符合其作为法学家关注社会事实的专业取向。帕斯奎尔更多地是从社会技术出发讨论黑箱社会的形成机制，包括数据产生之初个体隐私权益的保护、搜索引擎的个性化设置、金融系统中的高频交易等。这导致作者在处理如何保障个人和社会利益、分配社会责任时，更多地是从社会技术层面规制数据采集、交易、使用的透明策略，而较少讨论社会黑箱和技术黑箱之间如何建立联系以及共同推进智能社会透明化的路径选择。

此外，作者对数据生成主体的个体能动性影响黑箱社会形成的讨论也存在不足。对个体来说，数据化生存也带来了一种“数字化人格”，或者称之为“数字画像”。有研究者将“数字化人格”定义为：“通过个人信息的收集和处理勾画一个在网络空间的个人形象——即凭借数字化信息而建立起来的人格。”（齐爱民，2012）当数据生成主体具有自我反省的意识时，数据生成主体会依靠行动的反身性主动重新建构自我画像。如果说对黑箱社会的深入拆解有助于相对透明社会的到来，那么出于各种目的的主动“深度伪造”则进一步加大了黑箱社会的不确定性（潘村秋，2022）。

3.社会技术规制数字技术促使智能社会向善

智能社会存在这样的悖论：人们越来越便捷地应用智能技术，却对这个社会越来越不理解，这种越来越不理解的黑箱社会隐藏着巨大的个人与社会风险。如何超越这样的悖论，帕斯奎尔的答案是从规制社会技术开始，拆解社会技术黑箱，建立公开披露制度、合法化、提供多元选择等，保护个人和社会权益并分配社会责任。《黑箱社会》从隐私保护制度谈起，又超越了简单的隐私保护制度。作者的讨论带有启发性质，对数据流动带来的负外部性保持警惕，逐渐从个体隐私保护话题延伸到数据政治话题。

（二）讨论

从亚里士多德“人是政治的动物”，到戴维·伊斯顿（D. Easton）“政治是对社会价值的权威分配”，政治的内涵在不断丰富。当下数据政治话题肇始于数据对政治的影响，随着讨论的深入开始转向如何规制数据及其衍生问题上来，涵盖数据生成主体的知情权、同意权、使用处置权等基本权利，以及数据收集、处理、传输、出售或使用等衍生问题（Ruppert, Isin & Bigo, 2017; Duarte & Alvarez, 2019）。从研究路径和视角来看，既有研究讨论数据政治一般遵循由外而内、由表及里的路径，即从数据外部性、数据使用的承诺问题与科技企业的深耕广拓之间的矛盾、数据引发的误判三个方面进行（Ruppert, Isin & Bigo, 2017; Liu, 2021; Koopman, 2022; Cruz, 2023）。

黑箱社会是社会技术和技术自身共同作用的产物，这两个方面与上述数据政治的三重分析维度组合形成了一个2×3的矩阵，由此可以更为直观地分析数据与算法之间内在逻辑的优先性（表1）。

表一 黑箱社会与数据政治的关系矩阵

数据外部性分为正外部性和负外部性，正外部性是智能社会带来的正向效应，这里不做讨论。本文讨论数据的负外部性，其由社会黑箱和技术黑箱所导致的后果构成。社会黑箱的负外部性是指数据流动以及不断的数据整合而造成的整合性隐私泄露，直接表现形式是数据生成主体以及数据流动过程中可能的衍生问题（顾理平，2019；2020）。研究数据负外部性的另一条线索是技术逻辑线索，表现为“数据#算法”逻辑，数据催生算法，算法作用于社会，由于数据搜集的不完备和有偏的数据标注以及算法自身的价值偏好导致数据的负外部性。社会黑箱和技术黑箱导致的负外部性看似相互独立，前者来自数据流动的社会规则不完备，后者来自数据自身的不完备生成的有偏算法，其实质是对数据生成主体的知情权、同意权、使用处置权等基本权利，以及数据收集、处理、传输、出售或使用等衍生问题，是数据政治的问题。基于此，以算法为中心的智能社会技术向善是以妥善解决数据政治问题为前置逻辑的。

数据使用的承诺问题是社会规范与技术创新之间的矛盾，与智能社会活力的大小密切相关（崔靖梓，2019；田新玲、黄芝晓，2014）。从某种程度上讲，数据和智能社会的关系更具根本性，数据无可避免的有偏采集和难以做到中立标注是各类算法被不断诟病的重要原因（刘友华，2019），抑或数据和算法本身就是一体两面的相互强化过程。若从还原论思路来理解未来带有黑箱特征的智能社会，那么对数据的讨论就具有根本性和优先性。科技企业的深耕广拓是算法技术创新的内在要求，这就与数据使用的社会性承诺产生了矛盾。技术性创新要求无所拘束，社会性承诺则要求创新主体承担相应的社会后果。在实践中，既要保证智能社会的活力，又要避免以算法为中心的技术创新黑箱化，因此对数据使用的社会性承诺具有相对于算法创新的优先性。

从公共决策安全的角度来看，不完备数据和伪造的数据参与算法生成，并进入智能社会的决策系统，不可避免地产生误判的情形，影响个人、社会乃至国家。产生误判的原因既有数据采集与算法本身无法避免的问题所导致的技术误判，也有基于社会主体的能动性“深度伪造”，即社会个体或组织有目的地生成数据，对其他个体或组织的决策进行干扰（曹建锋，2019；刘国柱，2022）。基于“深度伪造”的数据生成的算法，更为有偏，也更需要对数据进行政治化的讨论。

五、总结

文章对“黑箱社会”的形成区分了社会黑箱和技术黑箱两种路径，并讨论了社会黑箱和技术黑箱相互作用导致的双重黑箱。引入数据政治对社会黑箱和技术黑箱进行对比分析，阐明其内在关联，说明智能社会技术向善沿着“数据#算法”逻辑推进。在解决智能社会技术向善问题即算法引致的社会问题之前，需要更多地强调数据的政治维度。

另外，本文是在对《黑箱社会》内容进行整理和评价基础上完成的，并不代表书中内容全貌，全书自有其内在的逻辑自洽性。这里更多是在帕斯奎尔提出的黑箱社会基础上，与数据政治三重维度进行对比分析，揭示以“数据#算法”为特征的智能社会技术向善是以数据政治讨论为前置逻辑的。

参考文献

安晋城，2023，《算法透明层次论》，《法学研究》第2期。

曹建峰，2019，《深度伪造技术的法律挑战及应对》，《信息安全与通信保密》第10期。

陈鹏，2020，《治理的算法和算法的治理》，《观察与思考》第1期。

崔靖梓，2019，《算法歧视挑战下平等权保护的危机与应对》，《法律科学（西北政法大学学报）》第3期。

帕斯奎尔，弗兰克，2015，《黑箱社会：控制金钱和信息的数据法则》，赵亚男译，北京：中信出版集团。

浮婷，2020，《算法“黑箱”与算法责任机制研究》，中国社会科学院研究生院博士学位论文。

顾理平，2019，《无感伤害：大数据时代隐私侵权的新特点》，《新闻大学》第2期。

顾理平，2020，《整合型隐私：大数据时代隐私的新类型》，《南京社会科学》第4期。

郭春镇、勇琪，2023，《算法的程序正义》，《中国政法大学学报》第1期。

李安，2021，《算法影响评价——算法规制的制度创新》，《情报杂志》第3期。

李丹，2021，《算法歧视消费者——行为机制、损益界定与协同规制》，《上海财经大学学报》第2期。

齐爱民，2012，《私法视野下的信息》， 重庆：重庆大学出版社。

刘河庆、梁玉成，2023，《透视算法黑箱：数字平台的算法规制与信息推送异质性》，《社会学研究》第2期。

刘国柱，2022，《深度伪造与国家安全——基于总体国家安全观的视角》，《国际安全研究》第3期。

刘友华，2019，《算法偏见及其规制路径研究》，《法学杂志》第6期。

潘村秋，2022，《失控、黑箱与偏离——算法社会的“算法妨害”》，《新媒体研究》第15期。

戴森，乔治，2015，《图灵的大教堂：数字宇宙开启智能时代》，盛杨灿译，浙江：浙江人民出版社。

田鹏颖、谢岩，2006，《马克思的社会技术思想及其当代意义》，《东北大学学报》（社会科学版）第6期。

田新玲、黄芝晓，2014，《“公共数据开放”与“个人隐私保护”的悖论》，《新闻大学》第6期。

石琳娜，2023，《人工智能发展的风险与治理》，《郑州轻工业大学学报》（社会科学版）第2期。

王伯鲁，2017，《马克思社会技术思想解析》，《天津社会科学》第3期。