摘要: 算法歧视性后果的发生得以让人们重新定位算法并找寻新技术背景下人的尊严与价值。保障人的尊严从道德哲学的要求转变为法律体系的基础规范，蕴含着立宪者对人作为终极目的的肯认与推崇。人的尊严可以为抵制算法对人性的蚕食提供最高价值指引，并应进入到算法应用的正当性论证之中。过度依赖算法决策系统和将人数据化违背了人是目的这一道德哲学伦理要求，削弱了人的主体性，算法歧视缺乏对人的多样性的包容，背离了人的尊严的价值内核、价值目的和价值意蕴。治理算法歧视、规范算法的运用，应强调人的尊严的价值归依，要求把维护人的尊严作为科技发展的最高价值，强化国家对人的尊严的保障义务，制衡算法权力对人的尊严的侵蚀，在特定重大领域审慎使用算法决策系统。
关键词: 算法歧视；人的尊严；宪法价值；算法权力；平等权
智能算法的兴起、深度应用加速了人工智能时代的前进步伐。当阿尔法狗打败了世界围棋冠军时，人们在为技术喝彩的同时也在内心深处产生了隐忧。当智能算法广泛运用于各领域的自动化决策以后，人的主体性还如何得以保障？算法歧视就是在运用智能算法进行决策或辅助决策时产生了歧视的后果。当自动化决策造成了歧视性后果，如何理性地加以评价并提出可能的解决路径呢？这一系列的疑问并不是杞人忧天的疑虑，因为智能算法已经注入生活，有学者就将当前的社会称为算法社会（Algorithmic Society）。[1]例如，算法预测模型广泛地应用于个性化定价和推荐、信用评分、工作应聘的简历筛选、警察搜集潜在嫌疑人等诸多领域。随着大数据和算法的深入运用，算法正在定义人们的信用资质、能力资质、生活品质层次等诸多方面，并进而决定了人们能否获得贷款、能否找到心仪的工作以及接受服务和购买商品的价格范围，等等，甚至可能还运用在刑事司法系统中，用以评估犯罪嫌疑人再犯的可能性，进而决定其能否获得假释或影响量刑。[2]
当算法在定义人的品行、资质时，或当算法在勾勒人的形象之时，算法已经和宪法发生勾连。在算法系统中，每个个体都被转化为可计算的数据，相对于大数据而言，个体的数据是微不足道的，而在宪法面前，每个个体的权利保护又都是不可忽略的。正因为如此，当算法技术深度嵌入人类生活之时，算法歧视性后果的发生提醒人们有必要认真审视算法技术应用对宪法价值的冲击，重塑人的尊严的宪法价值内涵，检讨算法歧视对人的尊严的价值背离，并在算法歧视治理路径中强调人的尊严的价值，提防技术对人的统治。
一、算法歧视对人的价值的冲击
不可否认，智能算法的运用有着无可比拟的优势，立足于大数据之上，算法通过对海量数据样本的全盘分析可能得以窥探事物的全貌，避免人类因有限的观察体验而产生的局限性，可以更为准确地反映客观世界，并尽力排除人的主观因素的影响，由此作出更为科学的判断。然而，事实却告诉人们寄希望于新兴技术去克服人性的弱点并去解决人类社会存在已久的问题的想法未免过于天真。有学者便一针见血地指出，“算法社会并不是理想的社会”，算法社会只能使人的智性过度发展，从而使人丧失人性中更为宝贵和自然的组成部分，如心性和灵性。科技乌托邦并不是人类的未来。[3]还有学者认为，算法不具备内在观点与自主意识，人类社会的运作过分依赖算法，可能会产生现在尚无法清楚预估的高复杂度系统风险。[4]算法歧视性后果的发生便是值得警惕的社会风险。算法歧视冲击着宪法中奠定的人的价值。首先，算法歧视挑战了平等原则，阻碍了人人平等的社会理想的实现。其次，面向过去的算法决策逻辑的局限性有固化社会不公之虞。最后，从根源上看，算法歧视的普遍发生，背后乃是算法权力的兴起与异化，放任算法技术的应用将会减损人的价值。
（一）算法歧视挑战平等原则
2016年5月，美国白宫发布了《大数据报告：算法系统、机会和公民权利》，这是美国继2014年、2015年奥巴马政府两次大数据白皮书之后的第三次报告。报告考察了大数据在信贷、就业、高等教育、刑事司法等四个领域运用所存在的问题、机遇与挑战。报告指出，仅因为算法是数据驱动的就认为算法是客观的，实乃美丽的误会。该报告将算法的歧视性因素分为两大类，即输入算法的数据资质和算法自身的工作机制。[5]2018年4月16日，英国议会下属的人工智能特别委员会发布长达180页的报告《英国人工智能发展的计划、能力与志向》，其中包括22份口头证据和223份书面证据。其指出，已有证据表明，训练数据、数据处理、算法设计者的因素都可能导致算法歧视。[6]国内外不少相关研究报告指出，算法在诸多领域的运用中产生了歧视性后果，常见的表现形式有价格歧视、就业歧视、信用歧视。[7]也有学者根据算法歧视的表现形态，将算法歧视分为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟等三种基本形态。[8]就某种程度上而言，算法歧视的发生是普遍的，挑战着宪法规定的平等原则。第一，在算法运作过程中，歧视性因素便可能通过多种途径嵌入算法，算法决策所依据的数据输入本身可能并不客观甚至已包含着歧视。此外，算法设计者的偏见也是导致算法歧视的重要原因。算法系统设计师凭借经验来决定哪些数据对于决策是重要的、哪些是不重要的，这种草率选择的数据或许会产生结果偏差。[9]当算法被描绘成合理、客观的决策工具却隐含着歧视时，受算法决策影响的对象群体将更难以获得权利救济。第二，算法设计的目标往往是利益驱动的，因此算法设计本身就暗含着效率最大化的原则，从而抛弃了诸如公平之类的重要价值，这对于弱势群体可能十分不利。第三，由于统计固化效应以及信息相互印证，算法模型在应用阶段会扩大歧视性效应。第四，算法黑箱使得算法歧视变得隐秘而难以觉察，产生了歧视识别危机，[10]这就对平等权的实现设置了难以逾越的技术鸿沟。
（二）算法决策逻辑的局限性有固化社会不公之虞
值得注意的是，算法决策逻辑的局限性本身便隐含着歧视的危险。即便算法的运作过程没有被注入歧视性因素，算法模型的应用仍有可能产生歧视性后果。英国议会下属委员会的报告《英国人工智能发展的计划、能力与志向》指出，如果数据库准确地反映了社会中不公平的一面，同样可能产生歧视。[11]这是因为人类社会本身就存在歧视，如果算法中的数据准确映射了社会客观现实，仍然会产生歧视。数据偏差或者算法设计师的因素是导致算法歧视的表面原因，深层原因在于算法“预测”的性质，通过对过去来预测未来才是导致问题的根源，在一个种族分层的社会中，算法模型预测的结果势必是种族不平等。[12]算法系统的运作机制是从大量行为主体的历史实然行为向应然规范转变，这也会引发疑问（为何过去应当决定未来）。[13]归根结底，算法决策运用的是归纳的逻辑方法，是对历史经验的提炼并总结出一定的规律。然而，归纳的逻辑本身就可能存在偏差，它试图将事实上升为规范，挑战了传统的“规范—事实”的二分法则。这其中蕴藏着社会系统风险，因为算法模型是对既存社会现实的肯认，并排斥规范对现实的改造作用。算法预测模型表面上是面向未来的，实质上是面向过去的。人类社会的发展不应拘泥于人类社会过往的状态，否则，那将使得人永远沉浸在过去的漩涡中而难以自拔。企图利用过去来定义未来的算法决策逻辑背离了超验的伦理价值，缺乏对社会实在的批判性精神，最终可能会构成对人的灵性的消磨以及对人类社会发展的束缚。
（三）算法权力的异化有减损人的价值之虞
算法歧视的发生并不是偶发的个案，背后是算法决策应用的系统性风险，从根源上而言，是作为新兴技术力量的算法要求改写既有的权力配置格局所引发的。算法基于海量数据运算配置社会资源，直接作为行为规范影响人的行为，辅助甚至取代公权力决策，从而发展为一支新兴的技术权力。所谓的算法权力，并不纯粹是技术权力，其背后潜藏着控制算法设计和研发过程的资本的权力，[14]技术权力只是其表征。资本驱动下的算法权力倘若缺少必要的规制，势必倾向于将利益置于人的价值的之上。更值得注意的是，算法决策在公权力领域的运用表明算法权力嵌入了传统公权力的运行，这可能使技术和权力产生合谋而存在权力滥用的风险。并且，算法权力可能会使既有的权力制约机制在一定程度上失灵。在公共权力的长期运作过程中，算法的“技术合理性”又使其蒙上了可以巧妙避开民主监督的面纱。[15]算法对公权力领域的介入挑战了传统的权力专属原则和正当程序原则，难以对其实施有效的权力控制，而失范的权力最终必将导致个体权利的减损。算法歧视便是算法权力的崛起和异化所表现出来的对个体的基本权利和人的价值的漠视。在技术权力裹挟公权力的新兴权力格局中，人们将愈发失去抵制能力，大部分的“技术文盲”只能沦为技术与权力双重压制的“鱼肉”。
算法权力的兴起和异化显然已经折射出技术存在的风险与非理性，而目前规制算法的具体法律规则付之阙如，放任算法技术的发展很可能将人类社会导向令人惴惴不安的境地。虽然智能算法有着人类无法想象的计算能力和速度，但这并不意味着算法超出人类的理解范畴，更不意味着人类对此没有充分的规制能力。作为人类文明发展到一定阶段的产物，宪法在法律体系中被认为是高级法，融入了超验的伦理价值，具有最高的法律效力，承担着对其他制定法的评价、对民主主义的适当纠偏的功能。从本质上而言，宪法凝聚了社会共同体的价值共识，这些价值构成了对社会实在的批判规范，避免人们迷失在复杂人性的泥沼中，从而保障人类生活在自由、幸福、有尊严的环境中，让人类的生活更加安定，不再恐惧，不再焦虑。[16]正是因为宪法具有不可替代的作用，具有对人类生活的价值导引作用，面对算法权力的异军突起，宪法或许可以提供必要的价值调适通道。算法歧视性后果的发生得以让人们重新定位算法并找寻新技术背景下人的尊严与价值。人之尊严作为公共信念的核心内容进入法律，为整个宪法秩序提供形而上学的基础。[17]保障人的尊严从道德哲学的要求转变为法律体系的基础规范，蕴含着立宪者对人作为终极目的的肯认与推崇。
二、作为宪法价值的人的尊严
拉德布鲁赫在题为《法律中的人》的演讲中指出：“对于一个法律时代的风格而言，重要的莫过于对人的看法，它决定着法律的方向。”[18]当今社会正逐步进入人工智能时代，当智能算法在定义人并进而作出决策的时候，如果对人的形象没有清醒的认知，人的价值将会被弱化。因此，有必要重塑人的尊严的价值内涵，规范算法应用的价值取向。
（一）“人的尊严”争议背后的价值共识
有学者对联合国193个会员国宪法文本作了分析，发现“人的尊严”入宪的有143个国家。[19]然而，“人的尊严”入宪并没有使尊严的概念得到厘清，相反地，关于“人的尊严”的相关争议不断便表明对其内涵没有形成共识。“人之尊严”是一个极具争议的概念，任何人或组织打算使用“人之尊严”，都必然要担负起为其划定一个适当边界的任务。[20]在我国学界，尊严是指人的尊严还是人格尊严抑或是人性尊严，三者能否等同，尊严究竟来自人还是人格抑或是人性等问题引发了广泛的探讨。[21]有学者认为，无论在日常语言表达还是书面语言表达抑或专业领域表达中，人格尊严、人性尊严与人的尊严是通用的。[22]尊严概念的冗余性、空洞性、内涵难以确定性造成了尊严叙事的尴尬境地。[23]尊严的价值论证的模糊性也是引起实践争议的原因。例如，德国航空安全法案规定，当飞机用来威胁人之生命，军队可以动用武器来防范特别严重的不幸事件的发生，这就在保存飞机上无辜乘客的生命与拯救其他人的生命之间作出了选择。于是，有人向宪法法院提起宪法诉愿，认为该规定侵犯了《德国基本法》规定的人的尊严和生命权，要求审查该法案的合宪性。[24]人的尊严的价值论证究竟如何在不同人之间作出权衡呢？可以肯定的是，一旦作出权衡，很可能就背离了“尊严”的规定性。
事实上，关于尊严的学术争议并不在于否定尊严的重要性，而是在承认尊严的重要性的基础上而展开技术性的探讨。保障人的尊严已成为现代文明社会的共识，也是宪法的价值所在。作为宪法价值的尊严是每个现代法治体系的必然内涵。[25]许多论者都将人的尊严视为凯尔森规范体系中的基础规范。[26]人的尊严确定人拥有自由和权利的根据，塑造人与人之间平等的关系尺度，因而可以作为现代法律的基础规范。[27]人的尊严是每个人的共同体资格的担保，也是共同体的根本法。在法律秩序中，人之尊严既是具有绝对性的宪法价值，也是一种具有相对性的宪法权利。[28]正因为人的尊严具有丰富的价值指引，并兼有宪法权利的内涵，所以在实践场景中容易引发争论。作为全人类最高价值的人的尊严与体现在基本权利中的人的尊严实乃两个不同的面向。人的尊严引发的争议还源于人的复杂性，宪法上的尊严具有多种价值基础，这并不是价值世界的混乱，相反，这是一种价值宽容，它根源于人类生活、实践与理解的多样性，展现出“可能生活”的道德深度。[29]人的尊严不可侵犯原则不仅是宪法基本权利规范体系之出发点，同时构成宪法限权规范及宪法整体制度体系的基础性价值原理，进而构成一国整体法律规范体系的基础性价值原理。[30]那么，人的尊严究竟具有怎样的价值内涵，何以能够为算法技术的应用提供价值指引呢？对此有必要重塑人的尊严的价值内涵。
（二）重塑“人的尊严”的价值内涵
人是目的构成了人的尊严的价值内核，奠定了以宪法为根基的法律体系的道德哲学基石。从这一基石出发，导出人的主体性地位这一价值目的，要求法律体系维护人的主体性地位，禁止将人作为客体对待。承认了人的主体性，就应包容不同个体的独特性，进而尊重人的多元性，禁止歧视，这便是人的尊严的价值意蕴所在。
第一，人的尊严的价值内核在于强调人本身就是目的，其构成了宪法的最高价值。这一来源于康德哲学的叙事奠定了战后国际社会法治秩序的基调。这关系到人如何认识自己、如何认识人的整体以及人与其他人的关系等问题，进一步而言，还涉及个体与共同体所组建的国家之间的关系。宪法正是从人的不可替代性出发，才在国家与人的关系上确立了公民的人格尊严。[31]只要有人的存在，人就是永恒的话题。《德国基本法》第79条第3款将人的尊严规定为不可修改的永恒条款，人是目的这一命题应该始终贯穿于人类社会的历史之中，成为人类社会秩序永恒的最高典范，不因任何情形的发生而被改变，维护人的尊严应是所有人类社会的最高原则，是永远的使命。正是基于对纳粹统治时期人权备受践踏的惨痛历史的深刻反思，天赋人权的思想并不足以保障世俗社会中的人权，于是，《德国基本法》在人权规范体系中导入了“人的尊严”，并将其视为宪法秩序的最高价值。
第二，人的尊严的价值目的在于保障人的主体性地位。“人性尊严的基础在于自治”，在于每个人可以不受干涉地、按照客观的道德实践法则来行动。[32]这意味着不允许人被当作客体、被物化，更不允许人受到非人的对待。尊严的内在价值性被界定为人的不可侵犯性（inviolability），以及附属于该属性的辅助性价值内涵和限制因素。[33]人格尊严的目的，在于保护公民作为具有独立自由意志的主体而享有的、得到尊重的权利。[34]保障人的主体性地位，不只是强调抽象意义的人或者是人类整体，更是直指一个个独立的个体应受尊重的权利。如日本《宪法》第13条规定“一切国民都作为个人受到尊重”；其第24条对婚姻自由、平等权利的规定中也强调“尊重个人尊严”。
第三，人的尊严的价值意蕴在于尊重人的多样性，包容每个个体的独特性，禁止歧视。“免于歧视”意味着尊严强调人在道德理性上的平等，同样有自由发展人格的资格与潜能。[35]人的尊严强调人仅仅因为是人就应当受到尊重，尽管每个个体的情况千差万别，但不因个体的独特性而排斥其享有人的尊严。对尊严的理解要想达到新的共识，必须建立在感同身受、努力理解他人的生活与道德判断的基础上，人类对彼此的生活应该有宽容精神与同情心。[36]这要求社会应该包容人的多样性，不应利用社会的压倒性认知作为对少数群体区别对待的理由。承认和保护人的多样性，在人与人之间构建和谐共处、求同存异的社会关系，最终也会扩展人发展的空间和人类社会的多重可能性。
三、算法歧视对人的尊严的价值背离
算法歧视的普遍发生，与算法运作过程嵌入歧视性因素息息相关，但值得深思的是，决策者未能充分意识到算法决策逻辑的局限性，盲目的技术崇拜或利益驱动致使对算法决策的使用缺乏必要的评估、足够充分的论证，试图借助新兴技术工具为权力不当行使进行巧妙包装。有学者质疑，所谓的“智慧法院”和“智慧城市”是否是一种虚假的繁荣，其背后渗透着工具主义、实用主义，[37]而很可能忽略了对人的价值的必要省思。从人的尊严的价值审视，算法歧视涉嫌对人进行了物化，削弱了人的主体性地位，排斥了人与社会发展的多样性，背离了人的尊严的价值内核、价值目的和价值意蕴。
（一）算法歧视对人的物化有悖人是目的的伦理要求
效益最大化导向的算法目标设定可能忽视了人是终极目的这一命题，背离了人的尊严的价值内核。算法决策系统的功能实现是依靠对表征人的属性的数据的收集和分析来完成的。“算法时代人的物化是依靠数据化形成的。人与人之间的关系转化为数据与数据之间的关系，而数据成为了新的规范。同时，数据也在逐步吞噬人类认知的个性，人最终会被自己创造出来的数据统治。”[38]当然，这种观点夸大了算法技术对人的物化，忽略了人的主观能动性，难免显得偏激。不过，它却指出了一个不争的事实，算法始终是不会把人当人的，在算法系统里，只有数据，并没有人的存在，更没有对人的尊严的价值判断。然而，设计算法的人是有价值判断的，决定运用算法进行决策或辅助决策的人也是有价值判断的。算法歧视的发生，很大程度上缘于算法设计者、有关决策者有意无意地放纵算法技术的运用，试图利用大数据的客观性、科学性来“美化”算法技术的作用。在算法决策系统中，统计学意义上的边缘群体在大数据中微不足道，现实社会的歧视也会反映到数据中。如果算法设计者、决策者片面追求算法的效益，对算法可能的歧视嵌入要素视而不见，算法歧视后果的发生也就不足为奇了。决策依赖算法，算法依赖数据，数据一定程度上是对人物化的结果，过度依赖算法决策、忽略人性的多元复杂性势必会减损人的尊严的价值。
（二）算法歧视削弱了人的主体性地位
人不是数据，更不是电子痕迹的汇总，但技术正在使数据得到处理和整合，形成各种各样的自动化区分、评分、排序和决策，这些活动反过来使人们的“真实自我”在社会层面变得无关紧要。[39]过度依赖算法系统决策及歧视性后果的发生削弱了人的主体性地位，背离了人的尊严的价值目的。使用算法同时缺乏应有的规制，可能会形成人对算法的过度依赖。它一方面削弱了决策者的主体性地位，另一方面也削弱了受算法决策约束的对象群体的主体性地位。据研究，算法决策系统使用“超级推理”，能够以微妙而有效的方式塑造用户的感受和行为，破坏个人的独立判断力。行政决策中人类形式上的参与无法掩盖算法作出实质决策的真相。人类极易受到“自动化偏见”的影响，即使认识到可能另有选择，其也更倾向于服从计算机的判断。当运用算法决策或辅助决策时，技术的壁垒使得人类决策者屈服于技术输出结果。算法治理（Algorithmic governmentality）是不允许主体性处理（subjectivation processes）的。[40]虽然它让决策的效率和科学性提高了，但并不意味着算法就不会犯错，相反地，算法因为隔绝了人性而可能使得作出的决策不符合人的价值判断。当运用算法决策和辅助决策时，算法越是去人性化以及脱离人的把控，就越要注意算法可能会造成歧视性后果。因为，在算法决策逻辑中，算法侧重的是相关性的分析，而不是因果性，这就很可能产生错误的勾连和判断。过分依赖算法，显然已经在侵蚀人类决策者的主体性。对于受算法决策约束的对象群体而言，主体性地位的削弱也是在所难免的。算法权力并不把人们当成“主体”来对待，而是作为可计算、可预测、可控制的客体。算法决策系统依赖于历史数据形成的对象群体归类，为新输入的对象自动匹配算法身份，进而作出决策。在算法决策的黑箱中，一般的对象群体对于算法决策的原理、事实根据、理由均不得而知，只能被动地接受算法决策的后果。将人简化为数据很可能忽略了人的复杂性，存在歧视的可能，而对象群体很可能并不知晓歧视性后果的发生。隐秘的算法决策在技术精英和技术文盲之间筑起了坚实的数字鸿沟，作为弱势方的对象群体在强大的算法权力面前显得尤其渺小和卑微，更无力作出对抗，其主体性已经明显受到削弱。
（三）算法歧视排斥了人与社会发展的多样性
算法歧视性后果的发生，从根本上排斥了人与社会发展的多样性，缺乏必要的包容，背离了人的尊严的价值意蕴。尊严的核心在于它是一种不受支配的内在价值，这种价值必然需要得到他人的尊重才能实现，这就意味着“自己的生活不受歧视”和“自己的生活不受冒犯”，前者属于尊严暗含的平等价值。[41]平等是人的尊严的题中应有之义。“任何人都具有人格的尊严，在自由人格的形成这一点上必须享有平等的权利。”[42]算法歧视性后果的发生显然已触犯平等的原则。平等并不是简单的均等，也不是不允许差别对待，其关键要义在于禁止不合理的差别对待。算法歧视实质上就是缺乏正当性基础的差别对待。从平等的原理来看，它包括形式平等和实质平等，形式平等是平等的一般原理，重在保障机会均等，实质平等则是对形式平等的修正，起补充性的作用。只有当形式平等的实施可能会造成明显的实质不公平时才需要修正，才可以对不同权利主体进行差别对待。具体到算法决策系统的运用场景中，应当注意以下两个问题。首先，要强调的应该是形式平等的实施。形式平等要求支撑算法决策的数据收集和分析是不存在偏差的，但实际上困难重重。除了算法的数据收集可能不全面、不完整或存在错误外，算法本身也并非纯粹客观的数据处理手段，其存在诸多不透明的因素。这些介于明言与暗含之间的因素凝聚着日常生活与社会生活的微观政治结构，并不可避免地负载了复杂的利益分配、价值取向和权力格局。[43]很多算法的设计都隐含了歧视与不公，有的算法则更是隐藏了利益集团的操控。[44]因此，缺乏规制的算法决策，忽视了形式平等的基本原理，造成歧视也就不足为奇了。此外，还有些算法规则的设计直接以个别化的方式来建构，这与平等的一般原理明显相悖，缺乏正当性基础，如大数据杀熟中的“价格歧视”恰恰是针对“特定”和“个别”的主体进行特殊调整。[45]其次，从实质平等的角度来看，算法歧视也可能是由于准确地反映了业已存在的社会歧视现象，但又没有进行人为干预，任由歧视性结果的发生。总之，不论是缺乏正当性基础的区别对待，还是对歧视的社会现实的映射，算法歧视都是在否定人发展的多样性，缺乏对多元社会价值的包容，使得遭受算法歧视的个体权利受到限制，人格无法得到应有的尊重。
四、治理算法歧视的路径依赖：实现人的尊严的价值皈依
算法歧视的发生，从根本上来说，相对于技术因素而言，人的因素更甚，这就为规范算法的应用提供了可能，为防范算法歧视，落脚点仍应是规制算法设计者和决策者。当前的人工智能的发展并未超脱法律的基本规制框架，所谓的算法歧视问题也是如此，其最核心的问题仍是为什么要用算法决策的元问题，即运用算法决策的正当性问题。如果算法决策的运用通过了正当性基础的检验，那么接下来的问题就是怎么用，也就是技术上的规制了。这两个问题归结起来，仍是回归到人的价值的轨道上来解决的问题。技术的超速发展产生的技术崇拜使人迷失了本性，忽略了人的价值，矫正的首要路径便是要强调人的尊严的价值皈依。
（一）将人的尊严作为科技发展的最高价值
尊严不只是一个抽象空洞的原则性指引，而应是一个进入法律推理之中并影响公共决策的实质价值。新兴科技能够被纳入以尊严为中心的价值评判体现之中。就人工智能而言，尊严构成了技术实践的制约性伦理要素。[46]2019年4月8日，欧盟委员会AI高级专家组（High-Level Expert Group on Artificial Intelligence, AI HLEG）制定并发布了《可信AI的伦理指南》，其中将人的尊严作为人工智能发展的核心价值，提出了可信AI的七项原则，其中包括人工智能不应该践踏人类的自主性，人们不应该被AI系统操纵或胁迫，并且，人类应该能够干预或监督软件做出的每一个决定。人工智能提供的服务应平等地面向所有人，不应该存在偏见。德国交通部部长任命的伦理委员会曾尝试制定算法设计者的伦理法则，核心内容就是把人的生命放在首位。并且，诸如伤害一个人以避免对更多人的伤害这样的伦理难题不能通过事先编程来处理，系统必须被设定为出现这种情况下请求人工处理。[47]
缺乏价值指引的技术发展势必会背离实现对人的关怀这一终极目的。人才是技术的主宰，而不是相反。算法经常披着自动化决策的外衣，给人以不可规制的假象，其实算法都是根据人的意志设计的，留有一些可调参数可以被规制和引导。[48]有研究指出，发展歧视感知的机器学习和数据挖掘（Discrimination-aware machine learning and data mining）是可能的。在模型构建过程中，可以通过嵌入特定程序来构建限制歧视的算法模型。在训练算法和感知歧视时，受保护的个人信息的输入有助于机器学习算法感知歧视，只要是最终的算法模型运用于决策过程中排除受保护的个人信息即可。[49]
（二）强化法治国的保障义务
既然人的尊严是法律秩序的基石，是最高的宪法价值，那么国家理应承担起维护人的尊严的责任。法治国是保障人之尊严、实现基本权利最主要的责任人和义务方。《德国基本法》第1条便明确了尊重及保护人的尊严是所有国家机关之义务。从德国法的理论来看，作为基本权利之价值核心的人的尊严，应具有客观价值秩序和主观权利的双重属性。德国学者考玛斯（Donald Kommers）指出：“法院和评注学者都把人格尊严归结为客观和主观权利：客观的意义是对国家施加正向责任，去建立对实现人格所必须的条件；主观的意义是禁止国家对个人的负向自由进行任何直接干预。”[50]在算法权力崛起并有异化之倾向时，个人权利显得尤为渺小，以宪法为基本框架的法治秩序理应予以调和，从维护人的尊严出发，强化国家的积极作为。消极权利和积极权利的划分固然有一定的意义，然而，消极权利也并不意味着国家没有积极作为的义务。并且，随着社会的深度发展，国家与公民之间的基本关系也在不断地发生变化和调整，简单的模型分析无法适应当下的复杂社会需求。与以往任何时代相比，法治国家需要承担更为复杂的社会系统整合功能，在民主日渐衰微和扭曲甚至备受怀疑、极端势力虎视眈眈、新兴科技侵蚀人性的多重挑战下，社会撕裂的速度甚至赶超国家整合的步调。在复杂角色要求的交织下，公民、社会与国家之间的互动也会对国家责任的妥适承担提出多元化的诉求。如果离开了人的尊严的价值指引，国家责任的承担可能会因多重角色的混同而模糊不清。对于人的尊严的保障而言，国家既要将尊重人的尊严作为公权力行使的目的和底线要求，防范传统公权力过度干预人的尊严，也要积极采取措施去促进有关人的尊严的公民权利的实现，更要回应风险社会下提出的新兴治理要求，防范技术权力对人的尊严的不当减损。国家对人的尊严的保障，既有消极层面的保障义务，也不应忽略积极层面的责任承担。就算法歧视的治理而言，国家应积极通过立法等多种方式去规制算法歧视，鼓励、推动行业形成相关自律治理规则，鼓励开发识别、检验算法歧视的系统，公权力运用算法决策或辅助决策应通过平等权和正当程序的合宪性检验。2019年10月8日，文化和旅游部公示了《在线旅游经营服务管理暂行规定（征求意见稿）》，其规定，在线旅游经营者不得利用大数据等技术手段，针对不同消费特征的旅游者，对同一产品或服务在相同条件下设置差异化的价格，利用大数据杀熟的价格歧视将面临最高五十万元的处罚。[51]这便是国家对算法歧视进行立法规制的有益尝试，随着算法系统的广泛应用，立法规制的条文也将会逐步丰富和完善。
（三）适度规制算法权力
信息技术革命带来了新的权力形态，导致了“算力即权力”的新现象，同时也使传统上的用来抗衡国家权力的公民权利面对更隐蔽、更无所不在、更多元化的权力技术的侵蚀。算法权力从不同层面嵌入公权力的运行，借助架构优势搭建监管体系，甚至在某些领域成为独立的决策者而取代公权力，并与公权力合谋形成权力滥用。在国家权力面前已经足够渺小的平等权根本无法应对这种迭加的双重权力的压制。[52]当技术发展越是超乎人们的想象，越要缩限其运用的边界，因为超乎想象的发展步伐意味着人类社会的既有规制框架发生了明显的滞后性，缺乏人类价值指引的技术，很可能会成为对抗人的恶的力量，很可能存在削弱人的主体性的风险，损害作为最高价值的人的尊严。所谓的技术作恶并不是想象，而是存在于人们普遍的生活。凯西·奥尼尔直言算法是一种毁灭性武器，[53]姑且不论这一判断是否过于偏激，但是对技术运用的风险及非理性是需要适度规制的。如何避免人成为客体，避免人受算法主宰，便需要正视人的主体性地位，强化对算法运用的规制。有研究指出，以美国为代表的算法治理方式愈来愈强调算法决策的透明度原则，要求算法决策者和使用者披露算法决策的具体过程，并试图设计一系列事前检测、验证以及事后审查的制度，其目的主要在于通过这些制度措施尽可能地平衡算法精英与普通个人之间的“数字鸿沟”，消除技术劣势一方对优势方的依附性，矫正算法自动化决策过程中出现的权利失衡。[54]平衡算法权力与公共权力及个人权利的力量对比关系，有助于规制算法权力。一方面，应适度增强个人权利的配置，尤其是注重个人数据权利（包括被遗忘权、数据可携带权等新兴权利的保护），赋予算法解释请求权，为个人对抗算法权力提供必要的救济通道。另一方面，也要提防公权力与算法权力的合谋，公权力运用算法决策应通过审慎的考量并接受必要的监督。当然，对算法权力的规制也不可矫枉过正，而应基于必要的限度，法律也不可越界，过多地为技术发展创设义务是不恰当的，并且，应鼓励从技术层面去提出解决问题的方案，从而促进技术的良性发展。
（四）特定重大领域应慎重应用算法决策系统
鉴于算法决策系统的运用可能存在歧视性等风险，对于特定重大领域应用算法决策或辅助决策应慎重考量。特定重大领域往往关系到公民重大切身利益，草率使用算法决策系统可能会侵犯公民的基本权利，减损人的尊严。放眼世界，各国对于算法决策系统的使用是持审慎态度的。欧盟《一般数据保护条例》（GDPR）第22条便对自动化决策加以限制，如果某种包括数据画像在内的自动化决策会对数据主体产生法律效力或对其造成类似的重大影响，数据主体就有权不受上述决策的限制。旧金山市政府在2019年5月14日通过《停止秘密监视条例》，禁止当地政府部门如警察局、治安办公室、交管部门使用人脸识别。因为这些部门往往会根据算法软件所设置的“坏人”特征来识别不法行为者，并对其逮捕或指控，这会加剧种族不平等。[55]针对算法决策系统可能引发美国社会的种族歧视，学者提出了三种解决方案：第一，在数据输入阶段清除种族以及与种族要素相关联的数据；第二，推行算法肯定性行动（algorithmic affirmative action），矫正算法预测的歧视性结果；第三，如果算法不能做到种族中立，那么刑事司法系统应拒绝使用算法预测模型。[56]在State v. Loomis案中，被告人卢姆斯认为法院使用COMPAS算法模型量刑违反了正当程序原则，其决策的准确性、透明性都有待检讨，遂提出异议。威斯康辛州最高法院虽然认为使用COMPAS系统并不违反宪法中的正当程序原则，但也对法院使用算法系统辅助量刑裁判作出了限制和警示：必须确保有资源、有能力维护量刑工具并监控其持续准确性。[57]既有的证据显示算法可能存在歧视，因此在特定重大领域运用算法决策时，应经过充分的论证，允许自动化决策的例外，赋予公民有不受自动化决策的选择权，还应提高公权力领域算法运行的正当程序要求，对于司法活动运用算法决策应作严格规定，并建立相应问责机制。问责机制旨在明晰问责主体、问责范围和问责标准，从而规范公权力使用算法决策或辅助决策。
五、余 论
尽管智能算法展现出了人类的高超能力，但宪法学的根本使命并不在于赞美科技的绝妙之处，而在于指出其对于人的权利的侵犯可能性并加以防范，哪怕这种侵犯只有微小的可能。正是人的独特的价值指引着人们去追寻真善美的生活，去提醒人们在世俗的社会规则之上，还有头顶上的星空和内心的道德律。虽然智能算法完全代替人类决策并未成为现实，但已显示出其在人类决策中扮演着不可忽略的角色，算法歧视也已成为社会普遍关注的问题，因此，规范算法的运用是不容小觑的重要课题。只有跳脱出技术崇拜，充分意识到技术运用的非理性，在以维护人的尊严为核心的价值导向下去构建和完善算法运用的规制路径，算法技术的运用方能契合人类心性的发展。文明既是人类力量的不断完善发展，也是人类对外在的物质世界和内在本性的最大限度的控制。对技术运用的规制归根结底是对人的内在本性的克制。正如凯西·奥尼尔所言，对算法模型的掌控最终取决于我们自己。[58]相信人类有充分的智慧去探索未知，更有足够的智慧去控制人的内在本性。
注释:
[1]算法社会（Algorithmic Society）是Jack M. Balkin提出的概念。其意指算法（人工智能或机器人）不仅制定与社会经济相关的决定，而且该决策的落实也是由算法完成的，机器人与人工智能的使用只是算法社会的一个实例而已。参见刘友华：《算法偏见及其规制路径研究》，载《法学杂志》2019年第6期。
[2]Indrē ?liobaitē, A survey on measuring indirect discrimination in machine learning, arXiv preprint arXiv:1511.00148.2015/10/31.
[3]参见於兴中：《算法社会与人的秉性》，载《中国法律评论》2018年第2期。
[4]参见颜厥安：《人之苦难，机器恩典必然看顾安慰：人工智慧、心灵与算法社会》，载《政治与社会哲学评论》（台北）总第66期（2018年）。
[5]See Executive Office of the President, Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights, May 2016, P.7.
[6]HOUSE OF LORDS of UK , Select Committee on Artificial Intelligence Report of Session 2017-19. AI in the UK- ready, willing and able, 16 April 2018, P.41.
[7]参见杨成越、罗先觉：《算法歧视的综合治理初探》，载《科学与社会》2018年第4期。
[8]参见郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查——以美国法律实践为例》，载《比较法研究》2019年第4期。
[9]Executive Office of the President, Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights, May 2016, P.7.
[10]参见崔靖梓：《算法歧视挑战下平等权保护的危机与应对》，载《法律科学》2019年第3期。
[11]HOUSE OF LORDS of UK, Select Committee on Artificial Intelligence Report of Session 2017-19. AI in the UK- ready, willing and able, 16 April 2018, P.41.
[12]Sandra G. Mayson, Bias In, Bias Out, 128 Yale Law Journal 2218(2019).
[13]参见胡凌：《数字社会权力的来源：评分、算法与规范的再生产》，载《交大法学》2019年第1期。
[14]参见陈鹏：《算法的权力：应用与规制》，载《浙江社会科学》2019年第4期。
[15]参见张爱军、首航：《算法：一种新的权力形态》，载《治理现代化研究》2020年第1期。
[16]参见韩大元：《当代科技发展的宪法界限》，载《法治现代化研究》2018年第5期。
[17]王晖：《人之尊严的理念与制度化》，载《中国法学》2014年第4期。
[18][德]古斯塔夫·拉德布鲁赫：《法律智慧警句集》，舒国滢译，中国法制出版社2001年，第141页。
[19]齐延平：《“人的尊严”是<世界人权宣言>的基础规范》，载《现代法学》2018年第5期。
[20]参见王晖：《人之尊严的理念与制度化》，载《中国法学》2014年第4期。
[21]参见王锴：《论宪法上的一般人格权及其对民法的影响》，载《中国法学》2017年第3期；李海平：《宪法上人的尊严的规范分析》，载《当代法学》2011年第6期；林来梵：《人的尊严与人格尊严——兼论中国宪法第38条的解释方案》，载《浙江社会科学》2008年第3期；刘志刚：《人的尊严的宪法意义》，载《中国法学》2007年第1期。
[22]参见前注[19]，齐延平文。
[23]参见郑玉双：《人的尊严的价值证成与法理构造》，载《比较法研究》2019年第5期。
[24]参见张翔主编：《德国宪法案例选释（第1辑）：基本权利总论》，法律出版社2012年版，第237-240页。
[25]参见张龑：《人之尊严：世俗化时代的法权基础》，载《中国人民大学学报》2019年第5期。
[26]有学者认为：“人的尊严可以视同为凯尔森所言的基础规范，在法律体系中占有基础地位。”胡玉鸿：《人的尊严的法律属性辨析》，载《中国社会科学》2016年第5期。还有学者认为，“人的尊严”条款首先应被视为是凯尔森意义上的基础规范。参见前注[19]，齐延平文。另外，有学者认为，人的尊严可以作为建构性（凯尔森意义上的法秩序）之基础规范的地位。参见王进文：《“人的尊严”义疏：理论溯源、规范实践与本土化建构》，载《中国法律评论》2017年第2期；有学者对此持不同见解，指出这是牵强的解释，认为人之尊严并不拥有与基础规范相似的功能和意义。参见前注[25]，张龑文。
[27]参见上注，胡玉鸿文。
[28]参见前注[25]，张龑文。
[29]参见王旭：《宪法上的尊严理论及其体系化》，载《法学研究》2016年第1期。
[30]参见前注[19]，齐延平文。
[31]参见前注[12]，刘志刚文。
[32]参见前注[29]，王旭文。
[33]郑玉双：《人的尊严的价值证成与法理构造》，载《比较法研究》2019年第5期。
[34]谢立斌：《中德比较宪法视野下的人格尊严——兼与林来梵教授商榷》，载《政法论坛》2010年第4期。
[35]参见前注[29]，王旭文。
[36]参见前注[29]，王旭文。
[37]参见鲁楠：《科技革命、法哲学与后人类境况》，载《中国法律评论》2018年第2期。
[38]李林容：《网络智能推荐算法的“伪中立性”解析》，载《现代传播》2018年第8期。
[39]郑戈：《算法的法律与法律的算法》，载《中国法律评论》2018年第2期。
[40]John Cheney- Lippold, We Are Data: Algorithms and the Making of Our Digital Selves, New York University Press, 2017, p.102.
[41]参见前注[29]，王旭文
[42]林来梵：《从宪法规范到规范宪法：规范宪法学的一种前言》，法律出版社2001年版，第105页。
[43]参见段伟文：《数据智能的算法权力及其边界校勘》，载《探索与争鸣》2018年第10期。
[44]丁晓东：《算法与歧视：从美国教育平权案看算法伦理与法律解释》，载《中外法学》2017年第6期。
[45]参见前注[10]，崔靖梓文。
[46]人工智能中人的尊严第一层含义体现在援引尊严的内在价值并在技术实践中寻找归属价值和开放价值，如果技术的归属价值和开放价值促进了尊严的内在价值，那么技术就具备了合理性。人工智能中人的尊严第二层含义是尊严应进入技术发展的价值评价网络中并发挥实质作用。参见郑玉双：《人的尊严的价值证成与法理构造》，载《比较法研究》2019年第5期。
[47]See Vikram Khurana. EU publishes hotly- anticipated AI Ethics Guidelines, Lexology(April 24, 2019), https://www.lexology.com/library/detail.aspx? g=f2dcc6f9-1cc2-4ab7- bb47-8ad77648f7b0.
[48]姜野：《算法的规训与规训的算法：人工智能时代算法的法律规制》，载《河北法学》2018年第12期。
[49]Indrē ?liobaitē, A survey on measuring indirect discrimination in machine learning, arXiv preprint arXiv:1511.00148.2015/10/31.
[50]P. Kommers, 1989, The Constitutional Jurisprudence of the Federal Republic of Germany, Dueham/London: Duke University Press.pp.321.转引自前注[21]，刘志刚文。
[51]参见文化和旅游部：《<在线旅游经营服务管理暂行规定（征求意见稿）>公开征求意见的通知》， http://zwgk.mct.gov.cn/auto255/201910/t20191008_847134.html? keywords=, 2019年10月10日访问。
[52]参见前注[10]，崔靖梓文。
[53]See Cathy ONeil. Weapons of Math Destruction: How big data increases inequality and threatens democracy. New York: Crown Publishers , 2016, P.3.
[54]参见前注[8]，郑智航、徐昭曦文。
[55]San Francisco votes to ban government use of facial recognition technology, 2019 WL 2149247.转引自前注[8]，郑智航、徐昭曦文。
[56]See Sandra G. Mayson, Bias In, Bias Out, 128 Yale Law Journal 2218(2019).
[57]881 N. W.2d 749(Wis.2016).
[58]Cathy ONeil. Weapons of Math Destruction: How big data increases inequality and threatens democracy. New York: Crown Publishers , 2016, P.162.
作者简介：洪丹娜，法学博士，华南理工大学法学院讲师。
文章来源：《政治与法律》2020年第8期。
