本周，致命自主武器系统（LAWS）政府专家组（GGE）将在日内瓦联合国某些常规武器（CCW）举行第三次会议。预计“有意义的人类控制”概念将继续成为讨论的中心主题。虽然目前还没有一个国际商定的定义来界定什么是真正有意义的人类控制，但法律的倡导者和反对者显然一致认为，对法律的关键功能进行一定程度的人类控制至关重要。对于许多主张在法律上建立限制性最大的法律框架的人来说，这是朝着正确方向迈出的一步，因为这将解决辩论中提出的一些法律问题，尽管这取决于控制的类型和程度。然而，尽管就有意义的人类控制达成共识可能有助于解决某种程度的法律责任，但道德层面可能不那么容易解决。尽管人工智能社区中的知名声音多次努力，以提高人们对法律工作者重新利用人工智能能力的警觉，但随着人工智能（AI）在军事技术中的应用进展迅速，保留足够水平的机构做出道德决定的能力受到质疑。这是一个令人严重关切的伦理问题，不应忽视这一问题，而应就法律定义达成共识。在下文中，我挑战了我们可以有意义地控制自主武器系统的假设，尤其是当它们越来越受人工智能控制。我认为，它们的技术特征逐渐缩小了人类道德代理所需的空间。特别是，有三个技术特征限制了有意义的人类控制，我简要强调：1人机界面操作中产生的认知限制；2 伴随着人工智能系统所依赖的大量数据的认识论局限性；3 当LAWS承担识别和目标功能时不可避免的时间限制。

技术作为社会力量

关于法律和一般军事技术的大部分公众辩论都支持工具主义立场。这种立场的前提是，作为人类，我们可以对自己使用的工具保持充分的能动性和方向性。简而言之，它假设我们使用我们的技术作为实现我们预期目标和目的的手段。以电话为例。我们将它作为一种工具，与不同地点的个人进行实时沟通。这似乎是一个没有争议的立场。然而，随着技术系统变得越来越复杂和无处不在，这一预设并不像看上去那么直接。

我在这里的讨论从一个不同的假设开始，这个假设与许多当代技术哲学家的观点一致，即技术绝不仅仅是我们随意使用的工具，而是承载着自身的社会力量。换言之，技术不仅仅是一种孤立使用的工具，它有能力塑造、影响和产生新的结果、目标、实践和决策参考框架。

因此，我们正在处理一系列关系网，在这些关系网中，我们作为他人、人类和非人类的代理人嵌入其中，这些人都塑造了我们的观点和行动。这些关系及其影响可能不会立即显现。再次考虑一下电话。你口袋里的智能手机与传统的固定电话是一种非常不同的技术。与你的固定电话不同，智能手机产生了不同的注意力经济。这种注意力经济反过来又以以前没有想到、可能或相关的方式塑造了期望和实践。

因此，我建议，值得考虑技术可以促进新的、积极的人类能力的方式，但它们也可能给我们的人类机构带来新的无能和限制。这一条件适用于战争中的新兴技术，就像适用于我们的日常数字生态一样，甚至更适用于人类嵌入复杂的技术要素系统中的情况。这种与法律普遍存在的数字关系网有利于信息和决策的明确技术逻辑，塑造了我们如何更广泛地思考道德，以及我们如何具体地思考使用技术中介力量。

如果我们认真对待数字技术的社会力量，我建议我们应该这样做，那么我们是否可以很容易地认为，我们已经做好了充分的准备，能够保持人类对致命自主武器系统的有意义的控制，尤其是当它们利用人工智能来执行其功能时？我将简要地画出三个相互关联的原因，为什么先进的人工智能支持的法律比目前在辩论中提出的更难以实现有意义的人类控制的可能性，以及为什么这一概念可能不足以确保法律使用武力时的道德责任。

对有意义的人类控制的限制

缺乏对有意义人类控制定义的共识意味着该概念应包含或可能包含的参数将受到持续的争论。包括红十字国际委员会和第三十六条在内的各种组织提出了一系列有用的特征，作为应考虑哪些有意义的人类控制的一般指南。这包括技术应该是可预测和可靠的，它是透明的，用户对系统的目的和过程有准确的信息，并理解上下文中的信息，用户有能力及时干预，使用与一定程度的责任相关。这些都是精心设计的元素，对推动辩论很重要。

然而，鉴于所讨论的技术的性质，我们可能无法以实际有意义的方式实现人类控制的这些维度，原因如下：我们在人机界面操作中的认知限制；算法决策所依据的认识论基础；最后是自主智能决策的时间范围。

认知限制

认知心理学有大量的学术研究证明，当我们与计算系统交互时，我们会经历认知限制。诺埃尔·沙基（Noel Sharkey）在4月GGE会议的一份简报文件中更详细、有效地概述了这一点。在论文中，Sharkey指出，作为人类，我们通常基于两种推理做出决策。第一种是慎重推理，这是一个我们利用更广泛的记忆资源的过程，这些记忆资源通常用于重大决策和影响的决策，例如外交政策决策。第二类推理是自动推理，我们在日常生活中使用它。顾名思义，这种推理是自动的，因此发生得更快。作为人类，我们倾向于选择阻力最小的道路，以便能够应对日常生活中面临的多种需求。

自动推理是我们对大多数事件的第一反应。在新奇或特殊情况下，它可以被深思熟虑的推理所推翻，但简而言之，它是做出决定的最佳模式。在我们与机器的互动中，我们倾向于首先利用这类推理，而且通常是主要的推理。系统的运行模式越快、越自治，审议推理在决策中发挥作用的可能性就越小。

当涉及到致命性质的决策时，理解自动推理的特性非常重要。自动推理倾向于通过回避歧义和疑惑、将信息片段同化为熟悉的连贯叙述以及忽略缺失的证据来偷工减料。这在我们与计算技术的互动中尤为明显。研究一直表明，人类倾向于对基于计算机的决策系统不加批判地信任（自动化偏见），因为我们倾向于忽略或不根据计算机生成的解决方案搜索矛盾的信息。这不仅适用于完全自主的系统，也适用于“混合模式”系统，在这种系统中，人类参与了对决策的审查。

通过培训、专业知识和与特定技术系统合作的经验，这种认知限制和自动推理的趋势可能会被克服。然而，在人工智能的参数范围内，风险在于人类决策者无法“开发出对克服系统故障至关重要的适当心理模型”。在自动推理盛行的地方，人们对技术及其决策和人类道德能动性产生了更大的信任和权威。

认知限制

人工智能系统依赖于大量数据的存在和可用性，以便对任何给定情况进行评估或预测分析。人工智能被训练为通过过去数据的镜头捕捉当前，识别模式并进行高效、面向未来的评估。这带来了许多后果。

首先，它优先考虑人工智能工作环境的数据化。这意味着AI系统的任务是做出评估或决策，需要对其进行标记和分类。因此，默认情况下，所有不容易以数字数据格式呈现的内容都不在任何算法可确定的决策范围内，因为它对任何AI系统都是不可见的。

此外，可用数据的质量、来源和数量也很重要。虽然人工智能标记和分类的过程对于固定类别（椅子、猫、鸟等）来说相当先进和可靠，但训练人工智能“理解”生活的关系和更流动的维度（友谊、敌意、身份、文化、社会关系等）并不容易。基于不完整数据或错误标记数据的决策可能导致有偏见和不公平的结果。

如果人工智能基于可用数据构建世界模型，那么它很可能在封闭系统中更成功，因为在封闭系统的参数可以很容易地作为数据来掌握。在战争背景下，参数可能不太固定，更具流动性和动态性，人工智能系统可能会根据认知基础建议行动方案，该方案可能有偏差、不完整或不完全适合情况。

已有充分证据表明，例如，最先进的人工智能面部识别系统会产生有偏见和潜在错误的结果。当人工智能系统在复杂和不确定的环境中运行时，无论是在事件期间还是之后，结果都可能是不理想的，即使不是灾难性的，但很难挑战。不必再看2010年的闪电崩盘，高频交易算法在几分钟内成功抹去道琼斯指数600点。花费了数年时间才弄清是什么导致了这一代价高昂的事件。随着中国试图利用AlphaGo系统无法穿透的深度神经网络学习成功来实现其军事战略，认知理解人工智能决策过程的能力进一步受到阻碍，因为人工智能可能会参与甚至程序员或工程师都无法理解的计算。为了让人类决策者能够保留对人工智能做出的道德相关决策的权威性，他们需要对人工智能黑匣子有一个清晰的洞察力，以了解数据、其来源及其算法的逻辑。

时间限制

当我们考虑到自主系统的主要吸引力是速度和效率时，保持控制的能力变得更加不现实。LAWS的速度和效率承诺是其相对于对手的重要优势。在速度是关键因素的情况下，决策的时间范围不可避免地缩小。这一点在“方阵”（Phalanx）或“SeaRAM”（SeaRAM）等“在几秒钟内完成检测、评估和响应过程”的失火遗忘系统中已经很明显。一旦激活，操作员就很难对系统进行控制。这种崩溃的时间范围可能会随着在纳秒内进行计算的技术而加剧，使及时、有意义的干预的时间范围黯然失色。

此外，当技术不仅是诊断性或描述性的，而且是预测性和规定性的，这是许多人工智能系统的目标时，它们变得明显面向未来，优先针对行动点进行优化。在这样做的过程中，他们产生了一种紧迫感，需要真诚地在数字存储器和信息方面采取行动。这种情况可能会对“必要性”和“迫在眉睫”这两个类别如何解释为致命武力的理由产生潜在影响。

***

问题仍然存在，在使用致命的自主智能武器时，我们能够在多大程度上充当道德代理人。如果我们无法轻易理解或预测人工智能支持的法律可能如何与偶然的、动态的战争环境相互作用，如果我们无法及时干预，如果我们不能对算法决策的技术权威提出质疑，是否有可能保持道德上有意义的决策所需的人类控制水平？我很怀疑

有意义的人为控制这一类别可以作为推进立法框架的一个有价值的概念。但我们应该避免将法律概念与保留法律规定的生死决定的道德代理权的可能性混为一谈。特别是当人工智能进入混合时。随着战争越来越系统化，通过数字网络和算法体系结构，我们应该意识到，这些体系结构可能会影响我们的道德思维和行为方式，从而越来越远离人道主义框架，越来越接近于机器的纯粹成本计算逻辑道德能动性不可避免地萎缩。

***

技术作为社会力量

对有意义的人类控制的限制

认知限制

认知限制

时间限制

相关博文

红十字委员会关于AWS的主要文件

简介