对人的控制的要求将复杂任务和相关决策委托给传感器和数据驱动算法的风险是我们时代的中心问题之一，对各个部门和社会都有严重影响。没有什么比杀戮、伤害和破坏的决定更为尖锐的了。对人类对这些决定失去控制的担忧是各国政府和民间社会目前为解决日益自主的武器系统而开展的国际工作的基础，也是对“战争算法”的更广泛思考的基础

国际讨论往往集中于自主武器系统（被红十字委员会广泛定义为在选择和攻击目标的关键功能上具有自主性的武器，包括一些现有武器）与国际人道主义法规定的敌对行动行为规则和国际人权法。这些规则要求对武器系统和武力的使用保持最低程度的人为控制，其特征是“有意义”或“有效”、“人为控制”或“适当的人为参与”。因此，这些规则要求限制武器系统的自主性

伦理辩论
伦理问题经常出现在这些讨论中。但是，对许多人来说，他们是增强自主性对人类战争行为和更广泛使用武力意味着什么的核心。正是人们对在联合国裁军会议范围之外明显感受到的人类对杀戮、伤害和破坏的决定失去控制的恐惧，超越了遵守我们法律的问题，也涵盖了我们的价值观是否可接受的基本问题

我们能允许人类使用武力的决策有效地被计算机控制的过程所取代，而生死决定权则交给机器吗

考虑到这一点，红十字委员会于2017年8月与独立专家举行了圆桌会议，以更详细地探讨这些问题。（还发表了关于道德作为法律来源和武装冲突中保持距离的相关意见）

根据会议上的讨论，从红十字委员会的角度来看，与当前政策应对措施最相关的伦理考虑是那些超越背景的因素，无论是武装冲突还是和平时期，以及超越技术的因素，不管是“哑”的还是“复杂”的（基于人工智能的）自主武器系统

人的能动性
其中最重要的一点是在杀人、伤害和破坏的决策中保持人的能力和意图的重要性。仅仅说“人类已经开发、部署并激活了武器系统”是不够的。激活自主武器系统的人的意图与特定攻击的后果之间也必须有足够密切的联系

加强这种联系的一种方法是要求武器系统的功能及其与使用环境的相互作用具有可预测性和可靠性，同时考虑到环境本身的不可预测性。然而，这些要求受到自治性质的挑战。根据定义，所有能够自我发起攻击的自主武器系统都会在何时、何地和/或为什么会发生攻击时产生不同程度的不确定性。越来越复杂的算法，尤其是那些结合了机器学习的算法，增加了更深层的不可预测性，加剧了这些潜在的不确定性

那么，从伦理角度看，什么是“有意义的”或“有效的”人类控制？描述它的一种方式是控制的类型和程度，在使用武力的决定中保持人类的能动性和意图。这并不一定排除武器系统的自主性，但它确实需要限制，以保持用户的人类意图与最终后果之间的联系

自治的限制
在某种程度上，伦理考虑可能要求对自治施加一些类似于遵守国际法所需的限制，特别是在以下方面：人的监督和干预或停用的能力；可预测性和可靠性的技术要求；以及对任务、目标类型、操作环境、操作持续时间和区域移动范围的操作限制

从道德角度来看，这些操作限制有效地影响了使用环境。关于丧失人的能动性和意图的核心关切，以及关于丧失道德责任和丧失人的相关关切尊严（更详细的解释请参见报告）最尖锐的是用于直接攻击人类的自主武器系统

正是在这一点上，伦理考虑可能具有最深远的影响，可能会阻止开发和使用杀伤人员自主武器系统，甚至限制反物资系统的应用，这取决于对人类生命的相关风险。事实上，有人可能会说，这是目前道德界限的所在，也是迄今为止自主武器系统的使用通常局限于特定任务的一个关键原因（以及法律合规性），即在高度受限的场景和操作环境中，对来袭射弹、车辆、飞机、船只或其他物体进行反物资瞄准

以人为本的方法
显而易见的是，从伦理和法律角度来看，我们必须将人的角色置于国际政策讨论的中心。这与大多数其他对武器的限制或禁止形成对比，因为这些限制或禁止的重点是特定类别的武器及其观察到的或可预见的影响。除了机器人技术和人工智能在武器系统中的军事应用的不透明轨迹之外，这一点的主要原因是，目标自主性是一个理论上可以应用于任何武器系统的特征

归根结底，根据定义，人类在使用武力方面的义务和责任不能转移到机器、算法或武器系统，这将决定武器系统自主性的国际商定限制必须置于何处。道德考虑将在这些政策反应中发挥重要作用，随着军事技术的快速发展，这些政策反应变得越来越紧迫

***

关于2017年红十字委员会会议的完整报告
道德与自主武器系统：人类控制的道德基础，2018年4月，2021迷你系列简介：自主武器系统和伦理，2017年10月4日，武装冲突中的距离、武器技术和人类，亚历克斯·勒文豪斯，2017年11月6日，道德作为法律的来源：马滕斯条款和自主武器，罗伯·斯派洛，2017年12月14日，国际人道主义法下的自主武器系统，尼尔·戴维森，2018年1月31日
自主武器系统：对人类尊严的威胁？，Ariadna Pop，2018年4月10日
战争中的人类判断和致命决策，Paul Scharre，2018年6月11日
武装冲突中的人工智能和机器学习：以人为中心的方法，红十字国际委员会，2019年6月6日