阅读我们的Oppenheimer收藏

作者Peter Asaro|2018年4月27日

如果一个国家部署了自动瞄准并杀死人类的机器，其他国家可能会迅速跟进，从而导致破坏稳定的全球军备竞赛。这只是问题的一小部分

联合国《特定常规武器公约》刚刚结束了在政府专家组主持下在日内瓦举行的关于致命自主武器系统的第二轮会议。对人工智能军备竞赛的日益担忧以及越来越多地使用数字技术颠覆民主进程，加剧了该论坛讨论的紧迫性和重要性。一些观察员表示关切的是，《特定常规武器公约》的讨论可能是无望的或徒劳的，而且没有达成共识。这些担忧忽略了已经发生的事情的重要性和未来的机遇

对于一些观察家来说，对人工智能军备竞赛的担忧盖过了对自主武器的担忧。一些人甚至将“阻止杀手机器人运动”描述为旨在“禁止人工智能”本身。我不同意这些观点，并在即将发表的《I/S:a Journal of Law and Policy for the Information Society》的一篇论文中认为，各种学者和媒体使用“人工智能军备竞赛”一词来指代非常不同甚至不兼容的事情，从经济竞争到自动化网络战，再到将人工智能嵌入武器。因此，将“人工智能军备竞赛”作为一种单一政策来解决的单一现象来谈论是没有意义的。此外，联合国的讨论重点是武器自主性，这与人工智能军备竞赛的更大问题仅部分相关——尽管建立常规武器自动控制的规范，如有意义的人类控制，肯定会推动其他领域的讨论，如网络战和人工智能伦理

《特定常规武器公约》关于致命自主武器的讨论的核心问题是，人类有必要控制红十字国际委员会所称的瞄准和参与攻击的“关键职能”。人工智能可以被军队以各种方式使用，包括在武器系统中，甚至在瞄准和交战的关键功能中。问题不在于使用了什么样的技术或其复杂程度，而在于是否以及如何将针对和参与的权力下放给自动化流程，以及这对人的责任和问责制以及人权和人的尊严有什么影响

如果参与武器行动的责任和问责性质减弱，并脱离人类控制，就会出现一系列其他关键问题。如果一个国家部署了自动瞄准并杀死人类的机器，其他国家可能会迅速效仿，从而导致地区和全球的不稳定和代价高昂的军备竞赛。考虑到这项技术的性质，我们还可以期待看到这些系统在各国之间迅速扩散，并蔓延到非国家行为者。自动武器的潜在黑客攻击和欺骗——使对手劫持和重定向武器成为现实——引发了另一系列担忧。此外，攻击带来的风险可能越来越难以归因于其来源——网络攻击中已经出现了这种现象，可能会扩展为动态攻击。再说一遍，自动化系统可以在没有人工的情况下发起或升级冲突政治或军事决策或权威。此外，大规模部署自治系统，如集群，将以本质上不可预测的方式表现，特别是当它们与其他自治系统交战时，这引发了人们对国家责任和对测试制度确保其安全的有限能力的依赖的问题

我们已经看到了加快战场决策的军事利益，以及从人类速度到机器速度的转变。将军事战术加速到人类无法有效行动的速度，是否意味着人类最终也会失去对军事战略的控制？通过授权小群体——甚至是个人——进行大规模破坏和大量杀戮，自主武器可以构成一种新型的大规模杀伤性武器

我提到的每一个问题都可能对世界各地冲突的数量和强度产生强烈的负面影响。综合起来，它们将把战争变成一种新的、陌生的、越来越不可预测的东西。政治和外交能跟上吗？就自主作战方向的这些可能变化对人类问责制和国家责任构成威胁而言，它们也有可能破坏法治本身。问题是根本性的：国际社会能否团结起来，同意不追求自主瞄准和杀害人类的武器，还是屈服于追求军事优势的无情逻辑，从而牺牲其他价值观——外交、法治、责任、人权和尊严

虽然大多数个人和政府都承认自主武器的风险，但对于应该采取什么措施来减轻这些风险，存在着真正的分歧。少数几个州认为，不需要新的法律或法规，或者现在进行监管还为时过早，我们应该等着看这些武器是如何使用的。一些人提出了软法律措施，如“政治宣言”，确认保留对武器系统和使用武力的某种形式的人类控制的重要性。几个州提议就自主武器的设计、测试和使用的“最佳实践”和更大的透明度达成一致。但大多数国家现在都提议就致命自主武器系统谈判新的国际法，其中包括26个寻求禁令的国家。阻止杀手机器人运动从一开始就支持全面禁止生产和使用此类武器——这一立场也可以被视为一项积极的义务，要求各国确保武器的瞄准和使用始终处于有意义的人类控制之下

有些国家认为，现有的国际人道主义法足以指导和规范这些制度的发展。他们表示相信现有法律规范的明确性和执行这些规范的机制，例如《日内瓦四公约第一附加议定书》（1977年）第36条规定的武器审查。然而，《特定常规武器公约》上的许多讨论和辩论清楚地表明了一件事：对于什么是针对目标的决定、法律判决或道德判决，以及这些术语中的任何一个可以或应该如何应用于执行军事行动的自动化系统，存在不同的观点和理解。事实上，随着技术的进步和对自主技术的信心的增强，法律规范和既定人道主义法概念的应用可能会变得更加模糊或薄弱，这是一个严重的风险。至少，有必要共同理解这些术语及其在战争法下的法律含义。如果《特定常规武器公约》的讨论没有取得什么其他成就，那么它们至少已经开始了这一关键进程

致命自主武器的支持者认为，自动化瞄准和交战可能有真正的优势，禁令或法规可能会阻止该技术的有益应用。美国在开发此类武器方面有最明确的公共政策，即国防部第3000.09号指令，并建议类似的指令可以作为其他国家最佳实践的指南。美国还为最近的会议提交了一份工作文件。该文件提出了一系列论点和断言，即新兴技术，尤其是人工智能，可以通过各种方式帮助限制武装冲突中的平民伤亡。这些系统包括用于过滤监视数据的模式识别系统、用于爆炸损伤评估的软件、导弹制导系统、地雷和一段时间后自毁或失效的弹药。然而，在美国文件列出的几乎所有例子中，自动化只是为人类决策者提供了感兴趣的对象和分析，以帮助人类决策者更好地决定参与目标的风险。在其他例子中，只有在人类决策者指定目标并发起攻击后，自动化才会发挥作用。在这些情况下，自动化只是帮助武器到达预定目标，或者在没有找到目标的情况下解除激活。这些都是对自动化的合理使用，如果使用得当，它们确实有可能减少某些袭击对平民的影响，并符合国际人道主义法

新一代高度自动化系统是否真的会减少平民伤亡是一个经验问题，不仅取决于武器系统的技术能力（理论或验证），还取决于这些系统在实践中的使用方式。如果它们鼓励在风险更高的平民地区更多地使用，或者降低冲突的门槛，那么自主武器系统对平民的总体影响实际上可能更大，因此与降低平民风险无关，因为它们更准确或更精确的瞄准能力可能表明了这一点

国际人道主义法鼓励减少战时对平民的风险——事实上，军队有义务采取合理的预防措施来保护平民。但是，为人类编写的战争法则如何适用于自动化系统？算法的性能是否可以构成比例评估？什么对机器来说是“合理的”？自动判决是否符合法律判决？即使对于更易于计算的法律要求，例如区分战斗人员和平民，也存在着应该适用什么技术标准以及如何测试这些标准的难题。同样，“目标”、“目标”和“攻击”等术语也没有严格的法律定义，这些定义可以很容易地转化为自动化程序。它们取决于军事行动的背景和性质。缺乏共同的概念和术语正是我们在网络战中已经开始看到的那种不受监管的发展，在网络战的规范方面几乎没有达成一致，即使是《塔林手册》所概述的国际法中已经确立的规范。如果人们真的相信武器系统自动化的人道主义潜力，就应该支持澄清和编纂共同的规范和标准，以指导这些技术的发展

我自己的著作，以及阻止杀手机器人运动发布的文件和声明，一直鼓励使用先进的信息处理技术，以进一步提高人类指挥官和士兵的态势感知、决策能力和准确性。我们关切的是，这些指挥官和士兵被完全排除在关键决策之外。随着自动化变得越来越复杂和依赖，操作自动化系统的人了解系统如何使用数据和算法进行自动化评估也变得越来越重要。一些政府开始提出这些问题，正如比利时在11月政府专家组会议的工作文件中所做的那样。人类控制的基本方面是什么？自动化信息处理在多大程度上会过度决定人类的判断并篡夺人类的自主权？一个系统在什么时候才能被“职能授权”杀人，即使它没有这样的法律权限

《特定常规武器公约》为8月份的下一次会议指明了前进的道路。与会者可以同意就一项具有法律约束力的文书进行谈判，该文书规定了明确的规范。或者，他们可能会选择一个较小的、不绑定的输出。主持《特定常规武器公约》自主武器非正式会议的法国和德国在其联合工作文件中提出了一个愿景，寻求以不具约束力的政治决议的形式取得积极和切实的成果，并朝着缔结条约迈出积极的一步。但这一愿景并没有阐明人类控制武器问题的实质——这个问题应该如何界定，或者如何评估或执行。作为一个实际问题，有人担心，这样一项决议可能是《特定常规武器公约》进程的最终结果，而不是达成一项真正规范自主武器的具有约束力的文书的垫脚石

但国际共识指日可待。关于人类必须控制武器的瞄准和使用的广泛共识已经存在。各国必须努力澄清这种控制的性质控制形式是可接受或不可接受的，以及编纂这些控制形式的法律语言和框架。其他以协商一致为基础的论坛未能就包括网络战在内的涉及新技术和新兴技术的问题达成成果，这应该是一个警告，而不是《特定常规武器公约》可以实现的目标的基准。同样，如果要在监管网络战方面取得进展，或者就管理人工智能和其他先进技术风险的国际法规达成一致，《特定常规武器公约》可能会成为建立国际共识和规范创新的典范。“有意义的人类控制”作为一个概念已经在人工智能伦理和自动驾驶汽车的讨论中得到了应用

民间社会团体寻求的关于自主武器——杀人机器人，如果你愿意的话——的监管在很大程度上是前所未有的。所需要的不是具体说明具有特定效果或行动模式的特定类型的弹药或武器，而是对武器的使用方式进行规范，以确保技术进步不会从根本上破坏国际人道主义法本身。在这个问题上采取积极和有意义的行动仍然指日可待，《某些常规武器公约》的外交官及其政府应该证明，他们能够共同努力，应对自主武器对人类构成的各种威胁

如果一个国家部署了自动瞄准并杀死人类的机器，其他国家可能会迅速效仿，从而导致全球军备竞赛的不稳定。这只是问题的一小部分

联合国《特定常规武器公约》刚刚结束了在政府专家组主持下在日内瓦举行的关于致命自主武器系统的第二轮会议。对人工智能军备竞赛的日益担忧以及越来越多地使用数字技术颠覆民主进程，加剧了该论坛讨论的紧迫性和重要性。一些观察员表示关切的是，《特定常规武器公约》的讨论可能是无望的或徒劳的，而且没有达成共识。这些担忧忽略了已经发生的事情的重要性和未来的机遇

对于一些观察家来说，对人工智能军备竞赛的担忧盖过了对自主武器的担忧。一些人甚至将“阻止杀手机器人运动”描述为旨在“禁止人工智能”本身。我不同意这些观点，并在即将发表的《I/S:a Journal of Law and Policy for the Information Society》的一篇论文中认为，各种学者和媒体使用“人工智能军备竞赛”一词来指代非常不同甚至不兼容的事情，从经济竞争到自动化网络战，再到将人工智能嵌入武器。因此，将“人工智能军备竞赛”作为一种单一政策来解决的单一现象来谈论是没有意义的。此外，联合国的讨论重点是武器自主性，这与人工智能军备竞赛的更大问题仅部分相关——尽管建立常规武器自动控制的规范，如有意义的人类控制，肯定会推动其他领域的讨论，如网络战和人工智能伦理

《特定常规武器公约》关于致命自主武器的讨论的核心问题是，人类有必要控制红十字国际委员会所称的瞄准和参与攻击的“关键职能”。人工智能可以被军队以各种方式使用，包括在武器系统中，甚至在瞄准和交战的关键功能中。问题不在于使用了什么样的技术或其复杂程度，而在于是否以及如何将针对和参与的权力下放给自动化流程，以及这对人的责任和问责制以及人权和人的尊严有什么影响

如果参与武器行动的责任和问责性质减弱，并脱离人类控制，就会出现一系列其他关键问题。如果一个国家部署了自动瞄准并杀死人类的机器，其他国家可能会迅速效仿，从而导致地区和全球的不稳定和代价高昂的军备竞赛。考虑到这项技术的性质，我们还可以期待看到这些系统在各国之间迅速扩散，并蔓延到非国家行为者。自动武器的潜在黑客攻击和欺骗——使对手劫持和重定向武器成为现实——引发了另一系列担忧。然后是攻击带来的风险越来越难以将其归因于来源&这一现象已经在网络攻击中出现，可能会扩展为动态攻击。再说一遍，自动化系统可以在没有人类政治或军事决策或权威的情况下引发或升级冲突。此外，大规模部署自治系统，如集群，将以本质上不可预测的方式表现，特别是当它们与其他自治系统交战时，这引发了人们对国家责任和对测试制度确保其安全的有限能力的依赖的问题

我们已经看到了加快战场决策的军事利益，以及从人类速度到机器速度的转变。将军事战术加速到人类无法有效行动的速度，是否意味着人类最终也会失去对军事战略的控制？通过授权小群体——甚至是个人——进行大规模破坏和大量杀戮，自主武器可以构成一种新型的大规模杀伤性武器

我提到的每一个问题都可能对世界各地冲突的数量和强度产生强烈的负面影响。综合起来，它们将把战争变成一种新的、陌生的、越来越不可预测的东西。政治和外交能跟上吗？就自主作战方向的这些可能变化对人类问责制和国家责任构成威胁而言，它们也有可能破坏法治本身。问题是根本性的：国际社会能否团结起来，同意不追求自主瞄准和杀害人类的武器，还是屈服于追求军事优势的无情逻辑，从而牺牲其他价值观——外交、法治、责任、人权和尊严

虽然大多数个人和政府都承认自主武器的风险，但对于应该采取什么措施来减轻这些风险，存在着真正的分歧。少数几个州认为，不需要新的法律或法规，或者现在进行监管还为时过早，我们应该等着看这些武器是如何使用的。一些人提出了软法律措施，如“政治宣言”，确认保留对武器系统和使用武力的某种形式的人类控制的重要性。几个州提议就自主武器的设计、测试和使用的“最佳实践”和更大的透明度达成一致。但大多数国家现在都提议就致命自主武器系统谈判新的国际法，其中包括26个寻求禁令的国家。阻止杀手机器人运动从一开始就支持全面禁止生产和使用此类武器——这一立场也可以被视为一项积极的义务，要求各国确保武器的瞄准和使用始终处于有意义的人类控制之下

有些国家认为，现有的国际人道主义法足以指导和规范这些制度的发展。他们表示相信现有法律规范的明确性和执行这些规范的机制，例如《日内瓦四公约第一附加议定书》（1977年）第36条规定的武器审查。然而，《特定常规武器公约》上的许多讨论和辩论清楚地表明了一件事：对于什么是针对目标的决定、法律判决或道德判决，以及这些术语中的任何一个可以或应该如何应用于执行军事行动的自动化系统，存在不同的观点和理解。事实上，随着技术的进步和对自主技术的信心的增强，法律规范和既定人道主义法概念的应用可能会变得更加模糊或薄弱，这是一个严重的风险。至少，有必要共同理解这些术语及其在战争法下的法律含义。如果《特定常规武器公约》的讨论没有取得什么其他成就，那么它们至少已经开始了这一关键进程

致命自主武器的支持者认为，自动化瞄准和交战可能有真正的优势，禁令或法规可能会阻止该技术的有益应用。美国在开发此类武器方面有最明确的公共政策，即国防部第3000.09号指令，并建议类似的指令可以作为其他国家最佳实践的指南。美国还为最近的会议提交了一份工作文件。该文件提出了一系列论点和断言，认为新兴技术，尤其是人工智能，可能有助于以各种方式限制武装冲突中的平民伤亡。这些系统包括用于过滤监视数据的模式识别系统、爆炸损伤评估软件、导弹制导系统、一段时间后自毁或失效的地雷和弹药。然而，在美国文件列出的几乎所有例子中，自动化只是为人类决策者提供了感兴趣的对象和分析，以帮助人类决策者更好地决定参与目标的风险。在其他例子中，只有在人类决策者指定目标并发起攻击后，自动化才会发挥作用。在这些情况下，自动化只是帮助武器到达预定目标，或者在没有找到目标的情况下解除激活。这些都是对自动化的合理使用，如果使用得当，它们确实有可能减少某些袭击对平民的影响，并符合国际人道主义法

新一代高度自动化系统是否真的会减少平民伤亡是一个经验问题，不仅取决于武器系统的技术能力（理论或验证），还取决于这些系统在实践中的使用方式。如果它们鼓励在风险更高的平民地区更多地使用，或者降低冲突的门槛，那么自主武器系统对平民的总体影响实际上可能更大，因此与降低平民风险无关，因为它们更准确或更精确的瞄准能力可能表明了这一点

国际人道主义法鼓励减少战时对平民的风险——事实上，军队有义务采取合理的预防措施来保护平民。但是，为人类编写的战争法则如何适用于自动化系统？算法的性能是否可以构成比例评估？什么对机器来说是“合理的”？自动判决是否符合法律判决？即使对于更易于计算的法律要求，例如区分战斗人员和平民，也存在着应该适用什么技术标准以及如何测试这些标准的难题。同样，“目标”、“目标”和“攻击”等术语也没有严格的法律定义，这些定义可以很容易地转化为自动化程序。它们取决于军事行动的背景和性质。缺乏共同的概念和术语正是我们在网络战中已经开始看到的那种不受监管的发展，在网络战的规范方面几乎没有达成一致，即使是《塔林手册》所概述的国际法中已经确立的规范。如果人们真的相信武器系统自动化的人道主义潜力，就应该支持澄清和编纂共同的规范和标准，以指导这些技术的发展

我自己的著作，以及阻止杀手机器人运动发布的文件和声明，一直鼓励使用先进的信息处理技术，以进一步提高人类指挥官和士兵的态势感知、决策能力和准确性。我们关切的是，这些指挥官和士兵被完全排除在关键决策之外。随着自动化变得越来越复杂和依赖，操作自动化系统的人了解系统如何使用数据和算法进行自动化评估也变得越来越重要。一些政府开始提出这些问题，正如比利时在11月政府专家组会议的工作文件中所做的那样。人类控制的基本方面是什么？自动化信息处理在多大程度上会过度决定人类的判断并篡夺人类的自主权？一个系统在什么时候才能被“职能授权”杀人，即使它没有这样的法律权限

《特定常规武器公约》为8月份的下一次会议指明了前进的道路。与会者可以同意就一项具有法律约束力的文书进行谈判，该文书规定了明确的规范。或者，他们可能会选择一个较小的、不绑定的输出。主持《特定常规武器公约》自主武器非正式会议的法国和德国在其联合工作文件中提出了一个愿景，寻求以不具约束力的政治决议的形式取得积极和切实的成果，并朝着缔结条约迈出积极的一步。但这一愿景并没有阐明人类控制武器问题的实质——这个问题应该如何界定，或者如何评估或执行。作为一个实际问题，有人担心，这样一项决议可能是《特定常规武器公约》进程的最终结果，而不是达成一项真正规范自主武器的具有约束力的文书的垫脚石

但国际社会的共识是可以达成的。关于人类必须控制武器的瞄准和使用的广泛共识已经存在。各国必须努力澄清这种控制的性质、可接受或不可接受的控制形式之间的界限，以及编纂这些控制形式的法律语言和框架。其他以协商一致为基础的论坛未能就包括网络战在内的涉及新技术和新兴技术的问题达成成果，这应该是一个警告，而不是《特定常规武器公约》可以实现的目标的基准。同样，如果要在监管网络战方面取得进展，或者就管理人工智能和其他先进技术风险的国际法规达成一致，《特定常规武器公约》可能会成为建立国际共识和规范创新的典范。“有意义的人类控制”作为一个概念已经在人工智能伦理和自动驾驶汽车的讨论中得到了应用

民间社会团体寻求的关于自主武器——杀人机器人，如果你愿意的话——的监管在很大程度上是前所未有的。所需要的不是具体说明具有特定效果或行动模式的特定类型的弹药或武器，而是对武器的使用方式进行规范，以确保技术进步不会从根本上破坏国际人道主义法本身。在这个问题上采取积极和有意义的行动仍然指日可待，《某些常规武器公约》的外交官及其政府应该证明，他们能够共同努力，应对自主武器对人类构成的各种威胁

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

主题：人工智能的军事应用

分享：[addthis-tool=addthis_inline_Share_toolbox]

Peter Asaro是新学院媒体研究副教授。他的工作将人工智能和机器人作为一种形式进行了研究…阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介