以下文章是对“军事人工智能、和平与安全 (MAPS) 对话”首次会议讨论中出现的关键要素的非详尽总结。该系列网络研讨会由联合国裁军事务办公室在韩国支持下召开，旨在促进就人工智能军事应用开展包容性多边对话。了解更多活动信息

首届 MAPS 对话会议的主题为“军事人工智能：机遇、风险与国际和平与安全”，重点探讨了人工智能在军事领域的风险和潜在机遇及其对和平与安全的影响、人为因素在军事人工智能全生命周期中的重要性以及可信赖人工智能的含义，并阐明了透明度、可解释性和可靠性等概念在人工智能应用的整个生命周期中的应用。本次活动向各国、国际和区域组织、民间社会、科学界和工业界的代表开放。
1. 盘点：国际和平与安全面临的机遇与风险安全

讨论强调了人工智能的两个使能特性，这两个特性为军事应用的发展带来了希望。首先，通过加快信息处理和共享，人工智能技术可以促进不同领域（即陆地、空中、海上、网络、太空）之间的通信，例如，增强预警或危机管理，增强多领域协调和同时参与，并可以通过更快的情报处理和决策创造“决策优势”。其次，通过利用新兴的机器学习技术提高自主性，人工智能技术可以帮助在恶劣或敌对环境中保持功能并保障人员安全。

与此同时，小组成员认为，这些潜在的好处伴随着冲突前、冲突中和冲突后的新风险。有人指出，人工智能技术可以通过降低战争成本（例如对战斗人员或平民的伤害）来影响战争的计算（即降低冲突的门槛）。

会议进一步讨论了可能增加误判风险的相关动态。例如，人工智能决策可以压缩攻击和反击之间的时间间隔，从而加速升级周期。如此快速的升级可能超出人类的认知范围。此外，计算范式从确定性计算向概率计算的转变进一步导致了不可预测的结果。概率算法降低了结果的可重复性（即结果会随着作战环境的变化而变化）。它还降低了决策对人眼的可解释性（也称为黑箱问题）。会议指出，再加上缺乏具有代表性的战场数据，这些动态可能会破坏在动荡地区预防冲突的谨慎校准，因为这些地区的和平与稳定往往取决于人类的判断、决策或秘密沟通。由于敌对势力试图混淆或毒害人工智能系统，使军事企业面临新的弱点，会议提出，“战略耐心”可以帮助辨别合法决策与操纵，包括来自非国家行为者的操纵。最后，还有人担心，人工智能系统在部署过程中表现出的自主性增强可能会导致下游用户逃避责任——例如，人工智能决策支持工具可能会损害人类履行国际法义务的能力。有人指出，由于责任和问责无法转移给机器，操作员可能会将矛头指向系统生命周期的早期阶段，尤其是技术开发者。

2. 重新定义：错误和缺失的二分法

小组成员指出，目前有两种错误的二分法影响着围绕人工智能军事应用的讨论。有人认为，超越错误的二分法可以为被忽视的问题扫清障碍。

首先，有观点认为，用于描述人工智能的术语泛滥（例如，伦理、可信、可解释、以人为本、可持续、安全、负责任），以及对这些术语缺乏共识，可能会在用户中引发怀疑和不信任，尤其是对那些受人工智能使用影响的人。一些人认为，应该努力从将新的形容词串在一起，形成强有力的工作定义，并使现有的定义可操作化——以人为本、负责任、安全、有保障和值得信赖。在这方面，一位小组成员提供了可信人工智能的工作定义，引用了国防分析研究所：(i) 如果使用得当，它总是能够出色地完成预期任务；(ii) 如果使用得当，它总是能够避免做坏事；(iii) 如果与预期合作的人类配对，它总是能够得到正确使用。

其次，与会者认为，讨论应该超越那种认为治理工作是以牺牲创新为代价的错误二分法。与会者指出，治理实际上有助于将人类价值观转化为可操作的技术要求，在政策、行业和军事利益相关者之间发出清晰的信号，并朝着强劲而非脆弱的创新迈进。

与会者还讨论了术语和概念。例如，与会者指出，人工智能没有单一的“军事背景”，风险和机遇会根据其融入特定环境而变化（例如，人工智能融入物流与融入目标识别需要不同的风险/机遇计算）。此外，与会者指出，谈到机遇，往往会将军事优势（速度或决策优势）与人道主义优势（例如，遵守国际人道主义法 (IHL) 和保护平民）混为一谈。脱钩将揭示一个更微妙的现实：战场作战节奏的加快可能会给平民带来额外的风险或导致误判。

3. 治理：各国在制定治理框架时应优先考虑哪些方面

小组成员讨论了目前正在考虑的人工智能军事应用潜在治理框架的各个方面。

会议指出，确定人工智能系统可用于哪些任务以及哪些任务本质上不适合是一个重要的起点。例如，核武器的指挥和控制系统就被列为超出范围的应用。

专家指出，当应用的适当性不太明确时，各国应结合对象级（技术、以人为本、语义）和过程级评估。换句话说，建议各国考虑完善系统本身的机制、系统与人类可靠协作的能力、描述系统的语言以及进行这些讨论的论坛。

技术方法

在对象层面，可通过保证实现可信的人工智能系统。一位小组成员澄清说，保证并非基于“直觉”，而是需要收集现有证据，通过衡量、评估和传达特定利益相关者在特定环境下针对特定应用所需的置信水平来建立案例。

在军事背景下，保证被描述为内部（纯粹的技术性能）和外部（更广泛的作战、法律、伦理和社会考虑）。在内部，证明技术信心水平的有效方法是通过测试、评估、验证和确认 (TEVV) 方法，这些方法是以工程为中心的流程，可确保技术的正确性和可靠性。在外部，小组成员指出，全面的风险评估实践可以主动识别潜在危险，估计其可能性和影响，并决定如何减轻或接受它们。

提出了几种实践作为支持性保证。无论是在国防组织内部还是外部，技术人员和作战人员都应在现实环境中协作，以便在部署之前发现陷阱。保证也被视为一种信任建立机制，因为共享方法和发现表明进行了适当的尽职调查。此外，还有人指出，通过设计实现可信度，早期干预将比事后再考虑更易于管理、更高效、更节省资源。

以人为本的方法

联合国大会第 79/239 号决议在三个关键背景下强调了人的因素：它呼吁人工智能以人为本，强调在人工智能的使用方面保持人类判断和控制的必要性，力量，并申明人工智能应用必须符合既定的规范框架，例如国际人道主义法和国际人权法。

从社会技术的角度来看，小组成员建议各国可以建立多种控制措施，以确保人类做出正确判断并保持对影响的控制。整个小组讨论中反复出现的主题是，系统的设计和开发必须与人类协同工作并为人类服务，而不是取代人类，尤其是在关键决策方面。

许多人表示，例如，法律裁定必须仍然是人类的判断，因为只有人类——而不是系统——才能根据国际人道法承担责任。虽然决策支持工具（例如附带损害计算工具）可以为人类的选择提供信息，但一位小组成员强调，这些统计输出是法律评估推动者的输入，而不是评估本身——拒绝了将国际人道法“编码”到人工智能系统中或利用评估工具（例如区分或比例）的建议。为了有效地服务于人类，一些人建议，必须从生命周期的早期就将判断抑制因素和认知倾向（例如过度信任或自动化偏见）纳入其中。

还有人认为，各国应务实地借鉴其他领域的相关讨论，例如网络空间和民用自动驾驶汽车。会议指出，问责驱动责任，责任影响行为：让利益相关方参与责任链可能会激励他们以新的方式进行创新。

流程级方法

小组强调，确定合适的讨论环境和方式将影响对话及其结果的广度、深度、丰富性、长度和强度。例如，会议指出，多利益相关方对话可以在不同层面建立透明度和信任。

小组成员指出，重点讨论能够产生有意义的行动成果。鼓励各国从高层考量转向量身定制的框架，无论是基于应用、基于风险还是其他方法。与会者认为，更加集中的关注有助于增进共识，并激发人们对特定技术的特定特性如何以特定方式使用来挑战我们现有的法律、规范和操作框架及实践的关注。

简介