英国上议院于2023年12月1日发布《谨慎前进：人工智能在武器系统中的应用》报告（Proceed with Caution: Artificial Intelligence in Weapon Systems，下文简称《报告》）。《报告》首先介绍了人工智能支持的自主武器系统，其次探讨了自主武器系统可能对战场产生的影响。此外，还进一步讨论了国际人道主义法如何适用于自主武器系统。最后，简要概括了英国在人工智能系统开发和应用层面的情况和立场。现将该报告主要内容编译如下，供读者参考。

01

人工智能支持的自主武器系统

图片

（一）自主武器系统的定义

《报告》指出，自主武器系统（Autonomous Weapon System(s)，AWS）是指能够在几乎没有人为干预的情况下选择、探测和攻击目标，或者在一个或多个方面具有一定自主性的武器系统。当前国际上对AWS的定义还有争议，许多专家呼吁有必要制定出公认的AWS定义。其中英国尚未明确AWS的内容构成，这对其制定相关政策和参与国际论坛讨论构成了挑战。英国国防部对在如此复杂和快速发展的自主武器系统领域赋予AWS某种狭隘的定义持谨慎态度，一方面，有局限性的内涵将面临很快过时的情况，无意中阻碍国际相关进展。另一方面，同其他国家和组织采用与技术无关的定义相比，英国不参与定义AWS的做法有一定的合理性。

《报告》认为无论AWS的具体定义如何，都必须包含以下要素：一是具备自主性。AWS完成从识别到选择，最后到攻击的整个交战周期几乎或完全不需要人工参与。二是使用AI技术。通过对从传感器获取的信息进行AI分析，进而实现获取、跟踪、选择和攻击军事目标。三是明确使用目的。部署AWS系统的目的在于增强破坏力。

图片

（二）AI模型的功能和局限

《报告》指出，AI技术或最具变革性、颠覆性和普遍性，正在改写整个行业规则。AI系统中支持机器分析的底层技术和主导领域是机器学习。因此，了解机器学习系统运行的风险和可靠性十分重要。机器学习系统的输出是概率性的，这意味着它可能会产生不确定的输出，尤其是当其应用于全新的、具有挑战性的环境时，这样的环境增加了使用过程中不可预见的风险，从而削弱指挥官或操作员准确预测结果的能力，因此在设计阶段应进行适当的人工输入和控制。除此以外，具有代表性的数据集对于机器学习系统的成功是至关重要的。然而，用于训练AWS的真实数据由第三方提供，面临在数量和质量上受到限制的境况，因而难以对数据进行检查。对此，《报告》认为政府需要收集、处理好高信度和效度的数据集。

图2：大型数据集图片

02

AWS与未来战场

《报告》认为在战场上使用AWS对于战争来说是一次革命，因为AWS将人工智能带到了战场上。

图片

（一）AWS潜在战场效益和风险

《报告》指出，支持AI技术的AWS在防御能力和准确性方面能发生阶梯式变化，具体体现在速度和效率的提高。这些能力一旦实现，就很可能改变战争的性质，减少伤亡。与此同时，包括AWS在内的AI武器也带来了风险。一是AI技术能否准确识别和瞄准威胁，当前的AI系统非常脆弱，难以适应限制性的假设范围之外的条件；二是人类不参与实际战场作战可以减少使用武力的决策时间，加快自主系统的使用速度，从而可能使冲突升级。三是没有明确自主系统的负责人将导致自主系统可能存在行为不合法或不合意的情况。四是由计算机软件支撑的系统易受到网络攻击，攻击者可能试图控制系统、中断操作、收集机密信息或篡改培训数据。针对这些问题，《报告》认为英国政府必须了解人工智能系统的能力和局限性，根据人工智能系统和人工操作系统的操作和易错性对AWS的性能进行基准测试。然而，英国目前在如何解决保护系统免受敌方干扰或攻击的问题以及如何应对敌方使用AWS方面存在困扰，政府需要意识到敌方使用AWS带来的威胁，从而避免由于盲目自信能够垄断某项技术而轻视敌人的想法。同时，也必须采取行动，尽可能确保英国自身系统不受干扰。

图片

（二）人工智能军备竞赛

围绕军备竞赛的话题往往侧重于西方与中国的对比。伦敦国王学院战争研究系（War Studies, King’s College London）荣誉教授劳伦斯·弗里德曼爵士（Lawrence Freedman）认为军备竞赛分为两种：一种是双方都试图做同样的事情，另一种是一方想方设法打击对方。斯德哥尔摩国际和平研究所(Stockholm International Peace Research Institute)人工智能项目治理主任文森特·布兰宁（Vincent Boulanin）博士表示，各国正在进行的不是军备竞赛，而是一场为了获取数据、人才、硬件的人工智能能力竞赛。

图片

（三）核指挥、核控制和通信领域中的人工智能

人工智能的发展可能在核指挥、核控制和通信方面（nuclear command, control and communications，NC3）产生更大的影响。机器学习可以提高预警系统的探测能力，增加对情报、监视和侦察（intelligence, surveillance and reconnaissance ，ISR）数据进行交叉分析的可能性，增强对结构的保护，使其免受网络攻击，并提高系统性能。但是，AI的复杂性和脆弱性也带来了风险。敌方可能黑客攻击系统、破坏训练数据或操纵输入。同样，AI可能被用来欺骗、黑客攻击甚至改造预警系统或其他控制结构，使其相信核打击正在进行。

图3：核打击图片

03

自主武器系统相关的国际法问题

图片

（一）自主武器法和国际人道主义法

在武装冲突中使用自主武器系统主要受国际人道主义法管辖。国际人道主义法是规范国家间以及国家与非国家武装团体之间武装冲突的国际法体系。该法旨在保护平民和其他非战斗人员（如伤病员、医务人员和战俘）并防止不必要的痛苦。国际人道主义法的基本规则由来已久，其源自习惯国际法和国际条约，特别是1949年制定的《日内瓦公约》（Geneva Conventions）和1977年增补的《附加议定书》（Additional Protocols）。这些国际人道主义法条约在武装冲突方面制定了详细规定，其中有四项一般原则适用于所有情况下的敌对行动。以下是这四项一般原则的内容：

军事必要性（Military necessity）：只有在实现冲突合法的必要情况下才可以对敌人使用军事力量。

人道（Humanity）：任何一方不得造成超出实现合法军事目的范围的痛苦、伤害和破坏。

区分（Distinction）：冲突各方在任何时候都必须区分平民和战斗人员，民用物体和军事目标。攻击必须只针对战斗人员或军事目标，不区分平民和战斗人员的攻击将被视为滥杀滥伤和非法攻击。

相称性（Proportionality）：国际人道主义法不禁止可能对平民或民用物体造成附带伤害的攻击，但如果相比于军事利益，对平民造成了不成比例的伤害，那么这种攻击就是非法的。《日内瓦公约第一附加议定书》(Additional Protocol I to the Geneva Conventions)将不相称的攻击定义为“可能附带造成平民生命损失、平民受伤害、民用物体受损害，或三种情形均有，而且与预期的及直接军事利益相比损害程度过多”的攻击。

图4：世界人道主义日

图片

（二）自主武器系统遵守国际法的情况

《报告》指出许多人对自主武器系统遵守国际人道主义法，特别是对区分原则和相称性原则的能力表示严重关切。因为这些原则的适用往往需要在复杂和瞬息万变的军事设想背景下作出判断，而这种判断在很大程度上取决于情势的背景和具体事实。

红十字国际委员会（International Committee of the Red Cross）法律顾问乔治亚·海因兹（Georgia Hinds）认为，该组织最关注的是一旦被人类启动就会自动发起攻击的自主武器系统。这些系统使用在启动阶段被输入进去的通用目标文件，并对传感器探测到的环境信息作出反应。但其中也存在困难，即用户没有选择，甚至无法完全知道特定目标、武力打击的精确时间和位置。

专家们一致认为，在目前的技术水平下，机器还无法取代人类胜任特定评估工作。纽卡斯尔大学法学院（Newcastle University Law School）讲师艾略特·温特（Elliot Winter）博士认为，机器并不具备某些任务所需的理解和推理能力。例如识别受伤或投降的战斗人员，或辨别出特定袭击中哪种程度上的附带损害是可以接受的。要具备令人满意的判断能力，当下人工智能的水平还有很大的提升空间，甚至要发展为和人类一样智能的“通用人工智能”（artificial general intelligence，AGI）。

图5：美国“捕食者”无人机

无独有偶，埃塞克斯大学法学院（University of Essex Law School）的诺姆·卢贝尔（Noam Lubell）教授认为，至少目前不可能有哪一台机器能执行相称性原则所要求的平衡行动，该原则要求将民事损失与军事打击必要性相区分。他认为目前有一些基于人工智能的附带损害评估工具，但只能评估其中一个。平衡二者还需要人类来做......技术无法做到这一点，使用它显然将是违法的。此外，人们也担心人工智能系统中有可能存在偏见。目标配置文件中的偏见会引起更多潜在的国际人道主义法合规问题。理查德·莫耶斯（Richard Moyes）指出，在美国的无人机计划中，如果在袭击中被杀的人是16至70岁的男性，那么他们就会被评估为战士，而非平民。这显然在法理上违背了人们是否会成为打击目标的标准。

虽然诸如上述针对自主武器系统的担忧不在少数，但是也有一些型号的自主武器系统已经投入使用多年，且经评估符合国际人道主义法。斯德哥尔摩国际和平研究所人工智能治理项目主任 文森特·布兰宁（Vincent Boulanin）博士举了一些例子，其中就有于1973年开始服役的密集阵系统（The Phalanx System）。这种系统主要安装在船上，如果侦察到有危险来袭，它就会切换到自主模式。不论入侵得是导弹还是飞机，该系统都能通过其目标识别系统识别并消除它们带来的威胁。

图6：方阵近迫武器系统/密集阵近防系统

图片

（三）有意义的人为控制

英国国防部在2022年发布的《雄心勃勃、安全、负责任：我们在国防领域提供人工智能能力的方法》（Ambitious, safe, responsible: our approach to the delivery of AI-Enabled capability in Defence）政策文件中指出，政府反对制造和使用在整个生命周期内缺乏有效人工干预的自主武器系统。使用这类武器不符合国际人道主义法的基本原则。

布兰宁博士认为“有意义的人为控制”体现出一种理念，即人应当对使用武力的决定保持自主权。“有意义”的意思是仅仅凭借人的监督无法确保自主武器系统遵守国际人道主义法，尤其是系统本身可能存在自动化偏见问题。人类应该积极发挥作用，确保自主武器系统的使用符合法律规定和伦理道德，同时高效完成军事任务。然而，对“有意义的人为控制”这一概念的认识还存在诸多分歧。正如茨韦特丽娜·范·本特姆（Tsvetelina van Benthem）所强调的那样，没有形成统一概念的原因在于这些笼统的术语可以从不同的角度去解释。有意义的控制是指在程序设计阶段进行干预，并明确指令参数、培训人员？或者说它是自主武器系统在整个生命周期中具有可解释性的必要条件？还是说在每次使用自主武器系统进行武力打击前都要确保有人类参与？

图片

（四）武器发展期间的国际人道主义法义务

《日内瓦公约第一附加议定书》第36条规定，各国有义务在研究、开发、使用新型武器，采用新型作战方式时，确保它们在某些或所有情况中是否会被《第一附加议定书》或其他适用的国际法禁止。这意味着，在政府开发自主武器系统时，必须对其是否能够以符合国际人道主义法的方式使用进行有效审查。该规定要求在武器采购过程的所有阶段，特别是研究阶段、开发阶段和采购过程的初始阶段，对新武器的合法性进行评估。

同时第36条规定也存在缺陷：（1）只有少数国家有能力进行第36条审查；（2）审查程序没有国际监督，也不要求各国披露其武器审查的结果（3）对如何进行审查也没有任何具有约束力的指导。尽管如此，英国国防部仍强调了第36条规定的重要性，认为它是确保自主武器系统符合国际人道法的重要保障之一。另外，英国国防部详细介绍了如何进行第36条审查，并强调这些保障措施意味着“不符合国际人道主义法的武器永远不会进入英国的武器库存，用于武装冲突。”

在研发过程中测试新武器是第36条规定中的一个关键要素。但是，对支持人工智能的自主武器系统进行有效测试也存在很大困难，主要体现在以下几方面。

首先，在测试内容方面存在困难。加州大学伯克利分校（University of California, Berkeley）计算科学系教授斯图尔特·罗素（Stuart Russell）表示，不仅在测试支持人工智能的自主武器系统的歧视方面存在困难，而且针对其相称性和必要性的测试也不容易开展。因为测试支持人工智能的自主武器系统的相称性和必要性非常依赖特定环境，它取决于整体军事形势等各方面因素。因此，设计出能够做出可靠判断的人工智能系统非常困难，在实验室开展针对那些条件的实验也是如此。

其次，是缺乏数据训练集。机器学习需要大量的训练数据集，往往经过数百万次迭代，机器才能学到一些知识。受制于战场的不确定性、不可预测性，以及伦理问题，自主武器系统无法在战场上进行训练。

图7：日内瓦公约及其附加协定书

04

英国国内有关自主武器系统的政策

图片

（一）五项基本原则

在《雄心勃勃、安全、负责任：我们在国防领域提供人工智能能力的方法》报告中，英国政府阐明了“重视人工智能的益处”和“应对其他国家使用人工智能的威胁”的重要性，并进一步指出，这是“当前这个时代最关键的战略挑战”之一，还列出了开发和部署支持人工智能的自主武器系统的五项原则。它们是：

（1）以人为中心：在系统的整个生命周期中考虑任何AI系统对人类的影响。

（2）责任：明确支持人工智能的自主武器系统中人类需要承担的责任，确立问责制。

（3）理解：确保相关人员适当理解支持人工智能的自主武器系统及其输出。

（4）减少偏见和危害：要求支持人工智能的自主武器系统的负责人减少系统中的风险和偏见。

（5）可靠性：支持人工智能的自主武器系统必须安全可靠。

图片

（二）采购、创新和人才队伍方面

在采购方面，英国国防部表示，虽然不排除将人工智能纳入武器系统的可能性，但目前还没有采购AWS的计划。另外，英国国防部推出了“商业X”（Commercial X）计划，该计划将通过专注数字解决方案来改变采购流程，其目的是更快地将新技术带给用户，并加快交付速度，以确保前线部队的技术能满足不断变化的要求。尽管如此，下议院国防委员会在2023年7月发布的《它出故障了--是时候修补它了：英国国防采购系统》（It is broke — and it’s time to fix it: The UK’s defence procurement system）一文中指出，英国的采购系统官僚主义严重，过于繁琐，对安全的处理方法不一致，问责制不够健全，而且其文化似乎在体制上厌恶个人责任。并对此提出了如下建议：

（1）国防部和国防装备与支持部应与工业界进行更加一致的对话。

（2）国防部应提出一项计划，说明其打算在未来10年内如何帮助发展和培养国防人才队伍。

（3）国防部在确定采购需求后应该尽早在性能、成本、时间和技术复杂程度上做出权衡。

（4）国防部必须在其采购方法中培养更强的紧迫感。

（5）如果计划遇到严重困难，国防部应在必要时对承包商采取更强硬的态度。

在用人方面，国防部在国防人工智能战略（Defence Artificial Intelligence Strategy）中确定了对更多人工智能专业知识的需求。国防部在书面文件中指出，其正在制定国防人工智能技能框架（Defence AI Skills Framework），该框架将确定整个国防领域的关键技能要求。这项工作将由国防人工智能中心（Defence AI Centre）实施，该中心还将研究制定从熟练的通才到具有专业技能的一系列人员的招聘和留用方案。

图8：《国防人工智能战略》

但是，国防部长也承认在引进和留住高素质人才方面存在薪酬问题。《报告》指出，政府必须能够调配足够多的合格人员从事人工智能工作，并对私营开发商和制造商的采购报价进行严格审查。要做到这一点，可能需要制定新的薪级表，或者借调私营部门的工作人员。

05

结语

英国国防部发布的《谨慎前进：人工智能在武器系统中的应用》报告，旨在应对新一轮军事科技革命浪潮下人工智能技术在军事作战领域和武器研发方面的挑战，顺应时代潮流，增强国防实力。《报告》中提出的保持人对武力使用的决定权，确保自主武器的使用兼顾法律规定和伦理道德，从顶层设计上制定国防人工智能技能框架等观点和做法都值得我们学习借鉴。