安全与新兴技术中心：脆弱人工智能应用危及国家安全

【编者按】2020年7月31日，美国两党政策中心与乔治敦大学的安全与新兴技术中心（CSET）发布了研究报告《人工智能与国家安全》（Artificial Intelligence and National Security）。该报告强调在当前人工智能国际竞争日益激烈的压力下，在国防和情报领域部署脆弱的人工智能应用可能带来巨大风险。对此，报告对美国政府提出了应对竞争环境和安全风险的25条行动建议。

1、引言

人工智能对于国家和国际安全而言具有巨大的意义，人工智能在国防和情报领域的潜在应用已被联邦政府视为主要的优先事项。然而，要使美国国防与情报体系接纳人工智能，还面临着一些突出的官僚和技术性挑战。此外，其他国家，特别是中国和俄罗斯，也在加队军事人工智能应用的投入。随着战略竞争愈演愈烈，在竞争压力下，部署未经测试和弱理解的系统从而增加竞争力的做法可能导致事故、失败和意料之外的冲突升级。

2、概况

美国政府已经将国防和情报视为必须取得人工智能领先地位的领域。

2018年，国会建立了“人工智能国家安全委员会”，该委员会发布了三份报告，指明了美国应当如何针对人工智能在国家安全领域的应用做好准备。

2018年国防部《人工智能战略》提出，美国及其盟友和伙伴国家，必须采用人工智能来维持其战略地位，确立未来战场的优势，保卫自由与开放的国际秩序。国防部联合人工智能中心（JAIC）负责协调其人工智能的发展，陆军、海军、空军也建立了不同的工作组负责推进其人工智能计划。

类似地，情报界《使用机器学习增强情报战略》寻求通过聚焦研发和使用人工智能、处理自动化和情报官员增强技术的方式来确保和维持其战略性竞争性信息优势。

3、建议

（一）在国防和情报领域开发、部署人工智能系统的流程必须关注人-机协作、可信任性，并且遵循国防部《人工智能伦理准则》

在国防和情报领域应用人工智能，美国可以确立相对于竞争对手的持续性军事优势。当前，国防部和情报界的人工智能研究已经在情报分析、指挥控制、自动载具、物资保障、武器系统等领域开始启动。

1.情报

人工智能对于情报特别有用，因为应用了人工智能算法的传感器和大数据可以用于模式探测、识别反常、提供提升态势感知和支持决策的洞见。例如，Maven计划，显示了使用机器学习辅助人类分析师从无人机动态视频中分析大量图像以及在打击伊斯兰国过程中识别敌对活动的价值。基于人工智能的情报分析可以为美国军队带来相对于不具备相近能力的敌人的行动优势。

2.指挥控制

人工智能可被用于校对和融合来自多种传感器和来源的信息，为决策者提供行动图景。基于人工智能的指挥控制，正如国防高级研究计划局（DARPA）的Mosaic Warfare和空军的多域指挥控制项目多展现的，可以增强美国军队在多域协调部队和资产的能力。人工智能工具对于形成有效的人-机协作、在不同的智能agents和系统之间进行协调是越来越必要的。未来的人工智能系统可被用于向决策者提供基于实时分析的行动选项。这方面的研发进展将帮助美国军队适应复杂事件，并且抓住高风险情况下的主动权。

3.物资保障

企业级人工智能应用的集成和扩大，促进后台流程、人事管理、设备维护以及其他物资保障流水线化，可以帮助提升军事设备的性能和寿命、提升审计和预算、提高效率、减少成本。空军、陆军和联合人工智能中心协同特种行动指挥部都有使用基于人工智能进行前瞻性维护的项目。联合人工智能中心也引领着开发一个基于人工智能的损害评估系统，提高人力响应和减少灾害影响。近期的国防部在人工智能方面的姿态评估显示，企业级人工智能应用给国防部带来“可轻易实现的成果”（low-hanging fruit）。然而，扩大这些工作并非不重要。

建议一：国防部应当优先在物资保障方面集成和扩大企业级人工智能应用。

建议二：联合人工智能中心和每个中心化的人工智能服务机构应当制定战略性计划，确定需求和相关的国防利益相关者，提升跨军种实施企业级人工智能应用的协调和和合作。

4.自动载具

美国军方正在将人工智能集成到许多半自动和自动载具中，包括地面载具、海军船只、战斗机和无人机。空间人工智能技术被用于感知和描绘环境、融合传感器数据、识别障碍、设定导航以及与其他载具进行通信。基于人工智能的自动载具可执行危险的任务，如爆炸物处理和沿途清理工作，从而减少对于军事人员的风险。例如，美国陆军正对作战环境中的自动载具技术感兴趣。虽然目前全自动载具尚未实现，不同的有人-无人协作、人-机协作概念已经被提出。例如DARPA的试验项目Squad X，携带人工智能和自动化系统的伙伴单位步兵小队可在复杂和动态的作战条件下做出更好决策。在最近的试验中，自动化的地面和空中系统被用于感知和监视，为穿过沙漠和模拟城市砖墙的步兵单位提供侦察并提高态势感知。

该领域的进展速度是不确定的。自动载具行业开发的商业性算法并未对国防部用途进行优化。其他挑战还包括脆弱性，缺乏算法鲁棒性，以及空中、地面和水下作战环境存在差异。

建议三：国防部应当发布一份报告，为在现实环境下落实基于人工智能的自动化能力评估现有的数据，其范围包括测试的技术原型和部署的评估。

5.武器系统

杀伤性自动武器系统是关于人工智能和国家安全的公众讨论中的一个重要而争议的维度。许多国防专家，认为应用在自动、半自动系统中的人工智能或者自动武器系统可以针对即将来临的飞行器、导弹、火箭、火炮和迫击炮弹壳提供保护。国防部《人工智能战略》也认为，人工智能系统可以通过为作战人员提供态势感知和增强型决策辅助，帮助减少民事伤亡风险和附带损害。然而，一些技术人员和伦理专家反对将人工智能用于军事用途，甚至呼吁禁止“杀手机器人”。2020年2月，国防部采纳了国防创新委员会提出的伦理使用人工智能的5条准则，即所谓的负责任、公正、可追溯、可信赖和可治理。

建议四：国防部应当继续与行业界专家们紧密合作，制定修正实施人工智能应用整个生命周期的人工智能伦理准则指南。

建议五：在现有的行业和学术界之外，国防部应当评估一个旨在引进和告知非传统受众如非政府组织、人权组织、公民社会形成对国防部伦理人工智能承诺的公众信任的整体沟通策略的成本和收益。

在上述军事功能和任务集中，人工智能工具和系统被开发以增强人类的情报能力，并且允许新形式的人-机合作。信任对于人-机协作而言是关键的。然而，也有一些关于人类是否趋向于不信任机器能否有效运作（特别是在高风险条件下），或者是否人类如此信任机器的质疑性证据。

建议六：国防部应当加大科研投入，明确集中于人-机交互信任、信任人工智能系统、压力下的信任、危险性、不同域的高风险状况等研究方向，以及如何在一个给定的系统中训练操作人员达到合适的水准。

国防部人工智能伦理准则提出，人类最终负责人工智能系统的开发、使用和输出。信任话题因此也是一个与安全和可信标准相关的讨论，也是与对人工智能系统过度信任导致可防止的措施和潜在的灾难性输出有关。

建议七：国防部应当考虑在人-机合作和协作研发中融入对安全、可信任和鲁棒性的重视。

建议八：军事法律界应当制定关于在战争中使用自动化系统相关的可负责任性和可信赖性原则如何用于军事法庭的指南。

中国和俄罗斯也期望实现基于人工智能的工具、武器和系统，增强其军事能力并暗中破坏美国的技术和行动优势。在开发和遵循人工智能安全标准，以及保持相对领先地位的紧迫性者三者之间寻求平衡并不容易。但是引领负责任的和伦理地使用和开发人工智能技术是为美国国家安全而实现人工智能潜在收益并为全球稳定而限制基于人工智能的军事系统所持有的危险性的最佳方式。

（二）美国必须与盟友和伙伴国家紧密合作，同时寻求与竞争对手如俄罗斯和中国进行有选择的、务实的合作

随着各国竞相提升其人工智能相对优势，它们也需要合作防御潜在的危险，减少风险，为其公民提供全面的人工智能收益。民主国家面临两方面挑战，一方面，它们必须加深合作，在自由民主价值观下提升人工智能系统的设计和实施效果。另一方面，它们必须有选择地、务实地与竞争对手合作，如中国和俄罗斯。国际合作的首要目标是防止非故意的使用，减少冲突升级风险，减少基于人工智能的系统和平台相关的误判和错误解释的危险。

为促进民主国家之间在人工智能领域的合作，美国应当利用其盟友倡导民主原则，促进科研合作，制定通用标准。经济合作与发展组织（OECD）已经制定了一系列人工智能伦理准则，它是这些议题领域国际合作的最理想平台。

建议九：美国应当在人工智能规范和标准的多边论坛中扮演活跃的角色，包括联合国、经济合作与发展组织、国际标准设置组织等。

建议十：国务院和国家标准与技术研究所（NIST）应当促使盟友和伙伴国家参与到美国的人工智能相关标准设定倡议中来，特别是北约、欧盟、日本、澳大利亚和韩国，确保可互操作性。

建议十一：国家科学基金会（NSF）应当与盟友国家的科学基金组织建立多边主义的人工智能研究人员团队，这些人员来自公共或私营部门，促进人工智能研发和合作。

建议十二：国防部和情报界应当与盟友国家合作，为基于人工智能的能力和系统制定和实施新的计划以及行动理念，促进军事平台和决策流程、云计算池资源和卓越创造中心的可互操作性，共享敏感数据集，制定测试、评估、认证和验证的通用标准。

建议十三：为促进同盟国在国家安全相关人工智能领域的合作，国会、白宫和国防部长应当采纳国家安全委员会《关于人工智能的Q1建议》，扩展机遇人工智能的作战和情报工作，并将其制度化。这包括建立一个“国家安全联络点”（ National Security Point of Contact），并且与五眼伙伴国家协调人工智能采购。

建议十四：为促进人工智能研发的多国合作，白宫科学技术政策办公室联合国会应当：（1）为多国创新锦标赛进行组织和募集资金。此类锦标赛可以参考DARPA的系列挑战赛和XPRIZE竞赛，这些活动都已经成功地解决了一些重大的科学和工程问题，包括人工智能。（2）识别旨在促进国际人才交流的授权和贷款机会，并为其募集资金。关于人工智能的多边合作将会是在人工智能安全和疾病爆发建模方面特别有成果的。

建议十五：国务院和美国盟友国家应当仔细考虑中国和俄罗斯的参与，确定人工智能安全和相关概念及术语方面共同关注的问题。

建议十六：国务院和美国盟友国家应当促进与中国和俄罗斯的政府和非政府专家在人工智能安全方面的1.5轨和2轨对话，包括澄清相关学说的交流。

建议十七：国务院和美国盟友国家应当与中国和俄罗斯探索“信心建立”和危机沟通程序的可能性，以减少非故意使用的可能性以及减少涉及人工智能系统的冲突升级的风险。

考虑到人工智能的不确定性和该领域的快速变化步伐，美国和其它主要国家不应拖延务实行动，坐等危机出现或事故发生。如今，塑造人工智能安全与负责任发展的环境是一大挑战。决策者们需要平衡竞争与合作压力的关系，为创新和相互关心的领域上的深化合作创建民主激励因素。

（三）联邦政府应当从基于能力和基于条件的角度，制定和提出评估外国人工智能领域的标准

主要的大国都在竞相实现人工智能的战略优势。中国每年花费了数十亿美元刺激人工智能的研究，扩大其人才基础，号称要在该领域成为技术领先者。欧盟最近发布了《人工智能白皮书》。超过19个国家已经出台了国家人工智能战略或计划，美国也发布了《关于维持美国人工智能领先地位的行政令》。

断言一个竞争战略很容易，但界定该竞争的方式和终点很难。各大国在角逐人工智能过程中，向往何种目标、使用何种政策工具、跨越什么样的时间范围？如何评估人工智能的领先地位？评估人工智能相对优势的最重要能力指标是什么？

评估人工智能领域的全球竞争需要界定人工智能的核心能力，以及判断这些能力如何与科学技术进步的驱动者进行交互。宽泛意义下，有两个主要的评估人工智能全球竞争力的途径：基于能力的路径和基于条件的路径。

机器学习系统需要数据、复杂算法和运行该算法的计算能力。基于能力的路径聚焦于以下指标，如公共和私营部门募集科研资金、出版和和专利、参与顶尖人工智能大会（如神经信息处理系统年会）、半导体制造设备等指标。

基于条件的路径主要考察创新生态系统和刺激人工智能设计、开发和能力部署的政策框架。该路径评估可建立现代人工智能系统的国内人才库、对院校和课程设计的支持、培养高层次计算机科学与工程人才所必要的教育体制。

每一种路径对于评估国家的人工智能相对竞争力都是必要的。数据、算法、计算能力是人工智能系统的“砖瓦”。但这些系统在政策和监管框架下可能阻碍或激励人工智能的大规模使用。政策制定者必须着眼于加强能力和条件来出台战略，以促进民主社会的安全、经济繁荣和核心价值观。

建议十八：情报界应当采用和修正基于能力和基于条件的标准，以评估全球人工智能竞争力。

建议十九：联邦政府应当扩展公-私伙伴关系，利用政府、行业界、学术界和慈善机构的捐赠，通过可用的计算资源和测试设施、设计策略进行国家科研资金募集。

建议二十：联邦政府应当建立一个国家科学技术分析中心，负责收集科技信息，提供科学技术决策支持，传递相关的成果。

（四）联邦政府应当在研究、发展、测试和标准化方面加大投入，以便建立和部署更多可信任的前沿人工智能系统

人工智能的研究进展显示其可以应用于越来越多的领域，国防和情报领导层自然希望看到其应用于解决各自部门的问题。然而目前，一个重要的限制性因素是，在高风险的国防和情报领域，机器学习方法并不可靠或足够安全。

原因很多。机器学习系统目前是脆弱的，给予不熟悉的输入时，它以未曾预料的方式发生故障，并且不透明，以专家非常难懂的方式处理信息。这些特点使人工智能系统不适合高风险的国防和情报环境：（1）它们在敌人的恶意操纵面前充满漏洞，（2）即便没有恶意捣乱者，它们在处理新问题时也可能并不可靠。这尤其是在使用“深度学习”系统时更加显著。

高风险的应用是国防和情报界对人工智能的可能使用案例中的一部分。兰德公司最近的研究揭示了国防人工智能应用的三种类型：（1）企业级人工智能（enterprise AI），（2）任务支撑型人工智能（mission support AI），（3）行动型人工智能（operational AI）。当前的机器学习系统并不全适合于行动型或任务支撑型应用。在关键领域使用不可靠或不安全的系统可能导致向友军开火、非故意的参与或冲突升级，或者其它失败。

建议二十一：国防和情报机构应当使机器学习系统的研发和部署聚焦于“非安全关键”（non-safety-critical）的设定，例如企业级应用，直到可信赖、可解释和安全性等更高标准能够得到实现。

在前几代计算机系统中，国防部制定了一个稳健的测试、评估、认证和验证（TEVV）流程工具，用于在任何系统部署前确保其性能和可靠性。然而，该流程却不适用于机器学习系统。机器学习系统并非建立于人类的规则下，相反，它们使用神秘莫测的函数、从数据中进行学习。简而言之，在TEVV范式下检查给定的机器学习系统，将面临过于巨大的、无止尽的输出结果集。

应对机器学习系统特性的新范式和流程是必要的，如DARPA信息创新办公室提出的“持续开发／持续集成／持续认证验证”（CD／CI／CV）模型。开发这些范式和流程需要一个组织（如NIST）来进行协调，推动学术界和私营部门的协调。

建议二十二：NIST应当成为引领和协调联邦政府为机器学习开发关于测试、评估、认证和验证（TEVV）最佳实现的资源。

建议二十三：资金应当被指令给国家科学基金会和能源局，以便为基础研究之下的机器学习测试、评估、认证和验证（TEVV）科学研究提供支持。

美国必须制定实施理念、框架和流程，确保人工智能用于“安全关键”（safety-critical）的领域。如果成功，这将揭示人工智能所能使用范围的整个边界。如果不成功，结果可能是事故、失败和破坏。

（五）必须仔细研究和严格执行出口和投资管控措施，以便阻止敏感的人工智能技术被转让给中国

中国故意获取美国的技术并不是什么新鲜事。出口控制和投资控制是阻止此类行为的两项重要的政策工具。近几年，国会已经通过了立法，升级了控制类型，以应对新兴技术相关的挑战：《2018年出口控制改革法案》（ECRA）、《2018年外国投资风险审查现代化法案》（FIRRMA）。ECRA指定商务部为新兴的基础性技术制定新的出口控制措施。FIRRMA则更新了CFIUS的职能，作为阻止中国对科技公司进行战略性投资的主要机制，要求对敏感技术如人工智能的公司所涉及的交易加强投资审查。

ECRA和FIRRMA代表着阻止向中国和其他国家转让敏感技术的重要进展。然而，还需要采取进一步行动的一个关键领域是前沿的计算机芯片和制造芯片的设备。最先进的、特殊化的计算机芯片对于开发和部署最先进的人工智能系统而言是必要的。对于人工智能应用，最先进的、特殊化的人工智能芯片可能比老一代芯片的速度和效率高出10000倍以上。即便配备了最先进的、特殊化的人工智能芯片，为了开发最先进的人工智能系统而花费的成本仍高达数千万美元，缺少了它们，生产先进的系统是不可能实现的。

目前，只有少数总部设在美国、韩国和台湾的公司可以生产最先进的芯片。这给这些政府提供了一个同步采取最终用途和最终用户出口控制措施的机会，阻止人工智能被威权型国家行为体滥用。

建议二十四：国务院和商务部应当与盟友和伙伴（特别是台湾和韩国）紧密协调，与美国现有的出口控制措施同步，为中国和俄罗斯的军事最用用途和最终用户对先进人工智能芯片采取出口控制机制。

中国正在投入数百亿美元，建立其自己的最先进芯片生产能力，从而规避这些出口控制措施。目前它已经取得了有限的成果。然而，这种成果仅仅是因为中国可以从国外进口芯片制造设备。中国目前没有能力建立必要的芯片生产制造工具。多数芯片制造设备主要来自这三个国家：美国、荷兰和日本。

建议二十五：国务院和商务部应当与日本和荷兰紧密协调，利用《瓦森纳协定》和美国《商业出口清单》，对用于生产芯片的芯片制造设备采取多边主义的出口控制，应当采取推定拒绝（presumptive denial）的出口许可规则。

当前《瓦森纳协定》和《商业控制清单》中，对于平版印刷设备（一种重要的芯片制造设备类别）的控制门槛是45纳米。如果继续实施，可以使中国的人工智能系统限制在65纳米芯片，其成本是使用最先进的5纳米芯片的25倍以上。之所以推荐“推定拒绝许可”的规则，是因为尽管《瓦森纳协定》和《出口控制清单》设定了45纳米下限，但多数许可证都在当前的case-by-case许可政策下获批，允许中国实现达到14纳米的生产能力。尤其重要的是，推定拒绝政策不会必然减少涉案公司的营收。它只是改变芯片生产，并因此设备就只能销售给中国以外的公司，这些公司然后可以将其芯片销售给中国客户。

编译 | 黄紫斐/赛博研究院研究员

声明：本文来自赛博研究院，版权归作者所有