作为微软的首席科学官，我就我们理解前沿的科学进步和趋势，以及在技术、人和社会的交叉点上出现的问题和机遇提供领导和观点。几十年来，我一直在追求和管理人工智能技术的原理和应用研究，从我在斯坦福大学的博士工作开始。我曾担任国家安全委员会人工智能委员会（NSCAI）的专员，人工智能促进协会（AAAI）的主席，美国科学促进会（AAAS）计算，信息和通信部门的主席。我是美国国家工程院（NAE）和美国艺术与科学院的成员。我目前在总统科学技术顾问委员会（PCAST）和美国国家科学院计算机科学和电信委员会（CSTB）任职。
我将在我的证词中介绍人工智能和网络安全交叉点的四个关键关注领域，这些领域值得更深入的理解和深思熟虑的行动：
- 利用 AI 推进网络安全
- 利用 AI 为网络攻击提供动力
- 人工智能系统对攻击的漏洞
- 人工智能在恶意信息操作中的应用
在讨论这些主题之前，我将简要介绍网络安全格局和人工智能的最新进展。我将以对方向的反思来结束我的证词。
1. 网络安全不断变化的格局
对计算系统和基础设施的攻击在复杂性、速度、频率和规模方面持续增长。我们已经看到了新的攻击技术和利用新的攻击面，旨在破坏关键基础设施和访问机密数据。[1] 仅在 2021 年，由 AI 技术支持的 Microsoft 365 Defender 套件就阻止了超过 96 亿次恶意软件威胁、357 亿次网络钓鱼和恶意电子邮件，以及 256 亿次劫持针对企业和消费者设备的客户帐户的尝试。[2]，[3]多份独立报告描述了不同形式的网络攻击的性质和状态。[4] 正如微软最近的数字防御报告所详述的那样，[5] 网络犯罪分子和民族国家行为者继续调整他们的技术来利用新的漏洞和对抗网络防御。
为了帮助缓解这些令人担忧的趋势，美国政府已采取重大措施来保护我们的网络生态系统。国会颁布了网络空间日光浴委员会提出的几项建议，例如创建国家网络主任办公室和制定网络事件报告立法。大约一年前，政府发布了第14028号行政命令（E.O.），改善国家的网络安全，指示各机构制定和实施各种举措，以提高供应链安全等领域的网络安全标准，并要求各机构采用零信任模式。Microsoft 一直在努力满足 EO 中关于网络安全的最后期限，我们支持这些努力，以鼓励对不断变化的网络威胁做出有凝聚力的响应。
我们期望面对富有创造力和不知疲倦的国家和非国家行为者的持续努力，他们将试图用最新的可用技术攻击计算系统。我们需要继续积极主动地应对威胁，并注意系统、技术和使用模式的变化。在后者方面，随着日常生活变得更加交织在一起，在线工作和个人活动之间的流动性日益增加，网络安全挑战加剧了。[6] 随着 COVID-19 大流行，向混合工作范式的大规模转变使工人远离传统的受控环境。网络安全解决方案必须使人们能够从各种非传统位置在各种设备上高效、安全地工作。
2. 人工智能的进步
人工智能是计算机科学的一个领域，专注于开发原理和机制来解决通常与人类认知相关的任务，例如感知、推理、语言和学习。自“人工智能”一词首次用于一项资助提案以来的67年中，人工智能理论和应用已经取得了许多里程碑，该提案为该领域提出了令人惊讶的现代愿景。[注7]
在过去十年中取得了特别惊人的进展，涵盖了机器视觉（例如，对象识别），自然语言理解，语音识别，自动诊断，推理，机器人和机器学习（从数据中学习的程序）的进步。人工智能子学科的许多令人印象深刻的收益都归功于一种名为深度神经网络（DNN）的机器学习方法。DNN 在大量数据和计算资源的推动下提供了前所未有的准确性。
准确性的突破包括在许多特定基准上超过人类基线的表现，包括跨视觉和语言子任务的技能集。虽然人工智能科学家仍然对人类智力的力量感到困惑，但进步的速度甚至让经验丰富的专家感到惊讶。
核心人工智能能力的飞跃导致了令人印象深刻的演示和现实世界的应用，包括旨在为决策者提供建议、生成文本和视觉内容以及提供新形式的自动化的系统，例如控制自主和半自动驾驶汽车。
可以利用人工智能技术为现有的工作流程和流程注入新的效率和效率。这些方法还可用于引入应对现有挑战的全新方法。如果以负责任和有见地的方式部署，人工智能技术可以提高我们公民的生活质量，并增加我们国家和世界的活力。例如，人工智能技术通过为医生提供诊断挑战方面的帮助、优化治疗的指导以及关于导致新药物的蛋白质结构和相互作用的推断，在增强医疗保健方面显示出巨大的希望。
人工智能的进步对国防部、我们的情报界以及更广泛的国家安全具有重要意义。像任何技术一样，人工智能不断增强的能力可供朋友和敌人使用。因此，除了利用人工智能为人类和社会做出有价值的贡献外，我们还必须继续努力，了解和解决恶意行为者和对手可以利用这些技术来破坏、干扰和破坏的可能性。人工智能对网络安全具有重要意义，因为这些技术既可以为防御网络攻击提供新的力量，也可以为对手提供新的能力。
3. 利用 AI 推进网络安全
在网络安全应用中利用人工智能的价值正变得越来越明显。在众多功能中，人工智能技术可以提供对攻击期间生成的信号的自动解释、有效的威胁事件优先级和自适应响应，以解决对抗性行动的速度和规模。这些方法显示出快速分析和关联数十亿个数据点的模式的巨大前景，以追踪几秒钟级的各种网络威胁。此外，人工智能可以不断学习和适应新的攻击模式——从过去的观察中获取见解，以检测未来发生的类似攻击。
3.1 协助和补充劳动力
人工智能技术带来的自动化和大规模检测、优先级排序和响应的力量不仅可以减轻网络安全专业人员的负担，还可以帮助解决日益扩大的劳动力缺口。关于当前网络劳动力面临的挑战：美国劳工统计局估计，从2020年到2030年，网络安全就业机会将增长33%，是全国平均水平的六倍多。[8]然而，进入该领域的人数并没有跟上。根据 2021 年 10 月发布的 2021 年 （ISC）2 网络安全劳动力研究，全球网络安全专业人员短缺 272 万。[9]
优先考虑网络安全的组织 24/7 全天候运行安全运营团队。尽管如此，要分析的警报通常比分析师要对它们进行分类的警报多得多，从而导致错过警报，进而演变为违规行为。趋势科技于 2021 年 5 月发布了一项针对安全运营中心决策者的调查，该调查显示，51% 的人认为他们的团队对警报总量不堪重负，55% 的人对自己有效确定警报优先级和响应警报的能力没有信心，27% 的时间用于处理误报。[注10]
AI 技术使防御者能够有效地扩展其保护能力，协调和自动化耗时、重复和复杂的响应操作。这些方法可以使网络安全团队在更相关的时间范围内处理大量经典威胁，减少人为干预并获得更好的结果。这种对基本要素进行扩展的支持可以让网络安全专业人员腾出时间，专注于那些需要专业知识、批判性思维和创造性解决问题的攻击，并确定其优先级。但是，还应额外关注一般网络安全培训、安全意识、安全开发生命周期实践和模拟培训模块，包括使用 AI 运行智能和个性化模拟。
3.2 处于多个安全阶段的人工智能
如今，人工智能方法正在安全的所有阶段得到利用，包括预防、检测、调查和补救、发现和分类、威胁情报以及 安全培训和模拟。我将依次讨论这些应用程序中的每一个。
预防。预防包括努力降低软件易受攻击的脆弱性，包括用户身份和数据、计算系统端点和云应用程序。人工智能方法目前用于商用技术，以检测和阻止已知和以前未知的威胁，以免造成伤害。2021 年，AV-Test Institute 观察到超过 1.25 亿个新的恶意软件威胁。[11] 机器学习技术从过去的模式中概括出来以捕获新的恶意软件变种的能力是能够大规模保护用户的关键。
例如，去年Microsoft 365 Defender成功阻止了一个文件，该文件后来被确认为GoldMax恶意软件的变种。Defender从未见过GoldMax的新变种。利用AI模式识别器的强大功能与称为“模糊哈希”的技术（一种获取恶意软件指纹的方法）结合使用，捕获并阻止了恶意软件。[12] 重要的是要注意，GoldMax 是持续存在于网络上的恶意软件，通过冒充系统管理软件的活动来假装是“计划任务”。这种作为预定任务的隐藏是 NOBELIUM 工具、战术和程序的一部分，NOBELIUM 是 2020 年 12 月针对 SolarWinds 的攻击背后的俄罗斯国家行为者，美国政府和其他人已将其确定为俄罗斯外国情报机构 SVR 的一部分。
在其他工作中，我们发现人工智能方法可以提高我们检测复杂网络钓鱼攻击的能力。网络钓鱼攻击以社会工程为中心，攻击者创建虚假网页或发送欺诈性消息，旨在诱骗某人向攻击者泄露敏感数据或在受害者的设备上部署恶意软件，例如勒索软件。为了帮助保护人们免受有害 URL 的侵害，AI 模式识别器已部署在浏览器和其他应用程序中，作为其安全服务的一部分。AI 方法可以改进检测，同时降低误报率，这可能会让最终用户感到沮丧。[注13]
检波。 检测涉及在可疑行为发生时识别和发出警报。目标是快速响应攻击，包括识别攻击的规模和范围、关闭攻击者的入口以及修复攻击者可能已建立的立足点。检测可疑活动的主要挑战是通过寻求高准确率的安全警报与误报来提供足够的覆盖范围之间找到适当的平衡。人工智能方法被用于检测，以 （1） 对有关潜在攻击的警报进行分类，（2） 识别随着时间的推移的多次违规尝试，这些尝试是更大、更长的攻击活动的一部分，（3） 检测恶意软件在计算机或网络上运行时活动的指纹，（4） 识别恶意软件通过组织的流动，[14]和（5）当需要快速响应以阻止攻击传播时，指导自动缓解方法。例如，如果检测到已知与勒索软件活动相关的一系列警报，则自动化系统可以关闭网络连接并包含设备，例如银行可能拒绝看似欺诈的信用卡交易的方式。
目前有几种技术可以帮助检测攻击。我将使用 Microsoft 365 Defender 功能作为示例。一组神经网络模型用于通过融合有关计算系统内活动的多个信号来检测正在进行的潜在攻击，包括正在启动和停止的进程、正在更改和重命名的文件以及可疑的网络通信。[15]， [16] 此外，概率算法用于检测网络上“横向移动”的高可能性。[17] 横向移动是指恶意软件（例如勒索软件）在感染组织时从一台机器移动到另一台机器。目标是检测有关传播模式的信号，并通过隔离可能受感染的机器并提醒安全专家进行调查来关闭感染。由于许多合法操作可能看起来像恶意软件的横向移动，因此简单的方法可能会有很高的误报率。人工智能系统可以帮助提高捕获率并阻止这些传播感染，同时减少误报。[注18]
最近的一个例子是，2022 年 3 月，微软利用其人工智能模型识别了一次归因于俄罗斯行为者的攻击，微软将其追踪为铱星，也称为沙虫。 美国政府将铱星活动归因于据称位于俄罗斯联邦武装部队总参谋部总局 GRU 部队 74455 的团体。该演员在位于利沃夫的一家乌克兰航运公司部署了雨刮器恶意软件。擦除器恶意软件会擦除其感染的计算机上的数据和程序。这种恶意软件的第一个记录遭遇是在运行启用了云保护的Microsoft Defender的系统上。Defender 中的机器学习模型集成，结合客户端和云中的信号，使 Microsoft 能够在第一眼看到这种恶意软件。
调查和补救。 调查和补救是在违规后使用的方法，用于让客户全面了解安全事件，包括违规程度、受影响的设备和数据、攻击如何在客户环境中传播，以及寻求威胁的归因。[19] 从遥测源收集和进行合成是乏味的。迄今为止，这些工作包括多种工具，用于从组织内部和组织之间收集遥测数据。使用人工智能进行调查和补救是一个有前途和开放的研究领域。[20]，[21]
威胁情报。 威胁情报使安全研究人员能够通过跟踪活跃的恶意行为者（有时故意与他们接触并研究他们的行为）来掌握当前的威胁形势。如今，Microsoft 积极跟踪 40 个国家/地区的 20+ 个活跃的民族国家行为者和 140+ 个威胁组织。[22]，[23] 人工智能方法有助于识别和标记来自多个提要和跨机构情报共享的实体。人工智能模型通过识别不同活动之间的相似之处来增强威胁归因，从而学习和推断高级关系和交互的能力显示出希望。[24]，[25]
建议：推进人工智能方法的开发和应用，以防御网络攻击
- 遵循网络安全卫生方面的最佳实践，包括实施核心保护，例如多重身份验证。加强安全团队，定期测试备份和更新补丁，测试事件响应计划，并将互联网访问限制为不需要互联网连接的网络。
- 投资于培训和教育，以加强美国网络安全方面的劳动力，包括传统和人工智能系统的网络安全教育和培训计划。
- 投资于研发，利用机器学习、推理和自动化来检测、响应和保护网络攻击杀伤链的每一步。
- 激励建立跨部门伙伴关系，以促进围绕网络安全经验、数据集、最佳实践和研究的共享和协作。
- 制定特定于网络安全的基准和排行榜，以验证研究并加速学习。
4. 人工智能驱动的网络攻击
虽然人工智能正在提高我们检测网络安全威胁的能力，但随着网络安全攻击越来越复杂，组织和消费者将面临新的挑战。迄今为止，对手通常以手动方式使用软件工具来实现其目标。他们已经成功地泄露了有关美国公民的敏感数据，干扰了选举，并在社交媒体上传播宣传，而没有使用人工智能技术。[26]，[27]，[28]虽然迄今为止关于人工智能在网络攻击中的积极使用的信息很少，但人们普遍认为人工智能技术可以通过各种形式的探测和自动化来扩展网络攻击。网络安全社区内的多项研究和游戏工作已经证明了使用人工智能方法攻击计算系统的力量。这项工作领域被称为攻击性AI。[29]，[30]
4.1 攻击性人工智能的方法
攻击性人工智能方法可能会被用作推动和扩展网络攻击的交易工具。我们必须为对手做好准备，这些对手将利用人工智能方法来增加攻击的覆盖范围、攻击的速度和成功结果的可能性。我们预计，人工智能在网络攻击中的使用将从复杂的参与者开始，但将通过提高其工具的合作水平和商业化程度迅速扩展到更广泛的生态系统。[注31]
基本自动化。正如防御者使用人工智能来自动化他们的流程一样，对手也可以为了自己的利益而引入效率和效率。使用基本的预编程逻辑自动攻击在网络安全中并不新鲜。在过去五年中，许多恶意软件和勒索软件变体都使用相对简单的逻辑规则集来识别和适应操作环境。例如，攻击软件似乎已经检查了时区以适应本地工作时间，并以各种方式定制行为以避免检测或采取量身定制的行动来适应目标计算环境。[32]，[33]另一方面，自动化机器人已经开始在社交媒体平台上激增。[34]这些都是人工智能的基本形式，可以编码和利用攻击者的专业知识。然而，人工智能技术的实质性改进使得合理的恶意软件更具适应性、隐蔽性和侵入性。[注35]
基于身份验证的攻击。AI方法可用于基于身份验证的攻击，例如，最近开发的AI方法可用于生成合成声纹，以通过身份验证系统获得访问权限。在 2018 年 DEF CON 会议的夺旗 （CTF） 网络安全竞赛中展示了令人信服的语音冒充演示以欺骗身份验证系统。[注36]
人工智能驱动的社会工程。 人类感知和心理是网络防御的薄弱环节。AI 可用于利用此持久性漏洞。我们已经看到人工智能在社会工程中的使用兴起，旨在将机器学习的力量用于影响人们的行为，以执行不符合他们兴趣的任务。例如，人工智能方法可用于生成超个性化的网络钓鱼攻击，即使是最注重安全的用户也能欺骗。2018年的一项引人注目的研究表明，如何使用人工智能方法来显着提高最终用户点击社交媒体帖子中恶意链接的可能性。人工智能系统从公开数据中学习，包括目标个人的在线个人资料、连接、帖子内容和在线活动。机器学习用于优化消息的时间和内容，目标是最大限度地提高点击率，并取得了显著的成果。[37] 2021 年的一项研究表明，电子邮件的语言可以使用大规模神经语言模型自动制作，并且 AI 生成的消息比人类编写的消息更成功。[38]在相关方向上，微软追踪了使用人工智能制作令人信服但虚假的社交媒体资料作为诱饵的团体。
4.2 人工智能驱动的前沿网络攻击
在我于2019年共同组织的美国国家科学院关于进攻性人工智能的研讨会上的演讲中强调了为更复杂的进攻性人工智能做准备的必要性。该讲习班由国家情报总监办公室赞助，导致各学院提供一份报告。[39]该报告讨论了人工智能方法在整个网络杀伤链中的应用，包括在社会工程学、漏洞发现、利用开发和定位以及恶意软件适应中的人工智能方法和工具，以及可用于针对人工智能系统中漏洞的方法和工具，例如民用和军用应用中使用的自治系统和控件。
网络安全研究界已经展示了人工智能和其他复杂计算方法在网络攻击中的力量。攻击者可以利用人工智能有效地猜测密码，在不引起怀疑的情况下攻击工业控制系统，并创建逃避检测或阻止检查的恶意软件[40]，[41]，[42]，[43]，[44]，[45]支持人工智能的机器人还可以自动进行网络攻击，使攻击者的命令和控制通道难以消除。[46]在另一个方向上，一名竞争对手在2016年的DARPA网络大挑战赛中展示了如何使用机器学习来学习如何产生“谷壳”流量，这是一种在线活动的诱饵模式，类似于真实攻击中看到的事件分布，以分散注意力和掩盖实际攻击策略。注48页
可以肯定的是，人工智能将改善当今各种威胁的成功、影响和范围。人工智能还将带来新的挑战，包括人工智能组件和应用程序的一般使用引入的特殊网络漏洞，这为对手创造了新的漏洞。
建议：为恶意使用 AI 执行网络攻击做好准备
- 提高国防部和其他联邦机构对人工智能驱动的网络攻击威胁的认识，以及针对这些攻击的防御方向，包括检测和阻止新形式的自动化和扩展。
- 国防部应与网络安全社区深入接触，参与人工智能增强型网络攻击的研发和竞赛，并继续从前沿进展、发现和建议的缓解措施中学习。
- 增加研发资金，探索人工智能与网络安全融合的挑战和机遇。考虑建立联邦政府资助的网络安全卓越研发中心。执行NSCAI的建议，投资DARPA，以促进对人工智能网络防御的更多研究。[注49]
- 正式化并建立更高效的跨部门网络，以共享不断发展的技术、数据、攻击媒介和攻击的更新。
5. 人工智能系统的特殊漏洞
人工智能的力量和日益增长的依赖为一种新型网络漏洞带来了一场完美的风暴：直接针对人工智能系统和组件的攻击。由于人们的注意力集中在开发和将人工智能功能集成到应用程序和工作流程中，人工智能系统本身的安全性往往被忽视。然而，对手看到新的人工智能攻击面的兴起，其多样性和普遍性都在增长，并且无疑会追求漏洞。对人工智能系统的攻击可能以传统漏洞的形式出现，通过基本的操纵和探测，以及一个新的、令人不安的类别：对抗性人工智能。
5.1 对人工智能供应链的攻击
人工智能系统可以通过针对传统的安全漏洞和软件缺陷来攻击，包括对人工智能系统供应链的攻击，恶意行为者可以访问并操纵不安全的人工智能代码和数据。例如，在 2021 年，一个用于构建神经网络的流行软件平台被发现存在 201 个传统安全漏洞，例如内存损坏和代码执行。[50]研究人员已经展示了对手如何使用现有的网络攻击工具包来攻击运行AI系统的软件的核心基础设施。[51] 人工智能系统供应链中人工智能系统的多个组件可以通过传统的网络攻击被修改或破坏。例如，用于训练AI系统的数据集很少像源代码那样受到版本控制。纽约大学的研究人员发现，从流行的算法存储库下载的大多数人工智能框架都不会检查人工智能模型的完整性，这与传统软件的实践标准形成鲜明对比，其中可执行文件/库的加密验证已成为十多年的标准做法。[注52]
5.2 对抗性人工智能
对抗性 AI 或对抗性机器学习方法利用更复杂的 AI 技术来攻击 AI 系统。已经确定了几类对抗性人工智能，包括对抗性示例，使用基本策略或更复杂的机器学习方法来欺骗人工智能系统，输入导致系统无法正常运行。第二种类型的攻击称为数据中毒，其中用于训练AI系统的数据被数据流“毒害”，这些数据流将错误或有偏见的训练数据注入数据集，从而改变行为或降低AI系统的性能。[53]第三种类型的攻击，称为模型窃取，旨在了解有关AI系统中使用的底层AI模型的详细信息。[54]第四类攻击，称为模型反转，试图重建用于训练目标系统的底层私有数据。[55]
通过对抗性示例，使用AI方法的基本操作或更复杂的应用来生成定制的输入，以导致目标AI系统出现故障。这些攻击的目标包括自动消息分类器的破坏性故障、机器视觉系统的感知以及语音识别系统对话语中单词的识别。
作为基本操纵输入的一个例子，一个据称在中国政府内部的团体试图通过在推文末尾附加随机字符来绕过Twitter的反垃圾邮件算法，从而扩大对维吾尔人的宣传。[56]这种方法被视为试图误导算法，使其认为每条推文都是唯一且合法的。在另一个例子中，Skylight的研究人员将游戏数据库中的良性代码附加到Wannacry勒索软件中，以使基于机器学习的防病毒过滤器将修改后的勒索软件分类为良性。[57]在关于人工智能系统脆弱性的相关工作中，研究人员表明，简单地旋转皮肤病变的扫描会使计算机识别系统混淆，从而将图像分类为恶性。[58]
在使用人工智能生成对抗性示例时，研究人员已经展示了令人惊叹的失败示例。在一种方法中，对抗性方法用于将像素模式注入图像中，以改变AI系统看到的内容。虽然人工智能推理的变化是巨大的，但人类无法检测到原始图像的变化。示例演示包括修改熊猫的照片，导致人工智能系统将熊猫错误分类为长臂猿，并更改为停车标志以将其错误分类为屈服标志。[59]，[60]在语音识别领域也进行了类似的演示，在语音中注入隐藏的声学模式，改变听力系统听到的内容。[61]导致此类错误分类和故障的攻击可能代价高昂，尤其是在国防、运输、医疗保健和工业流程等高风险领域。
对抗性人工智能的挑战和一系列建议在国家安全委员会人工智能（NSCAI）的最终报告中被提出。[62]我主持了开发和部署可信赖、负责任和合乎道德的人工智能应用程序的方向，导致了报告的第7章和第8章，以及NSCAI关于部署符合民主价值观、公民自由和人权的人工智能系统的关键考虑因素的建议的附录。[63]，[64]，[65]该报告的第7章涵盖了对对抗性AI日益增长的担忧，包括评估，“威胁不是假设的：对抗性攻击正在发生并且已经影响了商业ML系统。为了支持这一说法，在过去五年中，微软网络安全团队已经看到了对抗性人工智能攻击的增加。[66]我相信这种趋势将继续下去。
5.3 缓解对抗性人工智能的努力
追求抗性系统。计算机科学研究一直在进行中，研究使人工智能系统更能抵抗对抗性机器学习攻击的方法。一个工作领域集中在提高系统对具有上述对抗性输入的攻击的鲁棒性水平。[67]，[68]方法包括特殊的训练程序，包括对抗性示例，验证输入以识别可以揭示攻击迹象的特定属性，并对构建模型的整体方法进行更改，以及修改用于创建模型的优化过程中使用的目标函数，以便创建更健壮的模型。虽然后者的技术和背后的研究方向很有希望，但根据机器学习程序的大量输入空间，对抗性示例的挑战仍然存在。因此，重要的是继续投资于对抗性人工智能的研发，通过红队练习进行持续的研究，并保持警惕。
5.4 跟踪、意识和资源
一线意识。尽管对抗性人工智能方法将为国家和非国家行为者提供操纵和破坏关键人工智能系统的机会，并且越来越多的证据表明对抗性人工智能在现实世界中受到攻击，但保护人工智能系统免受这些攻击的想法在很大程度上是事后的想法。迫切需要意识到并准备好应对对抗性人工智能威胁，尤其是那些用于国防等关键领域的威胁。微软在 2020 年对 28 家组织进行的一项调查显示，尽管对 AI 系统的攻击有所增加，但公司仍然没有意识到 AI 系统的这些故意故障，并且在保护 AI 系统的工具和流程方面投资严重不足。乔治城大学新兴技术安全中心（Center for Security of Emerging Technology）专门研究中国人工智能行动的著名研究员瑞安·费达修克（Ryan Fedasiuk）指出，中国军官明确指出，美国的防御容易受到数据毒害的影响，甚至称数据完整性是美国联合全域指挥和控制战略的“阿喀琉斯之踵”。[69]
资源和参与度。微软与MITRE和其他16个组织一起创建了对抗性ML威胁矩阵，以对AI系统的威胁进行分类。[70] 内容包括对商业人工智能系统进行攻击的案例研究文档。对于工程师和政策制定者，微软与哈佛大学伯克曼克莱因中心合作，发布了机器学习失败模式的分类法。[71]对于安全专业人员，微软开源了Counterfit，这是它自己的评估AI系统状况的工具。[72]对于对人工智能和安全感兴趣的更广泛的网络安全从业者社区，微软举办了一年一度的机器学习规避竞赛，作为锻炼他们在攻击和保护人工智能系统方面的肌肉的场所。[73]在联邦政府内部，国防部已将人工智能系统的安全性和安全性列为其核心人工智能原则。[74]NIST在人工智能风险评估框架方面开展了令人鼓舞的活动，以解决人工智能系统的多个方面，包括稳健性和安全性。注75]
建议：提高认识并解决人工智能系统的脆弱性
- 保护联邦人工智能系统的工程供应链，包括对用于构建人工智能系统的数据、可执行文件、库和平台使用最先进的完整性检查;确保为敏感代码和数据采用安全开发生命周期方法。
- 要求国防部和其他联邦 AI 机构对 AI 工程项目进行安全审查。
- 将 AI 开发和网络安全团队聚集在一起，建立最佳实践并审查计划。
- 提高国防部对对抗性 AI 挑战的认识，并考虑 AI 系统和组件的漏洞。
- 追求使用强大的机器学习算法来增强系统在面对对抗性示例时的弹性。
- 制定培训计划，以提高网络安全和人工智能工程工作人员对人工智能系统和组件的安全漏洞、对抗性人工智能方法的攻击风险以及降低风险的方法的认识。
- 投资于可信赖、强大和安全的人工智能系统的研发。
6. 恶意信息运营中的人工智能
机器学习和图形的进步提高了国家和非国家行为者制作和分发高保真视听内容（称为合成媒体和深度伪造）的能力。用于生成深度伪造的人工智能技术现在可以制造与现实世界的人、场景和事件无法区分的内容，威胁国家安全。只有在计算机科学实验室的墙壁上或在几年前学术人工智能会议上让与会者感到惊讶的演示中才能找到的进步，现在在创建可用于推动虚假信息运动的音频和视听内容的工具中广泛使用。
6.1 合成培养基的挑战
生成式人工智能方法合成各种信号（包括高保真视听图像）的能力的进步对网络安全具有重要意义。当个性化时，使用人工智能生成深度伪造可以提高社会工程操作（如上所述）在说服最终用户为对手提供系统和信息访问权限方面的有效性。
在更大范围内，人工智能方法和合成媒体的生成能力对国防和国家安全具有重要意义。对手可以使用这些方法从世界领导人和指挥官那里获得可信的声明，捏造有说服力的假旗行动，并制造假新闻事件。最近的一次示威包括在俄罗斯袭击乌克兰的过程中出现的多个纵和更复杂的深度伪造的例子。这包括沃洛德米尔·泽连斯基总统似乎呼吁投降的视频。注76]
合成媒体的扩散产生了另一个令人担忧的影响：恶意行为者将真实事件标记为“假”，利用深度伪造时代失去可信度带来的新形式的否认。视频和照片证据，如暴行的图像，被称为假的。被称为“骗子的红利”，合成媒体的扩散使人们大胆地声称真实媒体是“假的”，并为他们的行为创造了合理的否认。注77岁
我们可以预期合成媒体及其部署将随着时间的推移继续变得越来越复杂，包括深度伪造与世界上正在发生的事件以及深度伪造的实时合成的有说服力的交错。实时世代可以用来创造引人注目的交互式冒名顶替者（例如，出现在电话会议中并由人类控制器引导），这些冒名顶替者似乎具有自然的头部姿势、面部表情和话语。展望未来，我们可能不得不面对合成人的挑战，这些人可以通过音频和视频渠道自主参与有说服力的实时对话。
6.2 方向：数字内容来源
在最近的一项进展中可以找到一种有前途的应对合成媒体威胁的方法，称为数字内容来源技术。数字内容来源利用加密和数据库技术来证明任何数字媒体的编辑来源和历史记录（来源）。这可以提供内容的“玻璃到玻璃”认证，从光子撞击相机的光敏表面到显示器像素发出的光，以实现安全的工作负载。我们在 Microsoft 的跨团队工作中追求早期的愿景和技术方法，以实现媒体来源的端到端防篡改认证。[78]，[79]这个雄心勃勃的项目是由我们的评估驱动的，即从长远来看，人类和人工智能的方法都无法可靠地区分事实和人工智能生成的虚构——我们必须紧急做好准备，以应对越来越现实和有说服力的深度伪造的预期轨迹。
在通过技术细节将愿景变为现实并实施用于认证视听内容来源的原型技术之后，我们努力建立和促进跨行业合作伙伴关系，包括项目起源、内容真实性倡议 （CAI） 和内容来源和真实性联盟 （C2PA），这是一个由行业和民间社会组织组成的多利益相关方联盟。[80]，[81]，[82]，[83] 2022年1月，C2PA发布了一项标准规范，该规范可实现数字内容来源系统的互操作性。[84]，[85]现在根据C2PA标准可以使用商业制作工具，使作者和广播公司能够向观众保证照片和视听媒体编辑的原始来源和历史。
NSCAI的最终报告建议，应采用数字内容来源技术，以减轻合成媒体日益严峻的挑战。在国会，两党的Deepfake特别工作组法案（S.2559）提议建立国家Deepfake和数字来源工作组。[86] 微软及其媒体来源合作者鼓励国会推进成立一个工作组，以帮助识别和应对合成媒体的挑战，我们欢迎有机会为这项工作提供帮助和投入。
建议：防御恶意信息操作
- 制定 Deepfake 特别工作组法案。
- 促进在国防和民用环境中使用数字媒体来源进行新闻和通信。
- 在国防部和其他联邦机构采用管道和标准来认证信号、通信和新闻的数字内容来源，并根据虚构内容的风险和破坏性进行优先排序。
- 审查恶意信息活动可能对国防部规划、决策制定和协调造成的潜在干扰，这些干扰基于对视听和其他信号的复杂捏造的操纵性使用，涵盖传统的信号情报 （SIGINT） 管道、实时国防通信以及公共新闻和媒体。
- 投资于研发旨在检测、归因和破坏人工智能恶意信息活动的方法。
总结
人工智能技术将继续对加强军事和民用应用的网络安全至关重要。人工智能方法已经在质地改变网络防御的游戏规则。人工智能的技术进步在很多方面都有帮助，涵盖了我们预防、检测和响应攻击的核心能力，包括以前从未见过的攻击。人工智能创新正在扩大和扩展全国安全团队的能力。
另一方面，国家和非国家行为者开始以多种方式利用人工智能。他们将从人工智能的快节奏进步中汲取新的力量，并将继续为其武器库添加新工具。我们需要加倍关注和投资人工智能与网络安全融合的威胁和机遇。需要在劳动力培训、监控、工程和核心研发方面进行大量投资，以了解、开发和实施防御措施，以应对人工智能驱动的网络攻击可能带来的广泛风险。这些威胁包括新型攻击，包括直接针对人工智能系统的攻击。国防部、联邦和州机构以及国家需要保持警惕，领先于恶意对手。这将需要更多的投资和承诺，用于人工智能和网络安全的基础研究和工程，以及建立和培养我们的网络安全员工队伍，以便我们的团队今天能够更有效率，并为未来做好充分准备。
[1] https://www.microsoft.com/security/blog/2021/12/15/the-final-report-on-nobeliums-unprecedented-nation-state-attack/
[2] https://news.microsoft.com/wp-content/uploads/prod/sites/626/2022/02/Cyber-Signals-E-1-218.pdf，第3页
[3] https://www.microsoft.com/en-us/research/group/m365-defender-research/
[4] 2018-Webroot-Threat-Report_US-ONLINE.pdf
[5] 微软数字防御报告，2021 年 10 月
[6] https://www.microsoft.com/security/blog/2021/05/12/securing-a-new-world-of-hybrid-work-what-to-know-and-what-to-do/
[7] J. McCarthy， J.， M.L. Minsky， N. Rochester， N.， C.E. Shannon， C.E.达特茅斯人工智能夏季项目提案，达特茅斯大学，1955年5月。http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html
[8] https://www.bls.gov/ooh/computer-and-information-technology/information-security-analysts.htm
[9] https://www.isc2.org/News-and-Events/Press-Room/Posts/2021/10/26/ISC2-Cybersecurity-Workforce-Study-Sheds-New-Light-on-Global-Talent-Demand
[10] https://newsroom.trendmicro.com/2021-05-25-70-Of-SOC-Teams-Emotionally-Overwhelmed-By-Security-Alert-Volume
[11] https://www.av-test.org/en/statistics/malware/
[12] https://www.microsoft.com/security/blog/2021/07/27/combing-through-the-fuzz-using-fuzzy-hashing-and-deep-learning-to-counter-malware-detection-evasion-techniques
[13] https://www.microsoft.com/en-us/research/publication/urltran-improving-phishing-url-detection-using-transformers/
[14] https://dl.acm.org/doi/10.1145/3471621.3471858
[15] https://www.microsoft.com/security/blog/2020/07/23/seeing-the-big-picture-deep-learning-based-fusion-of-behavior-signals-for-threat-detection/
[16] https://www.microsoft.com/security/blog/2020/08/27/stopping-active-directory-attacks-and-other-post-exploitation-behavior-with-amsi-and-machine-learning/
[17] https://www.microsoft.com/security/blog/2019/12/18/data-science-for-cybersecurity-a-probabilistic-time-series-model-for-detecting-rdp-inbound-brute-force-attacks/
[18] https://www.microsoft.com/security/blog/2020/06/10/the-science-behind-microsoft-threat-protection-attack-modeling-for-finding-and-stopping-evasive-ransomware/
[19] https://www.microsoft.com/security/blog/2021/12/02/structured-threat-hunting-one-way-microsoft-threat-experts-prioritizes-customer-defense/
[20] https://www.microsoft.com/security/blog/2020/07/09/inside-microsoft-threat-protection-correlating-and-consolidating-attacks-into-incidents/
[21] https://www.microsoft.com/security/blog/2020/07/29/inside-microsoft-threat-protection-solving-cross-domain-security-incidents-through-the-power-of-correlation-analytics/
[22] https://www.microsoft.com/security/blog/2022/02/03/cyber-signals-defending-against-cyber-threats-with-the-latest-research-insights-and-trends/
[23] https://www.microsoft.com/security/blog/2021/05/12/securing-a-new-world-of-hybrid-work-what-to-know-and-what-to-do/
[24] https://www.microsoft.com/security/blog/2021/04/01/automating-threat-actor-tracking-understanding-attacker-behavior-for-intelligence-and-contextual-alerting/
[25] https://dl.acm.org/doi/pdf/10.1145/3448016.3452745
[26] 网络安全事件 （opm.gov）
[27] 俄罗斯干预2016年美国大选 – FBI
[28] 描述推特上的宣传网络：案例研究
[29] https://arxiv.org/pdf/2106.15764.pdf
[30] B. Buchanan、J. Bansemer、D. Cary 等人，《自动化网络攻击：炒作与现实》，安全与新兴技术中心，2020 年 11 月。https://cset.georgetown.edu/wp-content/uploads/CSET-Automating-Cyber-Attacks.pdf
[31] 根据新的微软数字防御报告，网络攻击如何变化
[32] 情报，火眼威胁。“HAMMERTOSS：隐形战术定义了俄罗斯的网络威胁组织。FireEye，加利福尼亚州米尔皮塔斯（2015）。
[33] 虚拟化/沙盒规避，技术 T1497 – 企业|米特雷·阿特克®
[34] https://www.jmir.org/2021/5/e26933/
[35] 例如，请参阅深度利用的文档、工具和演示，其中显示了使用强化学习来驱动网络攻击：https://github.com/13o-bbr-bbq/machine_learning_security/tree/master/DeepExploit
[36] https://www.defcon.org/
[37] J. Seymour 和 P. Tully，社交媒体上鱼叉式网络钓鱼帖子的生成模型，第 31 届神经信息处理系统会议，美国加利福尼亚州长滩，2017 年。https://arxiv.org/abs/1802.05196
[38] https://www.wired.com/story/ai-phishing-emails/amp
[39] 人工智能对网络安全的影响：研讨会，美国国家科学院，2019年。https://www.nationalacademies.org/our-work/implications-of-artificial-intelligence-for-cybersecurity-a-workshop
[40] 嘿，我的恶意软件懂物理！使用物理模型感知 Rootkit 攻击 PLC – NDSS 研讨会 （ndss-symposium.org）
[41]B. Hitaj，P. Gasti，G. Ateniese，F. Perez-Cruz，PassGAN：密码猜测的深度学习方法，NeurIPS 2018机器学习安全研讨会（SecML’18），2018年12月。https://github.com/secml2018/secml2018.github.io/raw/master/PASSGAN_SECML2018.pdf
[42] S. Datta， DeepObfusCode：Source Code Obfuscation through Sequence-to-Sequence Networks in ：Arai， K. （eds） Intelligent Computing.网络与系统讲义，第284卷。斯普林格，湛。https://doi.org/10.1007/978-3-030-80126-7_45，2021 年 7 月。
[43] J. Li， L. Zhou， H. Li， L. Yan 和 H. Zhu， “动态流量特征伪装通过生成对抗网络”，2019 年 IEEE 通信与网络安全会议 （CNS），2019 年，第 268-276 页，doi：10.1109/CNS.2019.8802772。https://ieeexplore.ieee.org/abstract/document/8802772
[44] C. Novo，R. Morla，基于流的检测和基于代理的加密恶意软件C2流量规避，2020年第13届ACM人工智能与安全研讨会论文集，https://doi.org/10.1145/3411508.3421379。
[45] D. Han 等人，“评估和改进基于机器学习的网络入侵检测器的对抗鲁棒性”，载于 IEEE 通信选定领域杂志，第 39 卷，第 8 期，第 2632-2647 页，2021 年 8 月，https://ieeexplore.ieee.org/abstract/document/9448103
[46] 一种依赖于群体智能的基于僵尸网络的命令和控制方法 – ScienceDirect
[47] https://www.darpa.mil/program/cyber-grand-challenge
[48] R. Rivest， Chaffing and Winnowing：Confidentiality Without Encryption，“ CryptoBytes， 4（1）：12-17， https://pdfs.semanticscholar.org/aaf3/7e0afa43f5b6168074dae 2bc0e695a9d1d1b.pdf
[49] https://www.nscai.gov/wp-content/uploads/2021/03/Full-Report-Digital-1.pdf。第279页。
[50] https://www.cvedetails.com/product/53738/Google-Tensorflow.html
[51] Xiao， Qixue， et al. “深度学习实现中的安全风险”。2018年IEEE安全和隐私研讨会（SPW）。IEEE， 2018.
[52] Gu， Tianyu， Brendan Dolan-Gavitt， and Siddharth Garg.“Badnets：识别机器学习模型供应链中的漏洞”arXiv预印本arXiv：1708.06733（2017）。
[53] Jagielski， Matthew， et al. “操纵机器学习：回归学习的中毒攻击和对策”。2018年IEEE安全和隐私研讨会（SP）。IEEE， 2018.
[54] Yu， Honggang， et al. “CloudLeak：Large-Scale Deep Learning Models Steathrough Adversarial Examples.”NDSS。2020.
[55] 杨子琪，张一建，梁振凯，基于辅助知识对齐的对抗神经网络反演，2019
[56] https://www.nytimes.com/interactive/2021/06/22/technology/xinjiang-uyghurs-china-propaganda.html
[57] https://skylightcyber.com/2019/07/18/cylance-i-kill-you/
[58] Finlayson， Samuel G.， et al. “Adversarial attack on Medical Machine Learning”。科学363.6433（2019）：1287-1289。
[59] I.J. Goodfellow， J. Shlens， C. Szegedy， Explain and Harnessing Adversarial Examples， ICLR 2015.https://arxiv.org/pdf/1412.6572.pdf
[60]N. Papernot， P. McDaniel， I. Goodfellow， et al.， Practical Black-Box Attacks Against Machine Learning， ASIA CCS ’17， April 2017.https://dl.acm.org/doi/pdf/10.1145/3052973.3053009
[61] M. Alzantot， B. Balaji， M. Srivastava， 你听到了吗？针对自动语音识别的对抗示例，神经信息处理系统会议，2017 年 12 月。https://arxiv.org/pdf/1801.00554.pdf
[62] https://www.nscai.gov/
[63] “维护民主价值观：将人工智能用于国家安全的隐私、公民自由和公民权利”，第8章，国家安全委员会关于人工智能的报告，2021年3月。https://reports.nscai.gov/final-report/chapter-8/
[64] “建立对人工智能系统的合理信心”，第8章，国家安全委员会关于人工智能的报告，2021年3月。https://reports.nscai.gov/final-report/chapter-7/
[65] E. Horvitz J. Young，R.G. Elluru，C. Howell，《负责任地开发和实施人工智能的关键考虑因素》，国家安全委员会关于人工智能，2021 年 4 月。https://arxiv.org/ftp/arxiv/papers/2108/2108.12289.pdf
[66]库马尔、拉姆·尚卡尔·西瓦等。对抗性机器学习：行业观点。2020年IEEE安全和隐私研讨会（SPW）。IEEE， 2020.
[67] https://cacm.acm.org/magazines/2018/7/229030-making-machine-learning-robust-against-adversarial-inputs/fulltext
[68] A. Madry， A. Makelov， L. Schmidt， et al.迈向抵抗对抗性攻击的深度学习模型，ICLR 2018。https://arxiv.org/pdf/1706.06083.pdf
[69] https://breakingdefense.com/2021/11/china-invests-in-artificial-intelligence-to-counter-us-joint-warfighting-concept-records/
[70] https://atlas.mitre.org/
[71] https://docs.microsoft.com/en-us/security/engineering/failure-modes-in-machine-learning
[72] https://github.com/Azure/counterfit/
[73] https://mlsec.io/
[74] https://www.defense.gov/News/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence/
[75] https://www.nist.gov/itl/ai-risk-management-framework
[76] 参见：https://www.youtube.com/watch?v=X17yrEV5sl4
[77] 骗子的红利：深度伪造和假新闻对政治家对媒体的支持和信任的影响 |GVU中心 （gatech.edu）
[78] P. England， H.S. Malvar， E. Horvitz， et al. AMP：通过出处对媒体进行身份验证， ACM 多媒体系统 2021.https://dl.acm.org/doi/abs/10.1145/3458305.3459599
[79]E. Horvitz，在虚假信息方面向前迈出的有希望的一步，微软关于这些问题，2021 年 2 月。https://blogs.microsoft.com/on-the-issues/2021/02/22/deepfakes-disinformation-c2pa-origin-cai/
[80] 项目起源，https://www.originproject.info/about
[81] J. Aythora等人，多利益相关方媒体来源管理以应对新闻出版中的合成媒体风险，2020年国际广播大会（IBC 2020），阿姆斯特丹，NL 2020 https://www.ibc.org/download?ac=14528
[82] 内容真实性倡议，https://contentauthenticity.org/
[83] 内容来源和真实性联盟（C2PA），https://c2pa.org/
[84]C2PA发布世界上第一个内容来源行业标准规范，内容来源和真实性联盟，2022年1月26日，https://c2pa.org/post/release_1_pr/
[85] https://erichorvitz.com/A_Milestone_Reached_Content_Provenance.htm
[86] Deepfake Task Force Act， S. 2559， 117千国会， https://www.congress.gov/bill/117th-congress/senate-bill/2559/text
版权归原作者所有，如若转载，请注明出处：https://www.ciocso.com/article/463886.html
