兰德公司：网络恶意信息的人机检测

2020年6月23日，兰德公司官网发布了一份《网络恶意信息的人机检测》报告。这份报告是英国国防部国防科技实验室通过其国防和安全勤务署(DASA)委托进行的一项研究的成果。这项研究是DASA征集提案的一部分，旨在帮助英国国防部发展其行为分析能力。该研究的最终成果是一种概念验证方法，用于人-机检测和分析社交媒体上信息的恶意使用。

兰德公司发布网络恶意信息的人机检测报告

作者：William Marcellino, Kate Cox, Katerina Galai, Linda Slapakova, Amber Jaycocks, Ruth Harris

发布时间：2020年6月23日

编译：学术plus评论员临风

来源：https://www.rand.org/pubs/research_reports/RRA519-1.html

兰德欧洲公司使用的是基于公共理论驱动的方法来影响运作和创新性地使用词汇立场比较技术。这一方法被用于了解如何针对不同公众的假情报工作采用的具体策略。该研究旨在开发一种方法，用于检测网络信息的恶意使用，并培养对网络信息的复原能力。

报告在第1章中建立了恶意信息操作威胁的情景(任务A)。第2章总结了通过在已知的恶意挑衅的帖子（troll）数据库中应用概念验证机器检测(任务B)和俄罗斯针对左翼和右翼公众的恶意信息操作的行业分析(任务C)所获得的发现。最后，第3章探讨了该工具的开发和应用，并考虑了在目标人群中建立针对恶意信息的复原力的合理战略框架的组成部分(任务D)。

一、这项研究探索了基于网络的恶意信息人机检测方法

如今，约44%的英国成年人使用社交媒体进行新闻消费，这使得社交媒体成为最受欢迎的在线新闻渠道，并已经彻底改变了政治话语引导方向，让大众以新的方式参与进来，让用户能够直接接触到社会影响者和政治领袖。然而，越来越多的社交媒体的使用，新闻源中缺少人工编辑，以及合成在线活动的增长都可能使参与者更容易操纵社交网络。

在这种情况下，兰德欧洲公司被委托对在线检测恶意信息的人机方法进行研究。这项研究是由英国国防部国防科技实验室通过其国防和安全勤务署承包的。采用公众理论驱动的方法，使用语言立场技术支持两个研究目标：

加强对特定修辞策略误导公众方式的理解。
开发用于检测网络信息的恶意使用的方法，并培养对虚假信息的抵御能力。

兰德研究团队承担了以下任务，这些任务与研究目标相对应：

任务A:在英国、欧洲和跨大西洋社区建立恶意信息操作威胁环境。
任务B:在已知的俄罗斯恶意挑衅帖子数据库中应用概念验证机器检测，重点关注与2016年美国总统选举相关的在线讨论。
任务C:对俄罗斯针对左翼和右翼公众的恶意信息行动进行行业分析。
任务D:提出进一步开发该工具的备选方案，并概述建立抵御恶意信息框架的考虑因素。

二、社交媒体正越来越多地被人类和自动化用户用来歪曲信息、侵蚀对民主的信任和煽动极端主义观点

近年来，在英国、其他北约成员国和全球范围内，技术发展使得通过社交媒体对信息的操纵越来越多。社交媒体可以被用来在重要的政治、安全和国防相关决策点(如选举或全民公决)制造虚假支持或反对。社交媒体还可能被用来削弱对政府机构和民主进程的信任，并在目标群体中煽动极端主义观点。

虚假信息的影响已经在英国和国际上得到认可。2014年，世界经济论坛将网络虚假信息的传播列为社会十大危险之一。英国已经在几份政府文件和行动中承认了虚假信息的威胁，包括建立快速反应小组——一种旨在鼓励基于事实的公开辩论的社交媒体能力。尽管做出了这些努力，但这个问题的重要性和影响依然在不断增加，这使得个人和组织更难辨别真假信息。

基于网络的恶意信息的传播表现在几个方面，包括垃圾新闻的传播、冒充个人操纵观众、网络欺凌活动、恐怖主义宣传和招募，以及以提高声誉或抹黑活动为形式的政治“排挤”。这些活动是由合成账户和人类用户实施的，包括网络恶棍、政治领袖、极左或极右个人、国家对手和极端主义团体。

根据他们的任务，无论是人类还是人工合成的在线参与者都可以针对广泛的受众。恶意在线活动的目标可能是:

大批个体，如选民、政治受众或年轻一代
特定群体，如通过社交媒体成为对手目标的军事人员
市场，如旨在窃取金融数据或操纵股市的金融市场。

三、这项研究的主要成果是一个基于理论的机器学习模型，该模型可以成功地检测俄罗斯troll（发布恶意挑衅帖子的人，下文称“巨魔”）

随着利用网上虚假信息操纵公众舆论的现象继续增加，重要的是要识别、描述并最终遏制这些行为背后的恶意行为者所带来的影响。为了支持对恶意行为者的检测和定性，我们开发了一个机器学习模型，旨在识别真实的政治支持者和参与2016年美国总统选举相关在线辩论的俄罗斯“巨魔”之间的差异。我们的工作假设是，考察他们如何瞄准这场公开辩论，将适用于世界范围内其他可能被俄罗斯列攻击目标的左/右政治论据，包括英国退出欧盟。

为了开发这个模型，我们使用了2016年美国总统选举期间活跃在推特上的俄罗斯左翼和右翼“巨魔”账户的公开数据集，利用了2015-2017年的推特数据。该数据集包含来自互联网研究机构2848个手柄操作的2973371条推文。然后，我们使用文本挖掘为被网络恶棍盯上的公众提取搜索术语，然后从190万用户账户中获取推文。除此之外，我们在推特数据上使用了一个网络分析算法，该算法使用交互频率来推断社区。

正如预期的那样，我们确定了两个大型元社区，文本分析显示其中一个代表唐纳德·特朗普的支持者，另一个代表希拉里·克林顿的支持者。图1展示了与2016年美国总统选举相关的推特辩论空间，突出了俄罗斯“巨魔”瞄准的元群体：支持克林顿的自由派公众(粉色)和支持特朗普的保守派公众(绿色)。此外，该网络显示，这些大型公共机构由较小的子公共机构组成，这些子公共机构是联合的，但又是不同的。

我们的算法称之为“社区60083”，我们可以称之为“#黑人生活重要倡导者”，因为文本分析显示，该社区的语言包括“#黑人生活手册”、“嘻哈”和“警察暴力”。相反，在保守的元社区中，我们看到“社区64045”，一个以与移民、伊斯兰教和“非法移民”相关的负面语言为标志的社区。在图中，每个点(节点)代表一个推特用户的社区，根据社区中的账户数量进行调整，从数百到数十万用户。每条线(边)表示社区之间的互动，较粗的边表示更多的互动。

图1 2015-2017年特朗普和克林顿支持者在推特上的网络图

我们的分析确定了775个伪装成克林顿和特朗普的自由派和保守派支持者的不真实的俄罗斯巨魔账户，以及190万个真实的自由派和保守派支持者。利用这些数据，我们训练了一个机器学习模型，该模型能够成功地区分四个账户类别:俄罗斯左翼巨魔、俄罗斯右翼巨魔、真正的自由派支持者和真正的保守派支持者。

四、试验性建模工作具有很高的精确度，可用于理解巨魔用来制造网上异议的技巧

我们的建模工作具有很高的准确性(平均71%)，使用高度可解释的算法，使我们能够理解巨魔传播错误信息和加深在线社区之间分歧的方法。这种模式在从真正的支持者中辨别出巨魔的顶层任务中尤其有效(87%)。我们的四向分类比左翼巨魔和真正的自由主义者(69%和70%正确分类)更能有效地分类右翼巨魔和真正的保守主义者(74%正确分类)。

当分析俄罗斯巨魔更擅长模仿自由派还是保守派时，我们发现希拉里·克林顿的自由派支持者倾向于以相对同质的方式写作，而保守派在语言立场上差异更大，因此更难模仿。图2说明了真实账户上共享的叙述与巨魔的叙述重叠的程度，表明左翼巨魔比右翼巨魔更有效地模仿真实的自由主义者。我们发现左翼和右翼巨魔使用抱怨问题的共同策略，并使用旨在激发行动的社会分裂性语言(以下分别是水平轴和垂直轴)。

我们的分析表明，俄罗斯巨魔模仿了美国自由派和保守派话语中最具分裂性和对抗性的元素：一种“极左”的自由派话语将美国构建为一个从根本上具有压迫性的国家，另一种“极右”的保守主义话语将美国描述为受到外部力量的攻击。这似乎与俄罗斯在其他人口中制造不和和分裂的更广泛做法相一致。（仅为翻译，不代表平台观点）我们对俄罗斯巨魔使用的特定修辞策略的分析打开了实时识别巨魔的大门，同时也强调了这些操纵策略的目标。

图2 巨魔和真实账户的可视化

五、我们的研究提供了四个关键的发现，这些发现可以为关注国外恶意信息活动的英国政府机构所采取并实施

基于我们的分析，我们为英国政府在这一领域提供了四个关键要点：

公众理论和网络分析可以帮助描绘出俄罗斯(和其他国家)试图以恶意方式影响的修辞战场。为了支持反作用，政府实体应该考虑采用基于公众的分析来识别元社区。
俄罗斯巨魔通过使用重复的修辞模式来强调双方的情感问题，从而加剧了争议双方的不和。为了提高认识和建立对这些策略的适应能力，政府实体应该让目标公众成员看到这一点。
为了开发探测能力，使用功能较弱但可解释的浅层模型是一个重要的步骤。可解释性允许对间谍情报技术的洞察，并且可以为后续设计更强大的深度算法工作提供信息支撑。
姿态特征可以检测各种主题的修辞模式，并且可以有力地增强机器学习分类。这可以由关注打击外国恶意信息运动的英国政府行为者来实施。

六、在这个问题上，未来的工作有多种可能性，本研究中试验的组件技术可以提供广泛的应用

这项工作进一步发展的前提建立在当前发现的基础上，并扩展建模能力以利用其他先进的深度学习和人工智能方法。利用社会语言学和衍生特征作为合作伙伴模型的输入，以及将研究结果扩展和推广到其他数据集和平台也有好处。除了检测恶意信息这一具体问题之外，本研究中试验的组件技术还有更广泛的应用。该模型的社区检测、文本分析、机器学习和可视化组件可以重新配置，以创建一个强大的通用社交媒体监控工具。与来自商业世界的监控工具不同，我们可以提供一个系统来解释像公众这样的聚集结构以及社交媒体谈话的社会文化目的。这些是当前现成解决方案中的差距，对英国防部科学技术试验室客户会有所帮助。

七、为了测试模型的可移植性，我们下一步将在一个新的环境中测试，比如在线研究英国退出欧盟的问题

我们努力的下一个可行阶段可能是在一个新的环境中测试我们检测社交媒体上恶意巨魔账户的模型，以探索该模型的可移植性。与此相关的一个选择可能是关于英国退出欧盟的网上辩论，预计英国将脱离欧盟。作为第一步，我们收集了2019年1月1日至2019年3月31日的推特数据，对该数据集进行了初步的网络分析，并确定了三个在线社区：“脱欧者”、“留守者”和一个参与支持留守者话语的国际(即非英语)社区。在这一探索性研究的基础上，下一步我们的愿望是通过将我们的模型应用于在线研究英国退出欧盟的事例来证明它的稳健性和实用性。