人工智能对话系统——攻击面和有效的防御技术
背景：
沟通是世界上最重要的东西，它把整个世界联系在一起。有多种通信媒介：语音、视频和文本。每种媒体都会根据上下文带来自己的好处。使用这些媒介提供接口的技术已经取得了重大进展。这些媒介用于人对机器、人对人、人工智能生成，以及以某种基本形式的机器对机器通信（我敢打赌，机器对机器在短期内会非常复杂，因为这会带来很多更多用例）
AI、ML 或 NLP 最近在自动化这些对话或通信方面取得了巨大进展。基本理论是拥有一个 24*7 工作系统（例如自动化客户支持）和自动扩展以处理系统上的负载（例如：支持呼叫激增，因为新版本中出现了一些错误）。这种自动化系统节省了成本，并且自动化系统提供了更高的质量，因为不涉及人为错误。
随着这些自动化通信在技术和用例中的增长，这也有另一面。现在，攻击者可以访问他们手中的 AI 工具和可扩展系统来攻击此类系统。随着这些系统被纳入我们生活的关键组成部分，它们更容易受到网络安全攻击，并对系统造成严重损害。我们已经有 AI 生成的虚假 Twitter 消息、新闻和视频导致社会动荡的实例。自动攻击带来了规模，这对社会产生了如此大的有害影响。
客观的：
对话系统是人工智能最先进的发展之一，它积极帮助和影响我们的生活。当今世界对话系统的关键实际用途之一是使人类工作自动化，以协助我们每天执行的任务。这些系统全天高效工作，并且能够处理大量数据。在大流行期间，会话系统的使用量成倍增长，并且像曲棍球棒一样继续上升。
本研究论文的目的是识别对话系统的漏洞。这些攻击是新的，迄今为止几乎没有或零研究完成。此外，本文还提出了一些防御这些攻击的技术。进行了实验以模拟一些似是而非的攻击，并实施了所提出的算法以查看算法对这些攻击的有效性。
会话系统安全风险：
对话系统容易受到许多攻击，特别是在自动化时，因为它们缺乏对人为对话与机器生成对话的识别。此外，这些系统建立在 AI/ML 之上，因此继承了 AI 系统更高的安全漏洞。自然语言处理被会话系统用作接口层，可以与最终用户进行有效交互，为现有的机器学习系统威胁添加额外的威胁向量。
NLP 的最新进展已经持续了几年，从 2018 年开始，推出了两种大规模的深度学习模型：Open AI 的 GPT（生成式预训练）和用于语言理解的 BERT（Transformers 的双向编码器表示），包括谷歌的 BERT-Base 和 BERT-Large。与以前的 NLP 模型不同，BERT 是一种开源且深度双向且无监督的语言表示，仅使用纯文本语料库进行预训练。从那时起，我们看到了其他深度学习海量语言模型的发展：GPT-2、RoBERT、ESIM+GloVe，以及现在的 GPT-3。
这些工具使生成人工生成的文本变得如此容易，并为攻击者提供了欺骗或故障对话式人工智能系统的机会。此外，系统这种对话系统可以自动化更多的客户交互，以节省人力来进行更复杂的自然工作。此类任务的一个示例可能是客户向银行询问其营业时间。
本文作者通过与世界各地的银行专业人士交谈进行了研究，发现琐碎的查询占客户每天收到的查询的 85%。
以下是对话系统上最常见的安全攻击。
1. 对抗性攻击/过滤器规避：
对抗性攻击/过滤器规避也称为输入攻击，是对话式 AI/ML 系统面临的最常见的攻击类型。攻击者根据可用的信息进行攻击，并利用 ML/NLP 模型中的弱点。攻击者通过合并恶意输入来操纵 ML 系统，导致系统做出错误的预测。
示例：以绕过脏话过滤器的方式制作文本以发布受当地政府机构限制的新闻。
使用提供亵渎过滤器的 Microsoft 文本分析 API 进行了一项实验。当没有对抗性文本时，来自 Microsoft API 的屏蔽输出。这绝对是我迄今为止购买的垃圾产品。绝对是 f****g 供应商和 f*****g 卖家。但是，当这样的输入被发送时。这绝对是我迄今为止购买的shit1产品。绝对该死的供应商和该死的卖家。没有执行对抗性掩蔽。
谷歌情绪分析 API
- 这是我看过的最烂的电影。阴性（95% 置信度）
- 这是我看过的最烂的电影。阳性（95% 置信度）
有很多开源存储库可用于攻击文本分类器。基于 NLP 的系统中的许多功能都依赖于分类器，如果分类器被欺骗根据攻击者的需要进行分类，它可能会造成严重威胁。
此类存储库的一些示例是
- https://github.com/jind11/TextFooler
- https://github.com/QData/TextAttack
- https://paperswithcode.com/task/adversarial-text
当人类和机器对文本的解释不同时，这些攻击会产生严重影响。因此，作为人眼，我会与机器进行分类，这就是为什么这些攻击被命名为对抗性的。这种攻击的基本思想是绕过人眼。
2. 数据/分析中毒：
由于会话系统建立在 AI/ML 之上并依赖于数据，因此破坏它可能会导致系统故障。人工智能系统通过从各种来源获得的数据中学习任务来工作。中毒数据将直接导致对话系统中毒，从而导致做出错误的决定。
示例：虚假查询或发布虚假产品推荐，使其成为最受欢迎的产品之一。大流行对我们的日常生活产生了巨大的影响。生活变得比线下更在线。许多在线零售商通过使用客户推荐来推广产品，我们作为买家也非常关注推荐。现在想象一下，有人自动将此类推荐发送给在线零售商并影响整个产品评级。当对抗性文本也被添加到推荐中时，继续同样的想法。现在，人类解释的文本与机器解释的文本正好相反。
让我们通过一个例子来理解这一点：如果攻击者可以对产品推荐进行错误分类，它将对收入产生直接的机器影响。机器会根据分类推荐对产品进行更高的评价，但人类会以不同的方式看待产品。
3. 使用机器人/人工智能机器人的虚假请求/交易：
随着人工智能系统变得如此先进，这些攻击变得非常容易执行。攻击者可以很容易地使用云基础设施来模拟虚假请求和交易，使用模仿人类行为的人工智能。
示例：许多组织现在已经转向自动化支持。在大流行期间，这种趋势成倍增长，因为没有人在办公室亲自到办公室来满足客户的要求。期望或预测是看到这个上升和上升。
NLP 的先进性使创建机器人变得容易和复杂，这些机器人几乎可以像人类一样对嗡嗡声的查询做出响应。但攻击者也可以在其他方向使用相同的机器人。人工智能机器人可以很容易地生成虚假的销售查询，这会产生虚假的销售线索。如果系统无法将假线索与真线索区分开来，这可能是非常有害的。这有巨大的潜力忽略真正的客户并最终满足机器人的要求。这有可能造成不良声誉和收入损失。
示例：继续使用机器人批量发送产品查询或虚假投诉或采购订单。这将确保真正的请求也会丢失，这意味着直接损失收入。
4. 社会工程学攻击：
作为最流行的社会工程攻击类型之一，网络钓鱼诈骗是电子邮件和短信活动，旨在让受害者产生紧迫感、好奇心或恐惧感。然后它会促使他们泄露敏感信息、点击恶意网站的链接或打开包含恶意软件的附件。
示例：发送给在线服务用户的电子邮件，提醒他们违反政策，需要他们立即采取行动，例如要求更改密码。
5.智能DDOS攻击：
传统的 Web 应用程序面临着基于容量的 DDOS 攻击，就像攻击者发送大量http请求一样，它们也没有公开自动响应人类响应的接口。此类 DDOS 攻击不是拒绝来自软件系统的服务。这些拒绝服务是拒绝医疗保健专业人员等人类提供的服务。模型对话式 AI 系统代表人类工作（如客户支持系统或自动约会），这使得它们容易受到智能 DDOS 攻击，而无需使用大量http请求。
示例：攻击者可以使用 AI 机器人来预订医疗服务提供商系统中的大部分时间段。这将导致拒绝为更需要插槽的患者提供服务。
AI 机器人可以向聊天机器人询问执行成本高昂的查询，或者将所有呼叫升级到人类，违背聊天机器人部署的目的也可能导致低投资回报率。如果系统建立在像弹性搜索这样成本更高的技术上。
6. 生成未回答的查询：
对话式人工智能系统的工作原理是根据反馈不断改进。此反馈是客户请求失败的结果。到目前为止，这是半自动化的过程。所有未回答的查询都被重定向到一个集中的地方。尽管可以在这里应用一些自动化，但大多数人都会处理未回答的查询，并且系统经过培训可以回答这些查询。这会影响模型并部署一个新系统。这是一个迭代过程。
示例：攻击者可以使用 AI 机器人来询问那些可能会产生大量此类未回答的查询的查询。现在它总是混合了真正的和机器人生成的查询，没有得到回答。这导致将时间花在不真实的查询上，并且错过了一些真实的查询。
7. 将支持请求路由给人类：
聊天机器人的作用将越来越大。随着新兴的聊天机器人趋势和市场前景，企业采用创新方式来提供持续的客户参与至关重要。根据 Gartner 的说法，“人工智能 (AI) 将成为未来几年的主流客户体验投资”。 47% 的组织将使用聊天机器人进行客户服务，40% 的组织将部署虚拟助手。
人工智能一直在改变企业与客户和内部的沟通方式。人工智能对于实现机器学习和自动化业务通信的灵活解释至关重要。更进一步，预计聊天机器人将从简单的基于用户的查询转变为更高级的基于预测分析的实时对话。
示例：大多数聊天机器人旨在处理 L1 支持，随着事情变得复杂，总是可以选择将请求路由给人类。现在想象一个场景，AI 机器人继续将请求路由给人类以获得更高级别的支持。这将破坏部署聊天机器人的全部目的。此外，由于人力支持人员很宝贵（当然更少），这有可能导致支持系统崩溃。
8. 通过各种对话渠道进行 DDOS：
对话的进步还增加了与最终用户交互的各种物理媒介。这为最终用户提供了很大的灵活性，但也为攻击者打开了大门，通过使用多个物理通道来发现系统中的灵活性弱点。
示例：攻击者可以使用 AI 机器人从多个渠道发送类似的请求。通常，请求的最终处理由同一台服务器完成。现在这样的通道为攻击者增加了并行性，它很容易阻塞处理服务器。