联邦学习中的威胁和漏洞

先决条件- 协作学习 - 联合学习，谷歌云平台 - 了解云上的联合学习

在本文中，我们将回顾什么是联邦学习及其相对于传统机器学习算法的优势。在后面的部分中，让我们尝试简单地理解联邦学习架构中的威胁和漏洞。

联邦学习及其优势：

让我们举个例子来了解 FL 架构的工作原理，假设有一个物联网设备网络将数据发送到中央服务器，该服务器使用数据来训练模型并进行预测。如果通过网络传输的这些数据是机密的并且可以用来操纵一些重要的决策怎么办，这就是 FL 架构可以派上用场的地方。当我们使用物联网设备时，我们可以将它们与更多的智能集成以自行训练模型，但如果它只是一个独立的设备，它可能不会暴露在广泛分布的数据中来训练模型，那么怎么办？我们可以做的是，一旦设备训练了一个基本模型，模型参数就会被发送到服务器进行聚合，然后这个聚合模型被发送回所有设备以进行更好的预测，即使模型参数被泄露，也很少有机会从这些参数中推断出一些东西。通过这种方式，我们不会损害数据隐私，并且会降低通过网络传输大容量数据的成本。

FL 的正式定义——“联邦学习是一种机器学习技术，它在多个分散的边缘设备或保存本地数据样本的服务器上训练算法，而无需交换它们。”。我们在示例中看到的 FL 架构的基本思想并不是一种万无一失的方法，而且该架构本身存在一些失误和漏洞，这给我们带来了一些具有挑战性的安全问题需要处理。让我们简要地看一些威胁模型和中毒攻击，了解这些模型和攻击可以帮助我们设计一个万无一失的隐私保护 FL 协议。

威胁模型：

• 内部攻击与外部攻击：内部攻击是指由内部人员发起的攻击，即。服务器或其任何客户端，而外部攻击是由外部发起的，例如恶意黑客窃听服务器和客户端之间的通信通道。内部攻击通常比外部攻击更具破坏性和不利影响，因为它们对 FL 架构有更多的控制权。一些常见的内部攻击类型如下：
  • 单一攻击：单个恶意 FL 客户端导致模型高概率漏分类。
  • 拜占庭攻击：这种攻击类似于单次攻击，但这里客户端的行为方式是任意的，因此很难确定发送的模型是否真实。
  • Sybil 攻击：攻击者在此模拟多个伪造的 FL 客户端并提供损坏的参数并发起更强大的攻击。
• 半诚实攻击 Vs 恶意攻击：在半诚实环境中，攻击者被称为半诚实攻击，因为他遵循 FL 协议，但尝试访问诚实客户端的受限状态（例如模型参数）并且它们也停留被动但对架构没有贡献。而在恶意攻击的情况下，攻击者任意偏离 FL 协议并尝试访问、修改、操纵诚实客户端的本地训练数据。
• 训练阶段与推理阶段：训练阶段的攻击往往会影响和破坏 FL 模型，它们试图毒化数据并损害训练数据集的完整性，还试图毒化模型以破坏学习过程。在推理阶段攻击的情况下，它们不会破坏模型或数据，相反，它们会导致模型产生错误的输出并收集模型特征，从而损害隐私。

中毒攻击：

中毒攻击取决于攻击者的目标，他们可能会发起随机攻击或攻击特定目标。在随机攻击中，它们旨在降低 FL 模型的准确性，在有针对性的攻击中，它们旨在影响模型输出错误的标签，即。攻击者想要的标签，他们通常有一个特定的目标要实现。中毒攻击可以通过两种方式发生，数据中毒（在本地数据收集期间）和模型中毒（在模型训练过程中）。

• 数据中毒：攻击者在这里破坏/更改数据的标签，并且还可能尝试修改训练数据的个别特征或小部分。这种攻击通常由 FL 客户/参与者执行，其影响取决于 FL 参与者参与的程度。
• 模型中毒：这里攻击者的目标是在将本地模型更新发送到服务器之前毒化它们，或者攻击者也可能尝试在全局模型中插入后门来破坏它。与数据中毒相比，模型中毒的影响更大，因为调整模型会完全改变其特征，从而对数据进行错误分类。当攻击者试图通过使用交替最小化策略交替优化训练损失来逃避检测时，这些攻击会产生更大的影响。