Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Robustness in Federated Learning
Organization Unit
Authors
  • Daniel Demeter
Supervisors
  • Alberto Huertas Celdran
  • Muriel Figueredo Franco
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2021
Abstract Text In the novel paradigm of federated learning, collectives of devices are able to collabora- tively machine learn over sensitive data. The collaborators - clients - never have to share their private datasets. Depending on the distribution of the data amongst the clients, fed- erated learning can be classified into one of three scenarios: horizontal federated learning, vertical federated learning, and federated transfer learning. Each of these scenarios comes with a unique set of algorithms, as well as unique targets for adversarial attacks. Adversarial attacks in federated learning can have a wide variety of goals. They may aim to disrupt the training process, corrupt the learned model with a backdoor, prevent a model being learned at all, or even infer confidential information from participants. The robustness of a system is its resiliency to such attacks. The experiments in this work evaluate the robustness of a system through the lens of the metrics of accuracy, confusion matrices, and relative importance. Current works focus on these scenarios individually, comparing robustness against each scenario’s respective baseline. This work offers two main contributions: (a) a visual taxonomy of the attacks and countermeasures of these scenarios and (b) a federated learning simulation that tests its robustness against the two most common types of attacks: data- and gradient poisoning attacks. The simulation uses the same dataset, distributed appropriately, the same model architecture, and the same number of participants for both scenarios’ implementations. This work investigates two neural network model architectures for the task of learning from the MNIST dataset. The experiments detailed in this work show that when adversaries poison even as little as 0.5% of the data samples available to them, both the peer-to- peer horizontal and the SplitNN-based vertical implementations are prone to an entirely successful backdoor attack. When the adversary attacks the system with a gradient poisoning attack in which the applied gradients are first multiplied by some nonpositive value, the horizontal implementation proved more robust. While the vertical system was prevented from learning a model even with a gradient multiplier of -1, the only experiment in which the horizontal implementation was thwarted similarly was with a gradient multiplier of -10.
Zusammenfassung Beim neuartigen Paradigma des föderierten Lernens können kollektive Geräte gemeinsam maschinelles Lernen über sensible Daten betreiben. Die Kollaborateuren - Kunden - müssen niemals ihre privaten Datensätze teilen. Basierend auf der Verteilung von Daten unter den Kunden, kann föderiertes Lernen in eine von drei Szenarien kategorisiert werden: ho- rizontales föderiertes Lernen, vertikales föderiertes Lernen und föderiertes Transferlernen. Jeder dieser Szenarien besizt ein einzigartiges Set von Algorithmen, sowie einzigartige Ziele für feindliche Angriffe. Sie können darauf abzielen, den Trainingsprozess zu stören, das gelernte Modell durch eine Hintertür zu verfälschen, zu verhindern, dass ein Modell überhaupt gelernt wird, oder sogar vertrauliche Informationen von Teilnehmern abzuleiten. Die Robustheit eines Systems bedeutet dessen Widerstandsfähigkeit gegen derartige Angriffe. Die Experimente in dieser Arbeit bewerten die Robustheit eines Systems anhand der Metriken Genauigkeit, Konfusionsmatrizen und relative Wichtigkeit. Vorhandene Arbeit fokussiert diese Szenarien individuell, durch den Vergleich von Robustheit mit der “baseline” des jeweiligen Szenarios. Die Forschung liefert zwei wichtige Beiträge: (a) eine visuelle Taxonomie über die Angriffe und die Gegenmaßnahmen der Szenarien und (b) eine föderale Lernsimulation, die die Robustheit gegen die zwei häufigsten Form von Angriffen testet: verfälschte Daten (data poisoning) und zunehmende Verfälschungsangriffe (gradient poisoning attacks). Die Simulation verwendet für beide Szenarien denselben Datensatz, eine angemessene Verteilung, dieselbe Modellarchitektur und dieselbe Anzahl von Teilnehmern. In dieser Arbeit werden zwei Modellarchitekturen für neuronale Netze für die Aufgabe des Lernens aus dem MNIST-Datensatz untersucht. Die Experimente zeigen, dass wenn Gegner nur 0.5% der zugängliche Daten vergiften, sind sowohl die peer-to-peer horizontale, als auch die SplitNN-basierte vertikale Implementationen anfällig für erfolgreiche Hintertürangriffe. Wenn der Angreifer das System mit einem Gradientenvergiftungsangriff angreift, bei dem die angewandten Gradienten zunächst mit einem nicht positiven Wert multipliziert werden, erwies sich die horizontale Implementierung als robuster. Während das vertikale System selbst bei einem Gradientenmultiplikator von -1 nicht in der Lage war, ein Modell zu erlernen, wurde die horizontale Implementierung nur bei einem Gradientenmultiplikator von -10 in ähnlicher Weise gebremst.
PDF File Download
Export BibTeX