Not logged in.

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Multi-Target Adversarial Attacks with LOTS
Organization Unit
Authors
  • Noah Chavannes
Supervisors
  • Manuel Günther
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2022
Abstract Text Face recognition systems are on the rise and are being widely used throughout the industry. With the advance of face recognition systems, more and more adversarial attacks are emerging. Layerwise Origin-Target Synthesis is one such attack in which the image of a source person is iteratively modified so that a face recognition system identifies it as another person. We extend this approach by allowing one input image to mimic multiple targets simultaneously. We further improve the loss function of the approach by including additional components that measure the structural similarity between the original image and the adversarial image. We evaluate our new method quantitatively with experiments and conduct an empirical analysis with 73 participants to investigate the relationship between human perception and similarity metrics. Our results show that we can successfully perform multi-target attacks and keep perturbations minimal. We also show how different source-target constellations affect the quality of adversarial images. Lastly, we demonstrate that the similarity metrics used to measure the size of perturbations are not perfect predictors of human perception.
Zusammenfassung Gesichtserkennungssysteme sind auf dem Vormarsch und finden breite, branchenübergreifende Anwendung. Mit dem Vormarsch solcher Systeme tauchen auch vermehrt Angriffe auf gegen sie auf. Die "Layerwise Origin-Target Synthesis" ist ein solcher Angriff, bei welchem ein Bild einer Ausgangsperson iterativ so verändert wird, dass es von einem Gesichtserkennungssystem als eine andere Person identifiziert wird. Wir erweitern diesen Ansatz, sodass ein Bild einer Person mehrere Zielpersonen gleichzeitig nachahmen kann. Wir verbessern die Loss-Funktion des Ansatzes, indem wir zusätzliche Komponenten hinzufügen, die die strukturelle Ähnlichkeit zwischen dem Originalbild und dem generierten Bild messen. Wir bewerten unsere neue Methode quantitativ mit Experimenten und führen eine empirische Analyse mit 73 Teilnehmern durch, um die Beziehung zwischen menschlicher Wahrnehmung und den eingesetzten Ähnlichkeitsmetriken zu untersuchen. Unsere Ergebnisse zeigen, dass wir erfolgreich Multi-Target-Angriffe durchführen und die Veränderung des Bildes minimal halten können. Wir zeigen auch, wie sich unterschiedliche Zusammensetzungen von Ausgangsperson und Angriffszielen auf die Qualität der generierten Bilder auswirken und dass die strukturellen Ähnlichkeitsmetriken, die wir zur Messung der Größe von Perturbationen verwenden, keine perfekten Prädiktoren für die menschliche Wahrnehmung sind.
PDF File Download
Export BibTeX