Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Development and Comparison of Open Set Classification Techniques on ImageNet
Organization Unit
Authors
  • Mike Suter
Supervisors
  • Manuel Günther
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2022
Abstract Text In a real-world context, a classifier does not only encounter samples that belong to classes seen during training but also samples whose associated classes are unknown to the model. The task of such a classifier is then to correctly classify samples from known classes and to reject samples that are linked to unknown classes. A classifier that incorporates a mechanism to achieve these two goals is known as an open set classifier/algorithm. For being successful in this task, the dataset that the classifier is trained and evaluated on plays an important role. Ideally, such a dataset is characterized by a variety of classes that are organized in a hierarchical fashion, thereby mimicking a real-world environment. However, since most open set algorithms are developed using small open set datasets with limited diversity, it is unclear how these techniques perform on more challenging datasets. Furthermore, a comparison of the performance of these algorithms is not possible since they are trained on different datasets, using different network topologies and suboptimal evaluation metrics. In this thesis, I conduct a systematic comparison of four relevant open set algorithms: Entropic Open Set Loss (EOS), OpenMax, Extreme Value Machine (EVM), and Placeholders for Open Set Recognition (PROSER). For this comparison, I use three recently developed open set protocols that are based on ImageNet. These ImageNet-based protocols mimic three different open set contexts that systematically vary in their difficulty to perform in. My work shows how these open set algorithms compare to each other in different open set environments and points to the observed strengths and limitations of those approaches.
Zusammenfassung Ein Bildklassifikationsmodell welches in einer realen Testsituation zur Anwendung gelangt verarbeitet sowohl Bilder von bekannten Klassen, welche Bestandteil des Trainings waren, als auch Bilder von gänzlich unbekannten Klassen. Die Aufgabe des Bildklassifikationsmodell besteht darin, die Bilder von bekannten Klassen der jeweils korrekten Klasse zuzuordnen und die Bilder von unbekannten Klassen zurückzuweisen. Ein Bildklassifikationsmodell welches über einen Mechanismus verfügt der diese beiden Ziele verfolgt, ist auch als Open Set Bildklassifikationmodell/Algorithmus bekannt. Der Datensatz auf welchem das Bildklassifikationsmodell ursprünglich traininert und evaluiert wurde spielt bei der Erreichung dieser Ziele eine wichtige Rolle. Idealerweise verfügt ein solcher Datensatz über eine Vielfalt von hierarchisch organisierten Klassen. Auf diese Weise simuliert der Datensatz eine reale Testumgebung. Es zeigt sich jedoch, dass bei der Entwicklung der meisten Open Set Algorithmen kleine Datensätze verwendet werden, welche durch eine eingeschränkte Vielfalt an Klassen charakterisiert sind. Demnach ist es unklar, ob diese Algorithmen auf umfangreicheren und komplexeren Datensätzen dieselbe Leistung erbringen. Ein Vergleich der Leistungsfähigkeit solcher Algorithmen ist aus verschiedenen Gründen nicht möglich. Einerseits wurden diese auf unterschiedlichen Datensätzen trainiert und evaluiert. Andererseits verwenden diese Algorithmen unterschiedliche Netzwerkarchitekturen und suboptimale Evaluationsmetriken. In dieser Arbeit vergleiche ich vier relevante Open Set Algorithmen auf eine systematisch Weise. Bei den Algorithmen handelt es sich um Entropic Open Set Loss (EOS), OpenMax, Extreme Value Machine (EVM), sowie Placeholders for Open Set Recognition (PROSER). Zur Durchführung dieses Vergleichs verwende ich drei kürzlich entwickelte Open Set Protokolle, welche auf ImageNet Bildern beruhen. Diese Protokolle imitieren drei verschiedene reale Testumgebungen, welche sich systematisch in ihrem Schwierigkeitsgrad unterscheiden. Meine Arbeit zeigt auf, wie sich die ausgewählten Algorithmen in diesen Testumgebungen verhalten. Zudem beleuchtet sie die beobachteten Stärken und Grenzen dieser Techniken.
PDF File Download
Export BibTeX