Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Stabilizing Non-Maximum-Suppression
Other Titles More Stable Replacement for Non-Maximum-Suppression in Object and Face Detectors
Organization Unit
Authors
  • Pascal Engeli
Supervisors
  • Manuel Günther
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2021
Abstract Text The predictions of object and face detectors suffer from unstable bounding boxes. The main reason for this problem is the post-processing algorithm Non-Maximum Suppression. During the suppression of redundant bounding boxes, only the most confident box does not get removed. This behavior can be observed when inspecting video sequences. Even marginal change in pixel values causes the detected bounding boxes to jitter. In this work, a method is proposed to further inspect this problem by fabricating sequences of augmented static images to simulate moving objects and faces. Combining this approach with an evaluation metric from video detection leverages the quantification of temporal and spatial stability of detected bounding boxes compared to their associated ground truth annotations. Simultaneously, two alternative Non-Maximum Suppression algorithms are proposed to solve the problem of jittering bounding boxes. The algorithms are called Average and Average IoU Non-Maximum Suppression. Both alternatives consider aggregating the overlapping bounding boxes and their detection scores using a weighted average of the individual coordinates and class probabilities. An increase in stability can be evidenced by implementing Average and Average IoU NMS into post-processing the multi-stage detectors Faster R-CNN and MTCNN and comparing it to their default NMS function. By evaluating the object and face detectors on the MS COCO, PASCAL VOC, and WIDER Face datasets, even an improvement in accuracy can be observed.
Zusammenfassung Die Ergebnisse der Lokalisierung und Klassifizierung von Objekt- und Gesichtsdetektoren, die mittels objekt- oder gesichtseingrenzenden Rechtecken erkenntlich gemacht werden, leiden unter Instabilität. Das Hauptaugenmerk liegt dabei auf dem in den Detektoren nachgelagerten Algo- rithmus Non-Maximum Suppression (NMS). Während dem Auswahlverfahren von NMS wer- den alle Rechtecke eliminiert, die sich mit einem benachbarten Rechteck überschneiden und welche über einen nicht maximalen Klassifikationswert verfügen. Auswirkungen dieses Selek- tionsverfahrens können speziell in der Objekt und Gesichtserkennung in Videosequenzen fest- gestellt werden. Noch so minimale Änderungen in den Pixelwerten eines einzelnen Ausschnittes führen zu wackelnden Rechtecken. Zur zielgerichteten Untersuchung dieses Problems, wird in der vorliegenden Arbeit eine neue Methode vorgeschlagen. Diese Methode beinhaltet das se- quentielle Zusammenführen von augmentierten Einzelbildern, womit die Bewegung von Ob- jekten und Gesichtern simuliert werden kann. Diese Methode ermöglicht die zielführende An- wendung einer Bewertungsmetrik zur Messung von zeit- und raumbezogener Stabilität dieser Rechtecke. Die Messung kann mittels vorhandener Annotationen mit einem Soll-Zustand ver- glichen werden. Zeitgleich werden zwei alternative Selektionsverfahren vorgeschlagen, die zur Lösung des Problems von wackelnden Rechtecken ihren Beitrag leisten. Dabei handelt es sich um Average und Average IoU NMS. Beide Alternativen beziehen den gewichteten Mittelwert von allen benachbarten Rechtecken bei, um daraus eine resultierende Vorhersage zu berechnen. Zu der Vorhersage gehört ein objekt- oder gesichtseingrenzendes Rechteck und ein Klassifikation- swert. Die gemeinsame Umsetzung des vorgeschlagenen Ansatzes zur Messung von Stabilität in Einzelbildern kombiniert mit den alternativen Selektionsverfahren wird mittels vorhandener Netzwerke realisiert. Zu den verwendeten Netzwerken gehören Faster R-CNN und MTCNN unter Berücksichtigung der Datensätze von Microsoft COCO, PASCAL VOC und WIDER Face. Anhand dieser Implementierung kann eine erhöhte Stabilität der Ergebnisse im Vergleich mit herkömmlichen Methoden zur Selektion gemessen werden. Ausserdem kann den alternativen Selektionsverfahren auch eine Verbesserung der Genauigkeit nachgelegt werden.
PDF File Download
Export BibTeX