Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Retail Product Classifier: A mobile app for retail packaged product image classification and dataset management
Organization Unit
Authors
  • Marios Visos
Supervisors
  • Harald Gall
  • Pasquale Salza
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2020
Abstract Text Deep Convolutional Neural Network’s performance heavily depends on the quality as well as the quantity of the data used for training. This thesis is focused on the design and implementation of a software system to ease the traditional, tedious process of manually generating and managing meaningful labelled datasets. The software system includes a mobile client, an application server, and two computer vision components used for object detection. The mobile application gives users the power to generate and manage labelled image datasets, including useful metadata, and persist them in a database via the application server. In addition, users can easily trigger actions such as training, validating, testing as well as performing predictions on new unseen images. To evaluate the quality of the devised software system, we conducted a usability study in collaboration with a Swiss company named Valora at one of their supermarket stores called "avec" located at the Zurich main station. The overall results of our usability study were positive, and the feedback acquired from our 14 participants’ answers to our questionnaire render our mobile application valuable. As a result of our study, a publicly available dataset was generated, including a total of 88 product labels and 2630 images. Finally, we evaluated the generated datasets by using them as training data in two models, one for object localization and another for object detection. The results of testing the object detection model with our datasets make our application a sufficient replacement for the manual process of creating and annotating datasets used in an image classification task.
Zusammenfassung Die Leistung des Deep Convolutional Neural Network hängt sowohl von der Qualität als auch von der Quantität der für das Training verwendeten Daten ab. Diese Arbeit konzentriert sich auf den Entwurf und die Implementierung eines Softwaresystems, das den traditionellen, mühsamen Prozess der manuellen Generierung und Verwaltung von aussagekräftigen, beschrifteten Datensätzen erleichtert. Das Softwaresystem umfasst einen mobile-Anwendungs-Client, einen Anwendungsserver und zwei Computer-Vision-Komponenten, die für die Objekterkennung verwendet werden. Die mobile Anwendung gibt den Benutzern die Möglichkeit, etikettierte Bilddatensätze, einschließlich nützlicher Metadaten, zu erzeugen und zu verwalten und sie über den Anwendungsserver in einer Datenbank zu speichern. Darüber hinaus können Benutzer auf einfache Weise Aktionen wie Training, Validierung, Testen sowie die Durchführung von Vorhersagen für neue, ungesehene Bilder auslösen. Um die Qualität des entwickelten Softwaresystems zu evaluieren, haben wir in Zusammenarbeit mit einer Schweizer Firma namens Valora in einem ihrer Supermärkte namens "avec" am Hauptbahnhof Zürich eine Usability-Studie durchgeführt. Die Gesamtergebnisse unserer Usability-Studie waren positiv, und das Feedback, das wir durch die Antworten unserer 14 Teilnehmer auf unseren Fragebogen erhielten, macht unsere mobile Anwendung wertvoll. Als Ergebnis unserer Studie wurde ein öffentlich zugänglicher Datensatz generiert, der insgesamt 88 Produktetiketten und 2630 Bilder umfasst. Schließlich werteten wir die generierten Datensätze aus, indem wir sie als Trainingsdaten in zwei Modellen verwendeten, eines für die Objektlokalisierung und eines für die Objekterkennung. Die Ergebnisse des Testens des Objekterkennungsmodells mit unseren Datensätzen machen unsere Anwendung zu einem ausreichenden Ersatz für den manuellen Prozess der Erstellung und Annotation von Datensätzen, die bei einer Bildklassifikationsaufgabe verwendet werden.
PDF File Download
Export BibTeX