Not logged in.

Quick Search - Contribution

Contribution Details

Type Bachelor's Thesis
Scope Discipline-based scholarship
Title Continuous Deep Learning; An in-depth investigation of the deep learning workflow
Organization Unit
Authors
  • Janosch Baltensperger
Supervisors
  • Harald Gall
  • Pasquale Salza
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2021
Abstract Text Deep learning has gained immense attraction with the emergence of big data and advanced computing power. Through the use of artificial neural networks, various breakthroughs were achieved in fields such as language understanding and image recognition. Nevertheless, it has soon become clear that deep learning and machine learning in general impose various additional challenges besides building an accurate model. Researchers have been highly active to investigate the classical machine learning workflow and integrate best practices from the software engineering lifecycle. However, deep learning exhibits deviations which are not yet covered in this conceptual development process. This includes the requirement of dedicated hardware, dispensable feature engineering, extensive hyperparameter optimization, large-scale data management and model compression to reduce size and inference latency. Individual problems of deep learning are under thorough examination, and numerous concepts and implementations have gained traction. However, the complete end-to-end development process still remains unspecified. In this thesis, we defined a detailed deep learning workflow that incorporates the aforementioned characteristics on the baseline of the classical machine learning workflow. We further transferred the conceptual idea into practice by building a prototypic deep learning system using the latest technologies on the market. To examine the feasibility of the workflow, two use cases were applied to the prototype. The first use case represented a text classification problem, while the second use case focused on image processing. We thereby successfully demonstrated the application of the workflow on distinct examples. In summary, it becomes apparent that the deep learning lifecycle compromises a large set of steps and involves various roles. With our defined workflow, we present a profound guideline for the deep learning development process. Moreover, we conclude that the technologies currently available on the market are not fully mature. Great effort is required to manage all deep learning artifacts and keep versions aligned within continuous iterations over the lifecycle.
Zusammenfassung Deep Learning hat mit dem Aufkommen von Big Data und fortschrittlicher Rechenleistung immenses Interesse gewonnen. Durch den Einsatz von künstlichen neuronalen Netzwerken wurden verschiedene Durchbrüche in Gebieten wie Sprachverständnis und Bilderkennung erzielt. Dennoch wurde schnell klar, dass Deep Learning und Machine Learning im Allgemeinen neben der Erstellung eines akkuraten Modells verschiedene zusätzliche Herausforderungen mit sich bringen. Forscher waren sehr aktiv, um den klassischen Workflow des maschinellen Lernens zu untersuchen und Best Practices aus dem Lebenszyklus der Softwareentwicklung zu integrieren. Deep Learning weist jedoch Abweichungen auf, die in diesem konzeptionellen Entwicklungsprozess noch nicht berücksichtigt sind. Dazu gehören die Notwendigkeit dedizierter Hardware, entbehrliches Feature-Engineering, aufwendige Hyperparameter-Optimierung, umfangreiches Datenmanagement und Modellkompression zur Reduzierung der Grösse und Latenz. Die einzelnen Probleme von Deep Learning werden bis heute gründlich untersucht, und zahlreiche Konzepte und Implementierungen haben an Zugkraft gewonnen. Der komplette Entwicklungsprozess ist jedoch noch immer nicht spezifiziert. In dieser Arbeit haben wir einen detaillierten Deep-Learning-Workflow definiert, der die oben genannten Eigenschaften auf der Basis des klassischen Machine-Learning-Workflows einbezieht. Des Weiteren haben wir die konzeptionelle Idee in die Praxis übertragen, indem wir ein prototypisches Deep-Learning-System unter Verwendung der neuesten Technologien auf dem Markt entwickelt haben. Um die Anwendbarkeit des Workflows zu untersuchen, wurden zwei Beispiele auf den Prototyp angewendet. Der erste Anwendungsfall stellte ein Textklassifizierungsproblem dar, während sich der zweite Anwendungsfall auf die Bildverarbeitung konzentrierte. Damit konnten wir die Anwendung des Workflows an unterschiedlichen Beispielen erfolgreich demonstrieren. Zusammenfassend wird deutlich, dass der Deep-Learning-Lebenszyklus eine grosse Anzahl von Aktivitäten umfasst und verschiedene Rollen involviert. Mit unserem definierten Workflow stellen wir einen fundierten Leitfaden für den Deep-Learning-Entwicklungsprozess vor. Darüber hinaus kommen wir zu dem Schluss, dass die derzeit auf dem Markt verfügbaren Technologien nicht vollständig ausgereift sind. Es ist ein grosser Aufwand erforderlich, um alle Deep-Learning-Artefakte zu verwalten und die Versionen innerhalb kontinuierlicher Iterationen über den Lebenszyklus hinweg abzustimmen.
PDF File Download
Export BibTeX