Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Bayesian Optimization with Uncertainty Bounds for Neural Networks
Organization Unit
Authors
  • Marius Högger
Supervisors
  • Jakob Weissteiner
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2021
Abstract Text This thesis studies the application of neural networks (NNs) as estimators in Bayesian optimization and assesses if and how they can overcome this curse of dimensionality. Since quantifying the uncertainty of predictions is key in Bayesian optimization, several methods of representing predictive uncertainty for NNs are considered. Specifically, this thesis compares a very recent approach introduced by Heiss et al. (2021) called "neural optimization-based model uncertainty" (NOMU), against "Deep Ensembles" and "MC Dropout", two more established NN-based methods, and Gaussian processes. Experimental evaluations on synthetic data confirm that Gaussian processes outperform the NN-based methods in low dimensional settings (1D-2D) and show that NOMU performs as good or better than the other NN-based methods. However, the experiments in higher dimensions suggest that the NN-based methods improve and finally manage to outperform Gaussian processes with standard configurations. Furthermore, the results indicate that especially in higher dimensions, NOMU performs robustly as good or better than the other NN-based methods.
Zusammenfassung Diese Arbeit studiert die Anwendung von neuronalen Netzwerken (NN) als Modellierungs-Methode für Bayessche Optimierung und untersucht ob und wie diese den Fluch der Dimensionalität überwinden können. Der Fokus liegt auf NNs welche in der Lage sind ihre eigene Modell-Unsicherheit zu schätzen. Genauer vergleicht diese Arbeit den sehr neuen Ansatz names "neural optimization-based model uncertainty" (NOMU), eingeführt von Heiss et al. (2021), mit den etablierteren NN-basierten Methoden "Deep Ensembles" und "MC Dropout" sowie dem Gaussischen Prozess. Experimentelle Auswertungen auf syntetischen Daten bestätigen, dass der Gaussische Prozess die NN-basierten Methoden bei Problemen in tiefen Dimensionen (1D-2D) übertrifft und zeigen dass NOMU gleich gute oder bessere Resultate liefert als die anderen NN-basierten Methoden. Die Experimente in höheren Dimensionen jedoch suggerieren, dass die NN-basierten Methoden sich gegenüber dem Gaussichen Prozessverbessern und es schaffen diesen sogar zu überholen. Des Weiteren zeigen die Resultate dass speziell in höheren Dimensionen NOMU robustere und bessere Resultate erzielt als die anderen NN-basierten Methoden.
PDF File Download
Export BibTeX