Go to page
 

Bibliographic Metadata

Title
A Systematic Evaluation of Efficient Uncertainty Estimation in Neural Networks / submitted by David Kowanda
AuthorKowanda, David Siddharta
Thesis advisorWidmer, Gerhard
PublishedLinz, 2018
Descriptionvi, 135 Seiten : Illustrationen
Institutional NoteUniversität Linz, Masterarbeit, 2018
LanguageEnglish
Document typeMaster Thesis
Keywords (DE)maschinelles Lernen / neuronale Netze / Modellunsicherheit
Keywords (EN)machine learning / neural networks / model uncertainty
URNurn:nbn:at:at-ubl:1-25930 Persistent Identifier (URN)
Restriction-Information
 The work is publicly available
Files
A Systematic Evaluation of Efficient Uncertainty Estimation in Neural Networks [22.84 mb]
Links
Reference
Classification
Abstract (German)

Tiefe neuronale Netze sind leistungsfähige diskriminative Modelle, die durch eine Vielzahl von Parametern bestimmt sind. Diese Parameter werden daher häufig in ei- ner Weise optimiert, welche lediglich Punktschätzungen der A-posteriori-Verteilung liefern. Solch eine Verringerung der Komplexität hat jedoch ihren Preis, nämlich den Verlust von Unsicherheitsinformation. Die Miteinbeziehung von Unsicherheiten in diskriminativen Modellen wäre von Vorteil, ist jedoch häufig zu rechenintensiv oder führt zu einer signifikanten Erhöhung in der Anzahl an Parametern. In der fol- genden Arbeit werden verschiedene Konzepte wie Bayes'sche neuronale Netze und Gaußprozesse untersucht, die viele gewünschte Eigenschaften aufweisen. Da diese beiden Methoden aber in Hinblick auf große Datenmengen schlecht skalierbar sind, kann die Anwendung stochastischer Regularisierungsverfahren als effiziente Alter- native genutzt werden um Modellunsicherheiten von deterministischen neuronalen Netzen näherungsweise zu bestimmen. In der vorliegenden Arbeit wird der Fra- ge nachgegangen, ob diese Näherungslösungen qualitativ ausreichende Schätzungen liefern.

Abstract (English)

Deep neural networks are powerful discriminative models, which comprise vast amounts of parameters. Efficient training methods therefore often optimize these parameters to provide point estimates of the full posterior distribution. This reduc- tion of complexity comes with a price, namely the loss of uncertainty information. Incorporation of uncertainty estimates in discriminative approaches would be advan- tageous but also often implies computational intractability or a significant increase in the number of parameters. The following work will review different concepts such as Bayesian neural networks and Gaussian processes, which inherently provide the desired properties. Since these methods are not well scalable to larger datasets, the application of stochastic regularization methods may be utilized as an efficient alternative to recover model uncertainty from deterministic neural networks. The provided practical evaluation will address the question, whether such approxima- tions provide qualitatively sufficient estimates.

Stats
The PDF-Document has been downloaded 6 times.