Zur Seitenansicht
 

Titelaufnahme

Titel
A Systematic Evaluation of Efficient Uncertainty Estimation in Neural Networks / submitted by David Kowanda
AutorInnenKowanda, David Siddharta
Betreuer / BetreuerinWidmer, Gerhard
ErschienenLinz, 2018
Umfangvi, 135 Seiten : Illustrationen
HochschulschriftUniversität Linz, Masterarbeit, 2018
SpracheEnglisch
DokumenttypMasterarbeit
Schlagwörter (DE)maschinelles Lernen / neuronale Netze / Modellunsicherheit
Schlagwörter (EN)machine learning / neural networks / model uncertainty
URNurn:nbn:at:at-ubl:1-25930 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist gemäß den "Hinweisen für BenützerInnen" verfügbar
Dateien
A Systematic Evaluation of Efficient Uncertainty Estimation in Neural Networks [22.84 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Deutsch)

Tiefe neuronale Netze sind leistungsfähige diskriminative Modelle, die durch eine Vielzahl von Parametern bestimmt sind. Diese Parameter werden daher häufig in ei- ner Weise optimiert, welche lediglich Punktschätzungen der A-posteriori-Verteilung liefern. Solch eine Verringerung der Komplexität hat jedoch ihren Preis, nämlich den Verlust von Unsicherheitsinformation. Die Miteinbeziehung von Unsicherheiten in diskriminativen Modellen wäre von Vorteil, ist jedoch häufig zu rechenintensiv oder führt zu einer signifikanten Erhöhung in der Anzahl an Parametern. In der fol- genden Arbeit werden verschiedene Konzepte wie Bayes'sche neuronale Netze und Gaußprozesse untersucht, die viele gewünschte Eigenschaften aufweisen. Da diese beiden Methoden aber in Hinblick auf große Datenmengen schlecht skalierbar sind, kann die Anwendung stochastischer Regularisierungsverfahren als effiziente Alter- native genutzt werden um Modellunsicherheiten von deterministischen neuronalen Netzen näherungsweise zu bestimmen. In der vorliegenden Arbeit wird der Fra- ge nachgegangen, ob diese Näherungslösungen qualitativ ausreichende Schätzungen liefern.

Zusammenfassung (Englisch)

Deep neural networks are powerful discriminative models, which comprise vast amounts of parameters. Efficient training methods therefore often optimize these parameters to provide point estimates of the full posterior distribution. This reduc- tion of complexity comes with a price, namely the loss of uncertainty information. Incorporation of uncertainty estimates in discriminative approaches would be advan- tageous but also often implies computational intractability or a significant increase in the number of parameters. The following work will review different concepts such as Bayesian neural networks and Gaussian processes, which inherently provide the desired properties. Since these methods are not well scalable to larger datasets, the application of stochastic regularization methods may be utilized as an efficient alternative to recover model uncertainty from deterministic neural networks. The provided practical evaluation will address the question, whether such approxima- tions provide qualitatively sufficient estimates.

Statistik
Das PDF-Dokument wurde 7 mal heruntergeladen.