Go to page
 

Bibliographic Metadata

Title
Coded Light-Field Sampling / submitted by David C. Schedl
Additional Titles
Kodierte Lichtfeldabtastung
AuthorSchedl, David
CensorBimber, Oliver ; Ng, Ren
Thesis advisorBimber, Oliver
PublishedLinz, 2018
Description110 Blätter : Illustrationen
Institutional NoteUniversität Linz, Dissertation, 2018
Annotation
Abweichender Titel laut Übersetzung der Verfasserin/des Verfassers
LanguageEnglish
Document typeDissertation (PhD)
Keywords (DE)Lichtfeld / Abtastung / Kodierung / Rekonstruktion / bildbasiertes Rendering / Kamera Array / Beleuchtung / Mikroskopie
Keywords (EN)light field / sampling / coded / upsampling / image-based rendering / camera array / light stage / microscope
URNurn:nbn:at:at-ubl:1-24717 Persistent Identifier (URN)
Restriction-Information
 The work is publicly available
Files
Coded Light-Field Sampling [142.15 mb]
Links
Reference
Classification
Abstract (German)

Lichtfeldtechnologie hat das Potential, traditionelle Aufnahme- und Beleuchtungssysteme abzulösen. Lichtfelder parametrisieren Lichtstrahlen als vierdimensionale Funktion, die sich vielfältig verarbeiten lässt. Eine handelsübliche Kamera nimmt zum Beispiel ein einfaches zweidimensionales Bild auf, während eine Lichtfeldkamera zusätzliche Richtungsinformation speichert. So erlaubt eine Lichtfeldaufnahme das nachträgliche Verändern von Blende, Fokus und Perspektive; dies wäre bei einem herkömmlichen Bild unmöglich. Lichtfeldmikroskopie ermöglicht schnelle volumetrische Aufnahmen und präzise steuerbare vierdimensionale Beleuchtung. Damit können Proben während der Betrachtung, interaktiv beleuchtet werden. Lichtfelder benötigen eine immense Anzahl an Samplingpunkten um Aliasing zu verhindern und hohe Qualität zu garantieren. Kompakte Lichtfeldsysteme mit integrierten Mikrolinsen multiplexen Orts- und Richtungsinformation (vier Dimensionen) auf einen zweidimensionalen Sensor oder Lichtmodulator. Haben der Sensor oder der Lichtmodulator eine zu geringe Auflösung, führt dies zu Samplingartefakten im Ortsraum. Lichtfeldsysteme mit großer Blende, wie zum Beispiel Kamera-Arrays oder Lichtkuppeln, haben wiederum Probleme in der Richtungsauflösung, wenn zu wenige Samples benutzt werden. Zu wenige zeitliche Abtastungen führen zu unbrauchbaren Samplingraten und zu Bewegungsunschärfe. Um genügend Abtastungen in den örtlichen, direktionalen und temporalen Dimensionen zu erhalten, werden mitunter komplexe Systeme benötigt. Solche Systeme haben allerdings Limitierungen bei der Anzahl an Samplingpunkten aufgrund von Auflösungsbeschränkungen, Bandbreiteneinschränkungen, Belichtungszeiten, oder Kostengrenzen. Eine weitverbreitete Möglichkeit mit diesen Limits umzugehen ist, die Samplingpunkte gleichförmig zu verteilen. In dieser Dissertation verwenden wir eine andere Methode: unregelmäßiges Sampling in Kombination mit spezialisierten Rekonstruktionsverfahren. Wir erzielen damit Resultate die annehmen lassen, dass wesentlich mehr Samplingpunkte verwendet wurden. Im ersten Teil dieser Arbeit wird ein Verfahren zur kodierten Aufnahme von Lichtfeldvideos mit hohem Dynamikumfang (englische Abkürzung: HDR) vorgestellt. Um HDR Videoframes zu erhalten, müsste jede Kamera im Array eine vollständige Belichtungssequenz aufnehmen. Aufgrund der langen Belichtungszeiten verringert sich die Videorate dadurch massiv und es kommt zu Problemen mit Bewegungsunschärfe. Wir verzichten daher auf die Aufnahme von allen Belichtungszeiten an allen Kameras. Stattdessen werden die Belichtungszeiten örtlich und zeitlich kodiert erfasst. Dieses spezielle Abtastmuster ermöglicht die Anwendung eines Rekonstruktionsverfahrens für vollständige HDR Lichtfeldvideos mit hoher Framerate und verringerter Bewegungsunschärfe. Ein weiterer Teil dieser Doktorarbeit beschäftigt sich mit optimalen Kodierungen für Kamera-Arrays und Lichtkuppeln um hochaufgelöste Lichtfelder zu berechnen. Anstelle von uniform verteilten Samples nimmt unser Verfahren einige Bereiche mit einer hohen Abtastrate (vielen Kameras oder Lichtern) und den Rest mit niedriger Samplingdichte auf. Ein spezielles Rekonstruktionsverfahren verwendet dann Informationen aus den hoch aufgelösten Bereichen, um neue Details in den niedrig aufgelösten Bereichen zu berechnen. Unser Verfahren verzichtet dabei komplett auf Tiefenrekonstruktion, welche bei komplexen Oberflächeneffekten wie Transparenz und Reflektion scheitern würde und kann dadurch auf beliebige Szenen angewandt werden. ^Der Fokus des letzten Teils dieser Dissertation liegt auf einem volumetrischen Beleuchtungsverfahren, welches Lichtstrahlen an bestimmten Punkten bündelt und dabei die Beleuchtung anderer Stellen verhindert. Die Herausforderung liegt dabei in der Berechnung des Beleuchtungsmusters aus der Lichtfeldaufnahme der Probe. Unsere Methoden erlauben die Berechnung von probenabhängigen Beleuchtungsmustern für streuende und nicht streuende Proben mit einem Lichtfeldmikroskop. Mit den Erkenntnissen aus dieser Arbeit können Lichtfeld-Systeme, wie Kameras, Lichtkuppeln und Mikroskope, verbessert werden.

Abstract (English)

Light-field technology has the potential to supersede traditional systems for imaging and illumination. Light fields parametrize incoming and outgoing light rays using a four-dimensional function and, thus, support various processing operations that are impossible with classical systems. For example, a regular camera simply records a two-dimensional image, while a light-field camera records additional directional information. A light-field photograph allows the changing of parameters such as aperture, focus, and perspective after recording. Light-field technology in microscopes supports fast optical volumetric readouts and precise, controllable four-dimensional illumination. Therefore, certain parts of a probe can be interactively illuminated while viewing the volume. Light fields require a substantial number of samples to prevent undersampling problems and to guarantee high-quality results. Compact light-field systems with integrated microlens arrays (MLAs) multiplex spatial and directional information on a single sensor or with a single light modulator. The sensor or light modulator needs to be of high resolution to avoid spatial undersampling. Wide aperture light-field systems such as camera arrays or light domes suffer from severe artifacts if too few directional samples are used. Scanning or recording insufficient temporal samples results in infeasible sampling times and serious motion artifacts. Thus, to adequately sample light fields in the spatial, directional, and temporal domain, complex sampling devices might be needed, leading to a limited number of samples due to resolution limitations, bandwidth restrictions, exposure durations, or budget reasons. While common approaches deal with these constraints by distributing available samples uniformly, we propose non-uniform sample placements in this thesis. Furthermore, we apply upsampling techniques to achieve qualitative results as if significantly more samples have been used. The first part of this thesis presents a method for coded recording of high-dynamic-range (HDR) light-field videos. Capturing exposure sequences is a common technique for HDR imaging but reduces the frame rate and causes motion blur in cases of camera movement. We decrease capturing time and reduce motion blur for HDR light-field video recording by applying a spatiotemporal exposure pattern while recording frames with a camera array. Subsequently, we apply a specialized deblurring and reconstruction technique that generates results with the same dynamic range when compared to regular exposure sequencing. In the next part of this thesis, we focus on angular superresolution approaches for light fields captured with sparse camera arrays and for reflectance fields recorded with sparse light domes. We derive optimal sampling masks for a desired configuration and directionally upsample the recorded light-field and reflectance data. One of our contributions is the use of local dictionaries---extracted directly from the scene---for upsampling. Our methods are applicable to arbitrary scenes because we avoid the need for depth reconstruction, which often fails for complex scene effects such as transparency and reflections. In the last part of this dissertation, we explain how to concentrate light simultaneously at multiple selected volumetric positions. We use a light-field microscope to record a volume and subsequently illuminate individual probe particles by means of a four-dimensional illumination light field. One of our contributions is a temporal coding strategy to significantly improve scanning time for scattering and non-scattering probes. The methods presented in this work might enhance future light-field systems such as cameras, light stages, and microscopes.

Stats
The PDF-Document has been downloaded 12 times.