Zur Seitenansicht
 

Titelaufnahme

Titel
Wide-field-of-view light-field acquisition and processing / submitted by Clemens Birklbauer
VerfasserBirklbauer, Clemens
Begutachter / BegutachterinBimber, Oliver ; Wetzstein, Gordon
ErschienenLinz, September 2016
Umfangvi, 113 Blätter : Illustrationen
HochschulschriftUniversität Linz, Univ., Dissertation, 2016
Anmerkung
Zusammenfassung in deutscher Sprache
SpracheEnglisch
Bibl. ReferenzOeBB
DokumenttypDissertation
Schlagwörter (DE)Lichtfeld / Panorama / Seitenverhältnisanpassung / bildbasiertes Rendering
Schlagwörter (EN)light field / panorama / aspect ratio adaption / image-based rendering
Schlagwörter (GND)Lichtfeld / Panorama / Proportion / Bildbasiertes Rendering
URNurn:nbn:at:at-ubl:1-11742 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist gemäß den "Hinweisen für BenützerInnen" verfügbar
Dateien
Wide-field-of-view light-field acquisition and processing [103.91 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Englisch)

Light-field cameras offer new imaging possibilities compared to conventional digital cameras. For instance, they support synthetic refocusing during post-processing (which adds a whole range of new artistic possibilities), multi-perspective recording (which is useful for virtual reality applications) and depth-variant filtering (which can be applied in 3D sensing). Unfortunately, a drawback of many currently available and affordable light-field cameras is their limited field of view and resolution. In this thesis we focus on acquisition and processing methods to overcome these restrictions but avoid the need for bulky or expensive extra equipment. We show extensions of popular image-processing techniques for this purpose, like panorama stitching or aspect ratio adaption, as well as methods for simple light-field capturing with smartphones and efficient rendering of large datasets. The main challenge in our approaches is the additional angular domain of light fields; thus, compared to regular image-processing methods, we do not only have to preserve spatial but also angular consistency and other important light-field properties. We see applications for these algorithms, for example, in currently trending 360 virtual reality productions which can benefit from the additional information stored in light fields. Furthermore, we believe our techniques generally make light fields more useful for professional and amateur photographers by enabling powerful processing methods popular in conventional digital photography and by simplifying their recording. In the first part of this thesis multiple stitching approaches are investigated. These procedures join light fields captured with conventional plenoptic cameras to compute panoramic light fields with a horizontal field of view of up to 360. An algorithm which computes optimal recording parameters for controllable capturing setups as well as methods for dealing with imprecise recordings when using hand-held cameras are presented. Furthermore, the thesis explores techniques to alter the aspect ratio of light fields while simultaneously preserving the content. In this context we developed a novel deformation method which serves as a basis for various processing algorithms. In addition to joining and modifying light fields, the direct capturing of wide-field-of-view light fields with smartphones is also discussed. In contrast to previously used methods this technique actively guides users to a recommended next sampling position and also allows collaborative capturing of light fields directing multiple users at the same time. Since the resulting light fields can be too large to be rendered with conventional methods, a caching framework for the GPU is presented as well. It uses a novel probability-based prefetching and eviction strategy which is applied to small cache units and enables interactive rendering of huge plenoptic datasets.

Zusammenfassung (Deutsch)

Lichtfeldkameras eröffnen im Vergleich zu konventionellen Digitalkameras viele neue Möglichkeiten im Bereich der digitalen Bilderfassung. Dazu gehören das Refokussieren nach dem Aufnehmen (was eine Reihe neuer künstlerischer Möglichkeiten eröffnet), die Aufnahme von mehreren Perspektiven (nützlich für Virtual-Reality-Anwendungen), tiefenabhängiges Filtern (mit Anwendungsmöglichkeiten im Bereich der 3D-Abtastung) und vieles mehr. Nachteile von vielen aktuell erhältlichen und leistbaren Lichtfeldkameras sind leider ihr limitiertes Sichtfeld und ihre Auflösung. Der Fokus dieser Arbeit liegt auf Aufnahme- und Verarbeitungsmethoden, um diese Einschränkungen zu überwinden ohne dabei sperrige oder teure zusätzliche Ausrüstung zu benötigt. Deshalb werden Erweiterungen von dafür oft genutzten Bildverarbeitungstechniken präsentiert, wie etwa die Panoramaerzeugung oder die inhaltsabhängige Veränderung des Seitenverhältnisses sowie Methoden zum vereinfachten Aufnehmen von Lichtfeldern mit Smartphones und zum effizienten Darstellen der großen Datenmengen erforscht. Die größten Herausforderungen in den gezeigten Lösungsansätzen sind dabei die zusätzlichen richtungsabhängigen Informationen. Diese erforden im Vergleich zu normalen Bildverarbeitungsalgorithmen nicht nur den Erhalt der Konsistenz im Bildraum, sondern auch im Richtungsraum sowie die Bewahrung anderer wichtiger Eigenschaften der Lichtfelder. Anwendungsmöglichkeiten der gezeigten Algorithmen gibt es zum Beispiel bei aktuell populären Virtual-Reality-Produktionen mit 360 Sichtfeld, welche von den zusätzlichen Eigenschaften der Lichtfelder profitieren. Des Weiteren erhöhen die gezeigten Techniken generell den Nutzen von Lichtfeldern für Profi- und Amateurfotografen, indem sie leistungsfähige Verarbeitungsmethoden ermöglichen, die bereits in der digitalen Bildverarbeitung gerne genutzt werden, oder indem sie die Aufnahme von Lichtfeldern vereinfachen. Im ersten Abschnitt dieser Arbeit werden verschiedene Techniken zum Zusammenfügen mehrerer Lichtfelder gezeigt. Die Daten werden mit herkömmlichen Lichtfeldkameras erfasst und dann zu Lichtfeldern mit einem horizontalen Sichtfeld von bis zu 360 erweitert. Es wird ein Algorithmus präsentiert, welcher optimale Aufnahmeparameter im Fall von kontrollierbaren Kamerabewegungen berechnet, aber auch Methoden, die Aufnahmen verarbeiten können, bei denen die Kamera nur ungefähr mit der Hand ausgerichtet wurde. Des Weiteren werden Verarbeitungstechniken gezeigt, welche das Seitenverhältnis von Lichtfeldern ver- ändern können, unter Berücksichtigung des Szeneninhaltes. Eine dabei zu Grunde liegende neuartige Methode zur Verformung von Lichtfeldern dient als Basis für verschiedenste Verarbeitungstechniken. Zusätzlich zur Veränderung und zum Zusammenfügen von Lichtfeldern wird auch das direkte Aufnehmen von Lichtfeldern mit einem großen Sichtfeld, unter Zuhilfenahme von regulären Smartphones, behandelt. Im Vergleich zu früheren Arbeiten wird dabei der Benutzer aktiv zur nächsten empfohlenen Aufnahmeposition geleitet. Des Weiteren wird das gemeinsame Aufnehmen von Lichtfeldern mit mehreren Nutzern gleichzeitig erforscht. Da die erzeugten Lichtfelder zu groß sein können, um mit konventionellen Methoden dargestellt zu werden, wird schließlich eine Puffermethode für Lichtfelder präsentiert, um deren Verarbeitung zu ermöglichen. Eine neuartige wahrscheinlichkeitsbasierte Vorhersagestrategie sagt dabei für kleine Unterbereiche des Lichtfelds voraus, ob diese auf die Grafikkarte geladen oder davon entfernt werden sollen. Das ermöglicht die interaktive Darstellung sogar von sehr großen Lichtfeldern.