Zur Seitenansicht
 

Titelaufnahme

Titel
Hardware architecture of an event-driven stereo vision algorithm based on silicon retina sensors / eingereicht von DI(FH) Florian Eibensteiner
VerfasserEibensteiner, Florian
Begutachter / BegutachterinScharinger, Josef ; Brachtendorf, Hans-Georg
ErschienenLinz, Jänner 2016
Umfangx, 184 Seiten : Illustrationen
HochschulschriftUniversität Linz, Univ., Dissertation, 2016
Anmerkung
Zusammenfassung in deutscher Sprache
SpracheEnglisch
Bibl. ReferenzOeBB
DokumenttypDissertation
Schlagwörter (DE)Silicon Retina / ereignisgesteuert / Stereo Vision / System-on-a-Chip / Field Programmable Gate Array / Hardwarearchitektur / Real-Time
Schlagwörter (EN)event-driven / silicon retina / system-on-a-achip / stereo vision / field programmable gate array / hardware architecture / real-time
Schlagwörter (GND)Netzhaut / Silicone / Ereignisgesteuertes System / Räumliches Sehen / System-on-Chip
URNurn:nbn:at:at-ubl:1-8034 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist gemäß den "Hinweisen für BenützerInnen" verfügbar
Dateien
Hardware architecture of an event-driven stereo vision algorithm based on silicon retina sensors [6.66 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Deutsch)

Hochentwickelte Sensoren sind sehr wichtig für viele alltägliche Anwendungen wie Fahrerassistenzsysteme, autonome Fahrzeuge oder Fertigungsroboter. Insbesondere die 3D Wahrnehmung der Umgebung ist für eine verlässliche Funktionsweise unabdingbar. Hierfür kann das Stereo Vision Verfahren verwendet werden, indem die Umgebung mit zwei Kameras von unterschiedlichen Blickwinkeln aus erfasst wird. Jeder Punkt der Szene, der sich im Sichtfeld beider Kameras befindet, wird auf deren Bildebenen abgebildet. Da es sich um die Abbildung ein und desselben Punktes handelt, kann dieses Pixelpaar für die Berechnung der Entfernung des Punktes verwendet werden. Dabei ist der räumliche Versatz dieser Korrespondenzen reziprok proportional zum Abstand des Punktes. Die Suche nach Pixelkorrespondenzen ist der zentrale und gleichzeitig aufwändigste Teil bei Stereo Vision, vor allem bei schnellen Kameras mit hohen Auflösungen entstehen sehr große Datenmengen. Da zwischen den Einzelbildern meist nur kleine Änderungen auftreten, müssen vorwiegend redundante Daten verarbeitet werden. Daher werden in dieser Arbeit ereignisgesteuerte Kameras eingesetzt, die nach dem Vorbild der Natur völlig asynchron nur bei Kontraständerungen neue Daten schicken und als Silicon Retinae bezeichnet werden. Diese Sensordaten stellen demnach kontinuierliche Ströme aus Intensitätsänderungen dar und reduzieren so die Bilddaten auf ein Minimum, wodurch allerdings auch eine neue algorithmische Verarbeitung notwendig ist. Aufbauend auf diesen Daten werden Stereo Vision Algorithmen vorgestellt, die für die Korrespondenzsuche die Zeitinformation und Polarität der Sensordaten verwenden. Um die Daten der Silicon Retinae in Echtzeit verarbeiten zu können wird der Algorithmus in Hardware realisiert und in ein Field Programmable Gate Array (FPGA) integriert. Zusätzlich wird ein automatisierter Ansatz für die Kalibrierung solcher Sensoren entwickelt, mit dessen Hilfe die intrinsischen und extrinsischen Parameter der Kameras berechnet werden können, welche für die Rektifizierung der Eingangsdaten benötigt werden. Eine Evaluierungsplattform für die Verifikation und Analyse der Tiefenergebnisse anhand von Ground-Truth-Daten wird ebenfalls vorgestellt. Erste Auswertungen realistischer Testfälle zeigen positive Ergebnisse hinsichtlich der Genauigkeit der Entfernungsberechnung und Dichte der berechneten Tiefenkarte. Das vorgestellte Suchverfahren erweist sich als sehr effizient und führt in den meisten Fällen zu besseren Resultaten als in der Literatur publiziert worden sind.

Zusammenfassung (Englisch)

Today, advanced sensing technologies are one of the key drivers in many daily life application such as, driver assistance systems, autonomous robots in automation applications or autonomous vehicles. In particular the 3D perception of the environment in which these applications operate is crucial for a reliable function. For this, stereo vision can be used where the environment is observed with two digital cameras from two different points of view. Each point in the scene, visible to both cameras, is mapped onto both image planes, and thus, its projections correspond to each other and its 3D position can be reconstructed -- the spatial displacement of these projections is inversely proportional to the distance of the scene point. The main issue in stereo matching is solving the correspondence problem for a given stereo image pair. In fact, this is especially for high frame rates and spatial resolutions, a very time consuming and computationally expensive task. Furthermore, in most applications the observed scene does not change all the time, thus a lot of redundant data must be processed every time a new image pair is captured. Consequently, in this work a new kind of bio-inspired event-driven vision sensor is used delivering data only on illumination changes, completely asynchronously in time, called silicon retina. Such a sensor provides no frames, but a time-continuous stream of intensity differences and thus inherently reduces the visual information to a minimum. But in order to handle these sparse input data, a different algorithmic approach is required for event-based sensors. To this end, an event-based stereo matching approach based on time-correlation is introduced that allows a reliable matching of the sparse input event data. To address the high temporal resolution of the silicon retina and to do the correspondence search in real-time, the algorithm is implemented in hardware on a field programmable gate array (FPGA). Additionally, an automated stereo calibration method for silicon retinea is presented, enabling the calculation of the intrinsic and extrinsic parameters required for the rectification of the stereo event streams. Finally, an evaluation platform is introduced that enables ground truth based verification of the matching results, and a convincing comparison to other event-driven stereo matching algorithms. Real-world test cases have shown promising results in terms of accuracy measured by the average distance error. In particular, the area-based matching approach, that considers the spatial ordering of the events leads to confident and rather dense matching results in comparison to other matching algorithms.