The delta radiance field

Abstract

Die weite Verbreitung von mobilen Endgeräten, welche in der Lage sind, realitätsnahe Bilder in Echtzeit zu berechnen, haben ein erneutes Interesse an der Forschung und Weiterentwicklung von Augmented Reality Anwendungen geweckt. Innerhalb des breiten Spektrums von vermischten reellen und virtuellen Elementen existiert ein spezieller Bereich mit dem Ziel, reale Szenen um virtuelle Kopien real existierender Objekte oder bald verfügbarer Produkte visuell plausibel zu erweitern. Überraschenderweise lässt allerdings der momentane Stand der Technik an genau dieser Stelle stark zu wünschen übrig: Augmentierende Objekte werden in aktuellen Systemen oft ohne jegliche Rekonstruktion von Umgebung und Beleuchtung in die reale Szene integriert und vermitteln den Eindruck, das Kamerabild einfach zu übermalen anstatt die Realität zu erweitern. Angesichts der Fortschritte in der Filmindustrie, die Vermischungen von Realitäten in allen Extremfällen bereits handhabt, ist es angebracht zu fragen, warum solche Erkenntnisse nicht bereits ihren Weg zurück in den Augmented Reality Sektor gefunden haben. Augmented Reality Anwendungen, welche grundsätzlich als Echtzeitandwendungen verstanden werden und die räumliche Zuordnung zwischen virtuellen und realen Elementen rekonstruieren, müssen zur Laufzeit auf weitere lückenhafte Informationen über die reale Szene reagieren. Darunter finden sich die unbekannten Beleuchtungsverhältnisse der realen Szene und die unbekannten Eigenschaften realer Oberflächen. Jedwede Rekonstruktion die zur Laufzeit ad-hoc geschieht muss mit einem entsprechenden Algorithmus arbeiten, der die Beleuchtung virtueller Objekte und den Transfer von virtuellem Licht auf echte Oberflächen ebenso ad-hoc berechnet. Der immersive Eindruck einer Augmented Reality Simulation ist, abgesehen von Realismus und Genauigkeit des Darstellungsverfahrens, primär abhängig von ihrer Reaktions- und Verarbeitungsgeschwindigkeit. Alle Berechnungen die das Endbild betreffen müssen in Echtzeit durchgeführt werden. Diese Bedingung schließt jedoch viele Verfahren, die in der Filmproduktion zum Einsatz kommen, direkt aus. Die verbleibenden Echtzeit-Optionen sind drei Problemen gegenübergestellt: Dem Shading von virtuellen Oberflächen unter Einbezug natürlicher Beleuchtung, der Nachbeleuchtung realer Oberflächen entsprechend der veränderten Beleuchtungssituation durch das neu eingefügten Objekt, und glaubhafte globale Interaktion von realem und virtuellem Licht. Diese Dissertation präsentiert neue Beiträge, um alle drei Probleme zu lösen. Der aktuelle Stand der Technik baut auf sogenannten Differential Rendering Techniken auf, um Globale Beleuchtungsalgorithmen in AR Szenarien zu integrieren. Dieser einfache Ansatz hat jedoch einen rechenaufwändige Kehrseite, die die Möglichkeiten, glaubhaften globalen Lichttransfer zu simulieren, stark eingrenzt. Diese Dissertation untersucht neue Shading- und Nachbeleuchtungsalgorithmen, die auf einem neuen mathematischen Grundwerk aufbauen, welches Differential Rendering ersetzt. Die daraus resultierenden Algorithmen sind nicht nur effizienter als aktuelle, konkurrierende Verfahren, sondern erweitern das Feld um Effekte die bisher in keinen anderen Publikationen demonstriert wurden