Masterarbeit-Obsidian-Vault/Paperung/Related Works/3.3 - Sim-to-Real-Transfer, Generalisierung und Domain Adaptation und Domain Randomization.md

Genereller Aufbau:

Das Kapitel soll ja nur zwei Seiten haben., also muss es kompakt und fokussiert sein. Ich würde es so aufbauen: Aufbauend auf dem Dreischnitt, den wir schon skizziert hatten, würde ich es so konkretisieren: Einstieg: Das Sim-to-Real-Problem (ca. halbe Seite) Kurz das grundsätzliche Problem umreißen – Modelle, die auf synthetischen Daten trainiert werden, performen auf realen Daten schlechter. Das nicht abstrakt, sondern direkt am Eyetracking-Kontext festmachen: SynthesEyes berichtet den Domain Gap explizit (13.91° vs. 6.33° auf MPIIGaze), RIT-Eyes zeigt den mIoU-Drop von >95 auf 73–86 cross-domain. Damit ist das Problem konkret motiviert und du wiederholst nicht Kapitel 1, sondern greifst gezielt die dort erwähnten Ergebnisse auf. Strategie 1: Domain Randomization – mehr Variation statt mehr Realismus (ca. dreiviertel Seite) Tobin et al. als allgemeiner methodischer Rahmen: Die Kernidee, dass ein Modell auf reale Daten generalisiert, wenn die synthetische Variation breit genug ist, dass die Realität als Teilmenge enthalten ist. Dann die Brücke zum Eyetracking: UnityEyes' Erfolg gegenüber SynthesEyes trotz geringerem Realismus ist im Grunde genau dieses Argument – Skalierung und Variation schlagen Rendering-Treue. Hier kannst du dann den entscheidenden Satz platzieren: Periorbitale Formvariation lässt sich konzeptionell als eine weitere Achse der Domain Randomization verstehen, die bisher fehlt. Strategie 2: Verfeinerung und domänenspezifische Adaptation (ca. dreiviertel Seite) SimGAN als prominentestes Beispiel – adversarielle Verfeinerung von UnityEyes-Output, um den visuellen Gap zu schließen, ohne Labels zu verlieren. Seg2Eye als alternativer Ansatz, der aus Segmentierungsmasken personenspezifische Augenbilder generiert. Kurz einordnen, dass diese Ansätze komplementär zu Domain Randomization sind: Sie arbeiten am Erscheinungsbild, nicht an der zugrundeliegenden geometrischen Variation. Damit schärfst du die Argumentation – deine Arbeit adressiert den Gap auf der Geometrieseite, nicht auf der Textur-/Stilseite. Die argumentative Klammer am Ende wäre dann: Beide Strategien adressieren den Sim-to-Real Gap, aber auf unterschiedlichen Ebenen. Formvariation der Periorbitalregion ist weder reine Randomization noch stilistische Adaptation – sie fügt eine biologisch motivierte Variationsachse hinzu, die in keiner der bestehenden Arbeiten explizit als Faktor isoliert wurde. So bleibt das Kapitel bei ~2 Seiten und hat trotzdem eine klare Dramaturgie, die direkt auf die Forschungslücke hinarbeitet.

Variante 1 von Claudibum

3.3 Sim-to-Real-Transfer, Generalisierung und Domain Randomization

Modelle, die ausschließlich auf synthetischen Daten trainiert werden, zeigen beim Übergang auf reale Bilder erhebliche Leistungseinbußen — ein als Sim-to-Real Gap bezeichnetes Phänomen. Im Eyetracking ist dieser Gap quantitativ gut belegt: Wood et al. 1 berichteten für SynthesEyes einen mittleren Gaze-Estimation-Fehler von 13,91° auf dem realen MPIIGaze-Datensatz, während die Kreuzvalidierung innerhalb von MPIIGaze 6,33° ergab — weniger als die Hälfte. Für die semantische Segmentierung ist die Diskrepanz noch deutlicher: Nair et al. [2] zeigten mit RIT-Eyes, dass RITnet innerhalb synthetischer Datensätze mIoU-Werte über 95 % erreichte, die Übertragung auf das reale OpenEDS jedoch auf 73,94 % einbrach. Die Ursachen sind kumulativ: Texturdiskrepanzen (RIT-Eyes verwendete nur eine Skleratextur), Beleuchtungsunterschiede zwischen HDR-Umgebungskarten und realer IR-Beleuchtung, fehlende Störfaktoren wie Make-up oder Sensorrauschen und vor allem eine begrenzte anatomische Diversität — SynthesEyes stützte sich auf zehn, RIT-Eyes auf 24 diskrete Kopfmodelle, die die Breite realer Populationen nur eingeschränkt abbilden.

Domain Randomization: Breite Variation statt perfekter Realismus

Das Paradigma der Domain Randomization, formalisiert von Tobin et al. 3 im Kontext der Robotik, liefert den theoretischen Rahmen für den Umgang mit dem Domain Gap durch Variation: Wenn die synthetische Trainingsverteilung hinreichend breit ist, erscheint die reale Welt dem Modell als bloße weitere Variation. Tobin et al. trainierten ein Objekterkennungsnetzwerk auf simulierten Bildern mit nicht-realistischen Zufallstexturen und erreichten dennoch 1,5 cm Lokalisierungsgenauigkeit in der Realität. Entscheidend war nicht der Realismus einzelner Bilder, sondern die Anzahl einzigartiger Texturen und die Datensatzgröße. Tremblay et al. 4 bestätigten dies für Objektdetektion und zeigten, dass nach synthetischem Pre-Training 50-mal weniger reale Daten für die Feinanpassung benötigt wurden.

Im Eyetracking implementierte UnityEyes 5 dieses Prinzip, bevor der Begriff etabliert war. Sein PCA-basiertes Morphable-Eye-Region-Modell parametrisierte die Augenregion über Hauptkomponenten, wobei die erste Mode den Unterschied zwischen Schlupflid und hervorstehendem Auge erfasste. Durch Sampling im PCA-Raum konnten neuartige Augenregionen erzeugt werden. UnityEyes generierte eine Million Bilder 200-mal schneller als SynthesEyes und erzielte bei geringerer Rendering-Treue geringfügig bessere Gaze-Estimation-Ergebnisse auf MPIIGaze (9,95° vs. 10,09°) — Skalierung und Formdiversität kompensieren geringeren Fotorealismus. Byrne et al. 6 treiben dieses Prinzip mit LEyes weiter, indem sie vollständig auf 3D-Geometrie verzichten und nur Schlüsselmerkmale als randomisierte 2D-Gaußverteilungen modellieren. Sie identifizieren explizit Hardware-Unterschiede und biologische Diversität als die zentralen Generalisierungshürden.

Periorbitale Formvariation — Epikanthusfalten, Lidformen, Kanthalgeometrien — lässt sich in diesem Rahmen als eine weitere, bisher fehlende Achse der Domain Randomization verstehen. Bisherige Pipelines randomisieren Beleuchtung, Textur und Blickrichtung, während die morphologische Variation der Augenumgebung auf wenige diskrete Kopfmodelle beschränkt bleibt oder in PCA-Koeffizienten ohne semantische Zuordnung enthalten ist. Die Erweiterung der Synthesepipeline um explizit steuerbare periorbitale Formparameter fügt dem Randomisierungsraum eine anatomisch motivierte Dimension hinzu, die in realen Populationen systematisch auftritt, in keiner bestehenden Pipeline aber als unabhängig kontrollierbarer Faktor isoliert wurde.

Verfeinerung und domänenspezifische Adaptation

Der alternative Ansatz besteht darin, synthetische Bilder so zu transformieren, dass sie realistischer wirken, ohne die Annotationsinformation zu verlieren. SimGAN 7 ist das prominenteste Beispiel: Ein adversarielles Refiner-Netzwerk transformiert UnityEyes-Ausgaben auf Pixelebene, wobei eine Self-Regularization-Loss verhindert, dass der Refiner Bildinhalte halluziniert und die Blickrichtungsannotation verfälscht. Ein lokaler Diskriminator klassifiziert Patches statt ganzer Bilder. SimGAN erzielte auf MPIIGaze eine relative Verbesserung von 21 %, und menschliche Probanden konnten verfeinerte von realen Bildern nicht unterscheiden (51,7 % bei 50 % Zufall). Seg2Eye 8 verfolgt einen komplementären Ansatz: Aus Segmentierungsmasken werden stilkonsistente, personenspezifische Augenbilder generiert, wobei SPADE die inhaltliche Steuerung und AdaIN die Stilinjektion aus Referenzbildern einer Zielperson übernimmt. CycleGAN-basierte Ansätze wie GazeGAN 9 nutzen ungepaarte Bild-zu-Bild-Translation mit zusätzlicher Gaze-Consistency-Loss; Fuhl et al. [10] zeigten, dass solches Refinement die Pupillendetektion auf dem LPW-Datensatz von 0,49 auf 0,71 verbesserte.

Gemeinsam ist allen Adaptationsansätzen, dass sie am Erscheinungsbild synthetischer Bilder arbeiten — an Texturen, Pixelstatistiken und Stil —, nicht an der zugrundeliegenden geometrischen Struktur. Sie schließen den Domain Gap auf der Oberfläche, lassen aber die anatomische Formdiskrepanz unberührt. Die vorliegende Arbeit adressiert den Gap komplementär: nicht durch stilistische Angleichung, sondern durch Erweiterung der synthetischen Trainingsverteilung um eine bisher unterrepräsentierte morphologische Variationsachse. Beide Strategien — Randomization und Adaptation — sind dabei nicht gegensätzlich, sondern operieren auf unterschiedlichen Ebenen. Formvariation der Periorbitalregion fügt eine biologisch motivierte Variationsdimension hinzu, die in keiner der bestehenden Arbeiten als Faktor isoliert wurde. Ob diese Erweiterung die Generalisierung tatsächlich verbessert oder durch zu breite Streuung erschwert, lässt sich nur experimentell beantworten.

---

Quellenverzeichnis

1 Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. — Rendering of Eyes for Eye-Shape Registration and Gaze Estimation, ICCV 2015

[2] Nair, N., Kothari, R. S., Chaudhary, A. K., Yang, Z., Diaz, G. J., Pelz, J. B., & Bailey, R. J. — RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications, SAP 2020

3 Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., & Abbeel, P. — Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World, IROS 2017

4 Tremblay, J., Prakash, A., Acuna, D., Brophy, M., Jampani, V., Anil, C., To, T., Cameracci, E., Boochoon, S., & Birchfield, S. — Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization, CVPR Workshops 2018

5 Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. — Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images, ETRA 2016

6 Byrne, S. A., Maquiling, V., Nyström, M., Kasneci, E., & Niehorster, D. C. — LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking Using Synthetic Eye Images, Behavior Research Methods 2025

7 Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. — Learning from Simulated and Unsupervised Images through Adversarial Training, CVPR 2017

8 Bühler, M., Park, S., De Mello, S., Zhang, X., & Hilliges, O. — Content-Consistent Generation of Realistic Eyes with Style, ICCV Workshops 2019

9 Sela, M., Xu, P., He, J., Navalpakkam, V., & Lagun, D. — GazeGAN — Unpaired Adversarial Image Generation for Gaze Estimation, arXiv 2017

[10] Fuhl, W., Geisler, D., Rosenstiel, W., & Kasneci, E. — The Applicability of Cycle GANs for Pupil and Eyelid Segmentation, Data Generation and Image Refinement, ICCV Workshops 2019

Variante 2 von Gibbidy

3. Sim-to-Real-Transfer, Generalisierung und Domain Adaptation / Domain Randomization

Der Einsatz synthetischer Daten verspricht für das Eyetracking erhebliche praktische Vorteile, weil Annotationen automatisch verfügbar sind und sich seltene oder schwer kontrollierbare Blicksituationen gezielt erzeugen lassen. Dennoch zeigt sich in der Literatur konsistent, dass Modelle, die auf synthetischen Daten trainiert werden, auf realen Bildern typischerweise schlechter generalisieren. Dieses Problem wird als Sim-to-Real-Gap bezeichnet und beschreibt die Differenz zwischen der Verteilung synthetischer Trainingsdaten und jener realer Anwendungsdaten 1. Im Eyetracking ist dieser Gap nicht nur ein abstraktes methodisches Problem, sondern empirisch klar sichtbar: Für die gaze estimation berichten Wood et al. auf MPIIGaze einen mittleren Fehler von 13.91° für ein auf SynthesEyes trainiertes Modell, während ein innerhalb derselben Zieldomäne trainiertes Modell einen praktischen unteren Referenzwert von 6.33° erreicht 1. Auch im Bereich der Augensegmentierung zeigen Arbeiten im Umfeld von RIT-Eyes, OpenEDS und verwandten Datensätzen deutliche Leistungseinbrüche, sobald Bildqualität, Auflösung oder Aufnahmebedingungen zwischen Trainings- und Testdaten variieren; publizierte mIoU-Werte reichen dann nur noch in Bereiche von ungefähr 73 bis 86, während in kontrollierten In-Domain-Szenarien Werte von über 95 erreicht werden 7. Der zentrale Grund dafür ist, dass synthetische und reale Daten sich in mehreren, für das Modell relevanten Dimensionen unterscheiden: Beleuchtung, Sensorrauschen, Reflexionen, Okklusionen, Hardwarecharakteristika und anatomische Variation der Augenregion sind in der Realität anders verteilt als in der Simulation 1.

Eine zentrale Strategie zur Verringerung dieses Sim-to-Real-Gaps ist Domain Randomization. Deren Grundidee besteht nicht darin, die Simulation möglichst perfekt an eine konkrete reale Zielwelt anzunähern, sondern die synthetische Datenverteilung so breit zu machen, dass die reale Welt für das Modell nur noch als ein Spezialfall innerhalb dieser Variabilität erscheint [2]. Tobin et al. formulieren dies als methodischen Rahmen für Sim-to-Real-Transfer: Wenn genügend relevante Faktoren randomisiert werden, kann Generalisierung gerade deshalb gelingen, weil das Modell nicht auf eine enge, künstliche Simulationswelt überfitten kann [2]. Für das Eyetracking ist diese Perspektive besonders anschlussfähig. UnityEyes verfolgt genau diese Logik, indem es große Mengen stark variierender Augenbilder effizient erzeugt und damit zeigt, dass Skalierung und Variationsbreite selbst dann nützlich sein können, wenn der Schwerpunkt weniger auf maximalem Photorealismus liegt 3. Demgegenüber hebt SynthesEyes stärker die Bedeutung realistischer Beleuchtung und kontrollierter Formvariation hervor und zeigt ebenfalls, dass genau diese Faktoren für gaze estimation und Eye-Shape-Registration relevant sind 1. Zusammengenommen legt diese Literatur nahe, dass nicht allein mehr Realismus entscheidend ist, sondern vor allem die Frage, welche Variationsachsen in synthetischen Daten überhaupt modelliert werden.

Für die vorliegende Arbeit ist genau an dieser Stelle die entscheidende argumentative Brücke zu schlagen: Periorbitale Formvariation lässt sich als eine spezifische, biologisch motivierte Form von Domain Randomization verstehen. Bisher werden in synthetischen Eyetracking-Daten vor allem Blickrichtung, Kopfpose, Beleuchtung, Textur oder Geräteeigenschaften variiert 1. Weniger explizit untersucht ist dagegen, in welchem Maß interindividuelle anatomische Unterschiede der Periorbitalregion selbst – also Unterschiede in Lidform, Augenöffnung, Weichteilkontur oder umliegender Geometrie – eine eigenständige Generalisierungsachse darstellen. Gerade diese Frage ist jedoch plausibel, weil Generalisierungsprobleme im Eyetracking laut jüngerer Literatur nicht nur durch Hardwareunterschiede, sondern auch durch biologische Diversität zwischen Versuchspersonen verschärft werden 6. Zusätzliche morphologische Variation könnte daher helfen, den Support der synthetischen Trainingsverteilung sinnvoll zu erweitern. Zugleich ist aber ebenso denkbar, dass solche Variation die Optimierungsaufgabe unnötig erschwert oder irrelevante Streuung einführt. Sie hilft also nicht automatisch, sondern nur dann, wenn sie reale anatomische Unterschiede hinreichend plausibel und labelkonsistent abbildet.

Neben Domain Randomization existiert eine zweite Strategiefamilie, die den Sim-to-Real-Gap nicht über mehr Variationsbreite, sondern über Annäherung an reale Bildverteilungen adressiert: Domain Adaptation beziehungsweise Image Refinement. Das prominenteste Beispiel hierfür ist SimGAN. Shrivastava et al. schlagen vor, synthetische Bilder mithilfe unlabelter realer Bilder adversariell zu verfeinern, sodass ihr Erscheinungsbild realistischer wird, ohne dass die ursprünglich verfügbaren Labels verloren gehen 4. Für gaze estimation ist dies besonders relevant, weil SimGAN explizit auf UnityEyes-Bilder und reale MPIIGaze-Daten angewandt wird. Die Arbeit berichtet, dass auf diese Weise der mittlere gaze-Fehler gegenüber rein synthetischem Training um 2.1° reduziert wird, was einer relativen Verbesserung von 21 % gegenüber dem damaligen Stand der Technik entspricht 4. Der methodische Kern dieses Ansatzes liegt also darin, den visuellen Gap zwischen synthetischen und realen Daten zu verkleinern: Hauttextur, Iriserscheinung, Sensorartefakte und andere Bildstatistiken werden realistischer, während die semantische Struktur des Trainingsbeispiels erhalten bleiben soll 4.

Ein verwandter, aber anders gelagerter Ansatz ist Seg2Eye. Bühler et al. generieren aus semantischen Segmentierungsmasken personenspezifische Augenbilder, die einer vorgegebenen inhaltlichen Struktur folgen, gleichzeitig aber stilistisch an eine Zielperson angepasst werden 5. Auch hier steht damit nicht die Erweiterung der geometrischen Variabilität im Vordergrund, sondern die stilistische Konsistenz synthetischer Daten mit realen Personen. Solche Verfahren sind für das Eyetracking sehr relevant, weil sie zeigen, dass die Übertragbarkeit synthetischer Daten auch über die Erscheinungsebene verbessert werden kann. Zugleich markieren sie aber eine klare Grenze zu der hier verfolgten Forschungsfrage: Adaptations- und Refinement-Verfahren arbeiten primär an Textur, Stil und Bildstatistik, nicht an der zugrundeliegenden morphologischen Variation der Augenregion 4.

Damit lässt sich der Forschungsstand zu Sim-to-Real-Transfer im Eyetracking in zwei komplementäre Strategien gliedern. Domain Randomization versucht, robuste Modelle durch eine möglichst breite synthetische Datenverteilung zu trainieren 2. Domain Adaptation und Refinement versuchen dagegen, synthetische Bilder nachträglich näher an reale Daten anzupassen 4. Beide Strategien adressieren also denselben Sim-to-Real-Gap, jedoch auf unterschiedlichen Ebenen. Die vorliegende Arbeit ist in diesem Rahmen als Beitrag auf der Geometrieseite zu verorten: Sie untersucht nicht primär, ob synthetische Augenbilder realistischer aussehen, sondern ob eine zusätzliche, biologisch motivierte Variationsachse – die Formvariation der Periorbitalregion – die Generalisierung auf reale Daten verbessert oder verschlechtert. Genau darin liegt die Forschungslücke: Während Beleuchtung, Textur, Geräteeinflüsse und stilistische Anpassung bereits breit diskutiert werden, wurde morphologische Variation der Periorbitalregion bislang kaum explizit als isolierter Faktor des Sim-to-Real-Transfers untersucht 16. Die Leitfrage lautet daher nicht nur, ob Augenformen synthetisch modellierbar sind, sondern ob diese zusätzliche anatomische Variation den Domain Gap tatsächlich reduziert – oder unter bestimmten Bedingungen sogar vergrößert.

Quellenverzeichnis

1 Rendering of Eyes for Eye-Shape Registration and Gaze Estimation — Erroll Wood, Tadas Baltrušaitis, Xucong Zhang, Yusuke Sugano, Peter Robinson, Andreas Bulling, 2015. (CVF Open Access)

[2] Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World — Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel, 2017. ([Hugging Face][2])

3 Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images — Erroll Wood, Tadas Baltrušaitis, Louis-Philippe Morency, Peter Robinson, Andreas Bulling, 2016. (collaborative-ai.org)

4 Learning From Simulated and Unsupervised Images Through Adversarial Training — Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Joshua Susskind, Wenda Wang, Russell Webb, 2017. (CVF Open Access)

5 Content-Consistent Generation of Realistic Eyes with Style — Marcel C. Bühler, Seonwook Park, Shalini De Mello, Xucong Zhang, Otmar Hilliges, 2019. (AIT Lab)

6 LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking using Synthetic Eye Images — Sean Anthony Byrne, Virmarie Maquiling, Marcus Nyström, Enkelejda Kasneci, Diederick C. Niehorster, 2025. (Springer Nature Link)

7 RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking — Aayush K. Chaudhary, Rakshit Kothari, Manoj Acharya, Shusil Dangi, Nitinraj Nair, Reynold Bailey, Christopher Kanan, Gabriel J. Diaz, Jeff B. Pelz, 2019. (ResearchGate)

8 Shape Constrained Network for Eye Segmentation in the Wild — Bingnan Luo, Jie Shen, Shiyang Cheng, Yujiang Wang, Maja Pantic, 2020. (CVF Open Access)

9 A Theory of Learning from Different Domains — Shai Ben-David, John Blitzer, Koby Crammer, Alex Kulesza, Fernando Pereira, Jennifer Wortman Vaughan, 2010. (Springer Nature Link)

Ich kann dir das im nächsten Schritt auch noch auf etwas kürzer, etwas formeller oder etwas „masterarbeitsdeutscher“ glätten.

[2]: https://huggingface.co/papers/1703.06907 "Paper page - Domain Randomization for Transferring Deep Neural Networks from

  Simulation to the Real World"

Variante 3 von Jammy

3. Sim-to-Real-Transfer, Generalisierung und Domänenadaption

Der Übergang von kontrollierten, synthetischen Simulationsumgebungen hin zu den unvorhersehbaren Bedingungen der realen Welt stellt eine der signifikantesten Hürden in der Entwicklung robuster blickbasierter Schätzmodelle dar. Diese Diskrepanz, die als Simulation-to-Reality-Lücke oder kurz Sim-to-Real-Gap bezeichnet wird, manifestiert sich als eine multidimensionale Verteilungsschiebung (Distribution Shift), die sowohl visuelle als auch geometrische Abweichungen umfasst.1

3.1 Die Sim-to-Real-Lücke im Eyetracking

In der blickbasierten Computer Vision ist das Problem des Domänenunterschieds besonders akut, da kleinste Abweichungen in der Darstellung der Augenregion zu signifikanten Vorhersagefehlern führen. Dass Modelle, die ausschließlich auf synthetischen Daten trainiert wurden, auf realen Datensätzen massiv an Genauigkeit verlieren, ist empirisch gut belegt. So berichtet die wegweisende Arbeit zu SynthesEyes von einem drastischen Anstieg des Fehlers bei der Blickrichtungsschätzung: Während das Modell innerhalb der synthetischen Domäne hochpräzise agiert, steigt der Winkelfehler beim Transfer auf den realen Datensatz MPIIGaze von 6,33° auf 13,91° an.  

Diese Lücke betrifft nicht nur die Regression von Blickvektoren, sondern auch vorgelagerte Aufgaben wie die Merkmalssegmentierung. Der Datensatz RIT-Eyes zeigt hierzu eine deutliche Verschlechterung der Segmentierungsqualität (mIoU): Modelle, die auf synthetischen Daten eine mIoU von über 95 erreichen, fallen im Cross-Domain-Einsatz auf Werte zwischen 73 und 86 zurück. Diese Zahlen verdeutlichen, dass die bloße Verfügbarkeit großer synthetischer Datenmengen ohne spezifische Transferstrategien nicht ausreicht, um die Anforderungen realer Anwendungen zu erfüllen.

3.2 Strategie 1: Domain Randomization – Varianz vor Realismus

Einen zentralen methodischen Rahmen zur Überwindung dieser Lücke bildet die von Tobin et al. (2017) formalisierte Domain Randomization (DR). Die Kernidee der DR ist es, die Variabilität der synthetischen Trainingsumgebung so stark zu erhöhen, dass die reale Welt für das Modell lediglich als eine weitere Variation innerhalb des gelernten Raums erscheint.3 Tobin et al. konnten nachweisen, dass eine ausreichende Breite an Variationen (z. B. Texturen, Beleuchtung, Kamerapositionen) für die Generalisierung wichtiger ist als fotorealistische Präzision.4  

Im Kontext des Eyetrackings lässt sich der Erfolg von UnityEyes gegenüber SynthesEyes primär durch dieses Argument erklären. Obwohl SynthesEyes auf fotorealistischen Scans basiert, ermöglicht UnityEyes durch seine prozedurale Natur eine massiv skalierbare Variation der Augenregion (bis zu 1 Million Bilder), was die Rendering-Treue in der Praxis schlägt. Der entscheidende Befund ist hierbei, dass die Varietät der Subjekte der kritischste Parameter für die Genauigkeit in der Zielregion ist.3  

An dieser Stelle setzt die Argumentation der vorliegenden Arbeit an: Die periorbitale Formvariation wird konzeptionell als eine bisher vernachlässigte, biologisch motivierte Achse der Domain Randomization eingeordnet. Indem nicht nur Beleuchtung und Blickwinkel, sondern gezielt die morphologischen Parameter der Augenregion randomisiert werden, soll das Modell lernen, anatomische Unterschiede als aufgabenirrelevant zu behandeln.

3.3 Strategie 2: Verfeinerung und Domänenadaption

Komplementär zur Domain Randomization stehen Ansätze der Domain Adaptation (DA), die versuchen, den visuellen Abstand zwischen Simulation und Realität direkt zu minimieren. Ein prominentes Beispiel ist SimGAN, das mittels adversariellen Lernens synthetische Bilder (z. B. aus UnityEyes) verfeinert, um sie statistisch an reale Daten anzupassen.5 Durch spezifische Verlustfunktionen, wie den Self-Regularization Loss, wird sichergestellt, dass die visuellen Details zwar realistischer werden, die zugrunde liegende geometrische Information (die Blickrichtungs-Labels) jedoch erhalten bleibt.7  

Ein weiterer spezialisierter Ansatz ist Seg2Eye, ein Framework zur personenspezifischen Generierung. Seg2Eye nutzt semantische Segmentierungsmasken als Inhalts-Vorgabe und kombiniert diese mit dem visuellen Stil einer realen Zielperson. Während Seg2Eye erfolgreich den visuellen (Pixel-Level) Gap durch Stiltransfer adressiert, bleibt es auf die geometrische Vielfalt der Eingangsmasken angewiesen.8

3.4 Zusammenfassende Positionierung

Beide Strategien – Domain Randomization und Domain Adaptation – adressieren den Sim-to-Real Gap, tun dies jedoch auf unterschiedlichen Ebenen:

• Domain Adaptation (z. B. SimGAN, Seg2Eye) arbeitet primär an der visuellen Erscheinung und dem stilistischen Angleich auf Pixelebene.  

• Domain Randomization (z. B. Tobin et al., UnityEyes) zielt auf die Robustheit durch schiere Breite des Parameterraums ab.

Die vorliegende Arbeit positioniert sich an der Schnittstelle dieser Konzepte, fokussiert jedoch die Geometrieseite. Die systematische Modellierung der interindividuellen Formvariation der Periorbitalregion fügt den bestehenden Ansätzen eine explizite biologische Variationsachse hinzu. Damit wird die Forschungslücke zwischen rein texturbasierter Adaptation und unspezifischer Randomisierung geschlossen, indem untersucht wird, ob die gezielte morphologische Varianz – als spezialisierte Form der Domain Randomization – die Generalisierungsfähigkeit blickbasierter Modelle entscheidend verbessert.

Referenzen

1. Sim-to-Real – Bridging the Reality Gap for AV Perception - Chair of Automotive Technology, Zugriff am März 29, 2026, https://www.mos.ed.tum.de/en/ftm/main-research/intelligent-vehicle-systems/sim-to-real-bridging-the-reality-gap-for-av-perception/  

2. Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement - arXiv, Zugriff am März 29, 2026, https://arxiv.org/html/2305.16140v2  

3. Domain randomization for neural network classification - PMC, Zugriff am März 29, 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC8570318/  

4. Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World | Request PDF - ResearchGate, Zugriff am März 29, 2026, https://www.researchgate.net/publication/315489711_Domain_Randomization_for_Transferring_Deep_Neural_Networks_from_Simulation_to_the_Real_World  

5. Learning From Simulated and Unsupervised ... - CVF Open Access, Zugriff am März 29, 2026, https://openaccess.thecvf.com/content_cvpr_2017/papers/Shrivastava_Learning_From_Simulated_CVPR_2017_paper.pdf  

6. Pointing It Out! Comparing Manual Segmentation of 3D Point Clouds between Desktop, Tablet, and Virtual Reality | Request PDF - ResearchGate, Zugriff am März 29, 2026, https://www.researchgate.net/publication/372774181_Pointing_It_out_Comparing_Manual_Segmentation_of_3D_Point_Clouds_between_Desktop_Tablet_and_Virtual_Reality  

7. Learning from Simulated and Unsupervised Images through Adversarial Training, Zugriff am März 29, 2026, https://www.computer.org/csdl/proceedings-article/cvpr/2017/0457c242/12OmNBNM8Ux  

8. Content-Consistent Generation of Realistic Eyes with Style, Zugriff am März 29, 2026, https://research.nvidia.com/sites/default/files/pubs/2019-11_Content-Consistent-Generation-of/openeds_challenge_iccv.pdf