Sehr viele Sachen

Paperung/Related Works/3.3 - Finale Version.md

@@ -0,0 +1,31 @@
+## 3.3 Sim-to-Real-Transfer, Generalisierung und Domain Randomization
+
+Modelle, die ausschließlich auf synthetischen Daten trainiert werden, zeigen beim Übergang auf reale Bilder typischerweise erhebliche Leistungseinbußen. Dieses als *Sim-to-Real Gap* bezeichnete Phänomen beschreibt die Verteilungsdiskrepanz zwischen synthetischen Trainings- und realen Anwendungsdaten und ist im Eyetracking empirisch gut belegt. Wood et al. berichten für ein auf SynthesEyes trainiertes Modell einen mittleren Gaze-Estimation-Fehler von 13,91° auf dem realen MPIIGaze-Datensatz, während die Kreuzvalidierung innerhalb von MPIIGaze einen Fehler von 6,33° ergibt -- weniger als die Hälfte [Wood2015]. Auch in der semantischen Segmentierung zeigt sich die Diskrepanz deutlich: Nair et al. zeigen mit RIT-Eyes, dass RITnet innerhalb synthetischer Datensätze mIoU-Werte über 95\,\% erreicht, die Übertragung auf reale Daten jedoch auf Werte zwischen 73 und 86\,\% einbricht [Nair2020, Chaudhary2019]. Die Ursachen sind kumulativ: Texturdiskrepanzen, Beleuchtungsunterschiede zwischen synthetischen Umgebungskarten und realer IR-Beleuchtung, fehlende Störfaktoren wie Sensorrauschen sowie eine begrenzte anatomische Diversität -- SynthesEyes stützte sich auf zehn, RIT-Eyes auf 24 diskrete Kopfmodelle, die die Breite realer Populationen nur eingeschränkt abbilden [Wood2015, Nair2020].
+
+### Domain Randomization: Breite Variation statt perfekter Realismus
+
+Eine zentrale Strategie zur Verringerung des Sim-to-Real Gaps ist *Domain Randomization*. Deren Grundidee besteht nicht darin, die Simulation möglichst perfekt an eine konkrete reale Zieldomäne anzunähern, sondern die synthetische Datenverteilung so breit zu gestalten, dass die reale Welt für das Modell nur noch als ein Spezialfall innerhalb der gelernten Variabilität erscheint. Tobin et al. formalisieren diesen Ansatz im Kontext der Robotik und zeigen, dass ein auf simulierten Bildern mit nicht-realistischen Zufallstexturen trainiertes Objekterkennungsnetzwerk dennoch 1,5\,cm Lokalisierungsgenauigkeit in der Realität erreicht [Tobin2017]. Entscheidend war nicht der Realismus einzelner Bilder, sondern die Breite der Variation und die Datensatzgröße. Tremblay et al. bestätigen dies für Objektdetektion und zeigen, dass nach synthetischem Pre-Training 50-mal weniger reale Daten für die Feinanpassung benötigt werden [Tremblay2018].
+
+Im Eyetracking implementierte UnityEyes dieses Prinzip, bevor der Begriff *Domain Randomization* etabliert war. Das PCA-basierte Morphable-Eye-Region-Modell von Wood et al. parametrisiert die Augenregion über Hauptkomponenten und erzeugt durch Sampling im PCA-Raum neuartige Augenregionen [Wood2016]. UnityEyes generierte eine Million Bilder bei deutlich geringerem Rechenaufwand als SynthesEyes und erzielte trotz geringerer Rendering-Treue vergleichbare Gaze-Estimation-Ergebnisse auf MPIIGaze -- Skalierung und Formdiversität kompensieren geringeren Fotorealismus. Byrne et al. treiben dieses Prinzip mit LEyes weiter, indem sie vollständig auf 3D-Geometrie verzichten und nur Schlüsselmerkmale als randomisierte 2D-Gaußverteilungen modellieren [Byrne2025]. Sie identifizieren explizit Hardware-Unterschiede und biologische Diversität als die zentralen Generalisierungshürden.
+
+Zusammengenommen legt diese Literatur nahe, dass nicht allein mehr Realismus entscheidend ist, sondern vor allem die Frage, welche Variationsachsen in synthetischen Daten überhaupt modelliert werden. Für die vorliegende Arbeit ist an dieser Stelle die entscheidende argumentative Brücke zu schlagen: **Periorbitale Formvariation -- Lidformen, Kanthalgeometrien, Epikanthusfalten -- lässt sich als eine spezifische, biologisch motivierte Form von Domain Randomization verstehen.** Bisherige Pipelines randomisieren Beleuchtung, Textur und Blickrichtung, während die morphologische Variation der Augenumgebung auf wenige diskrete Kopfmodelle beschränkt bleibt oder in PCA-Koeffizienten ohne semantische Zuordnung enthalten ist. Zusätzliche morphologische Variation könnte helfen, den Support der synthetischen Trainingsverteilung sinnvoll zu erweitern. Zugleich ist aber ebenso denkbar, dass solche Variation die Optimierungsaufgabe unnötig erschwert oder irrelevante Streuung einführt -- sie hilft also nicht automatisch, sondern nur dann, wenn sie reale anatomische Unterschiede hinreichend plausibel abbildet.
+
+### Verfeinerung und domänenspezifische Adaptation
+
+Der alternative Ansatz besteht darin, synthetische Bilder so zu transformieren, dass sie realistischer wirken, ohne die Annotationsinformation zu verlieren. SimGAN ist das prominenteste Beispiel: Shrivastava et al. trainieren ein adversarielles Refiner-Netzwerk, das UnityEyes-Ausgaben auf Pixelebene transformiert, wobei eine Self-Regularization-Loss verhindert, dass der Refiner Bildinhalte halluziniert und die Blickrichtungsannotation verfälscht [Shrivastava2017]. Ein lokaler Diskriminator klassifiziert dabei Patches statt ganzer Bilder. Auf MPIIGaze erzielte SimGAN eine relative Verbesserung von 21\,\% gegenüber rein synthetischem Training. Seg2Eye verfolgt einen komplementären Ansatz: Bühler et al. generieren aus semantischen Segmentierungsmasken stilkonsistente, personenspezifische Augenbilder, wobei die inhaltliche Struktur durch die Maske vorgegeben und der visuelle Stil aus Referenzbildern einer Zielperson injiziert wird [Buehler2019]. Auch hier steht nicht die Erweiterung der geometrischen Variabilität im Vordergrund, sondern die stilistische Konsistenz synthetischer Daten mit realen Aufnahmen.
+
+Gemeinsam ist allen Adaptationsansätzen, dass sie am *Erscheinungsbild* synthetischer Bilder arbeiten -- an Texturen, Pixelstatistiken und Stil --, nicht an der zugrundeliegenden geometrischen Struktur. Sie schließen den Domain Gap auf der Oberfläche, lassen aber die anatomische Formdiskrepanz unberührt. Damit lässt sich der Forschungsstand zu Sim-to-Real-Transfer im Eyetracking in zwei komplementäre Strategien gliedern: Domain Randomization versucht, robuste Modelle durch eine möglichst breite synthetische Datenverteilung zu trainieren [Tobin2017, Wood2016]. Domain Adaptation und Refinement versuchen dagegen, synthetische Bilder nachträglich näher an reale Daten anzupassen [Shrivastava2017, Buehler2019]. Beide Strategien adressieren denselben Sim-to-Real Gap, jedoch auf unterschiedlichen Ebenen. Die vorliegende Arbeit ist in diesem Rahmen auf der **Geometrieseite** zu verorten: Sie untersucht, ob eine zusätzliche, biologisch motivierte Variationsachse -- die Formvariation der Periorbitalregion -- die Generalisierung auf reale Daten verbessert oder verschlechtert. Während Beleuchtung, Textur, Geräteeinflüsse und stilistische Anpassung bereits breit diskutiert werden, wurde morphologische Variation der Periorbitalregion bislang nicht explizit als isolierter Faktor des Sim-to-Real-Transfers untersucht.
+
+---
+
+### Quellenverzeichnis
+
+- **[Wood2015]** Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. -- *Rendering of Eyes for Eye-Shape Registration and Gaze Estimation*, ICCV 2015
+- **[Wood2016]** Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. -- *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images*, ETRA 2016
+- **[Tobin2017]** Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., & Abbeel, P. -- *Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World*, IROS 2017
+- **[Tremblay2018]** Tremblay, J., Prakash, A., Acuna, D., Brophy, M., Jampani, V., Anil, C., To, T., Cameracci, E., Boochoon, S., & Birchfield, S. -- *Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization*, CVPR Workshops 2018
+- **[Shrivastava2017]** Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. -- *Learning from Simulated and Unsupervised Images through Adversarial Training*, CVPR 2017
+- **[Buehler2019]** Buehler, M. C., Park, S., De Mello, S., Zhang, X., & Hilliges, O. -- *Content-Consistent Generation of Realistic Eyes with Style*, ICCV Workshops 2019
+- **[Byrne2025]** Byrne, S. A., Maquiling, V., Nystroem, M., Kasneci, E., & Niehorster, D. C. -- *LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking Using Synthetic Eye Images*, Behavior Research Methods 2025
+- **[Nair2020]** Nair, N., Kothari, R. S., Chaudhary, A. K., Yang, Z., Diaz, G. J., Pelz, J. B., & Bailey, R. J. -- *RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications*, SAP 2020
+- **[Chaudhary2019]** Chaudhary, A. K., Kothari, R., Acharya, M., Dangi, S., Nair, N., Bailey, R., Kanan, C., Diaz, G. J., & Pelz, J. B. -- *RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking*, 2019