Masterarbeit-Obsidian-Vault/Paperung/Related Works/3.2 - Synthetische Daten für gaze estimation, Feature-Lokalisierung und Pupillensegmentierung.md

# Genereller Aufbau:
Das Kapitel soll ja nur 1–2 Seiten haben, also muss es kompakt und fokussiert sein. Ich würde es so aufbauen:

Einstieg (ein Absatz): Kurze Einordnung, dass die Generatoren aus Kapitel 1 für ganz unterschiedliche Downstream-Aufgaben entwickelt wurden – Gaze Estimation, Landmark-Lokalisierung, Segmentierung. Das kurz benennen, aber nicht vertiefen. Dann den Fokus setzen: Für diese Arbeit ist die semantische Segmentierung relevant, insbesondere Pupillensegmentierung. Die Frage ist also: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt?

Hauptteil (ein bis zwei Absätze pro Strang): Hier die konkreten Arbeiten datenbezogen diskutieren. RITnet als frühes Segmentierungsmodell, das stark an den OpenEDS-Datensatz gekoppelt ist – also synthetische und reale Daten gemeinsam nutzt. EllSeg als robusterer Ansatz, der auf mehreren Datensätzen evaluiert und explizit die Generalisierung über verschiedene Datenquellen hinweg betont. Bei beiden nicht die Architektur erklären (das gehört in die Grundlagen), sondern herausarbeiten: Welche Datensätze wurden genutzt, welche davon synthetisch, und welche Rolle spielte die synthetische Komponente für die Ergebnisse?

Schluss (ein Absatz): Die Beobachtung verdichten – synthetische Daten haben sich als nützlich für die Segmentierung erwiesen, aber die Variation in den Trainingsdaten beschränkt sich auf die in Kapitel 1 genannten Achsen (Blick, Pose, Beleuchtung). Formvariation der Augenregion als Trainingsfaktor für Segmentierungsmodelle wurde bisher nicht gezielt untersucht. Das leitet direkt zu Kapitel 3 über, wo es um die Frage geht, warum mehr Variation helfen könnte.

So bleibt es bei 1–2 Seiten, erzählt eine klare Geschichte, und doppelt nicht mit Kapitel 1. Die Generatoren sind schon vorgestellt – hier geht es nur darum, wie ihre Outputs in der Segmentierungsforschung angekommen sind.

# Variante 1 von Claudibum
## 3.2 Synthetische Daten in der Segmentierungsforschung

Die in Abschnitt 3.1 vorgestellten Generierungspipelines wurden für eine Reihe unterschiedlicher nachgelagerter Lernaufgaben entwickelt. In der _Gaze Estimation_ dienten synthetische Bilder als alleinige Trainingsbasis \[1]\[2] oder als Vortraining für domänenadaptive Verfahren wie SimGAN [3], die den Blickschätzfehler auf MPIIGaze ohne reale gelabelte Daten erheblich reduzierten. Für die _Landmarken-Lokalisierung_ zeigten Wood et al. [1], dass ein ausschließlich auf SynthesEyes trainierter Landmarkendetektor bei der Augenkonturregistrierung die gleiche Genauigkeit erreichte wie ein auf realen Annotationen trainiertes Modell – ein frühes Indiz dafür, dass kostenfrei erzeugte synthetische Labels reale Handannotation vollständig ersetzen können. Park et al. [4] bestätigten dies mit einem auf UnityEyes trainierten Stacked-Hourglass-Netzwerk, das auf vier realen Benchmarks den damaligen Stand der Technik übertraf. Für die vorliegende Arbeit ist jedoch die dritte Aufgabenfamilie zentral: die **semantische Segmentierung der Augenregion**, insbesondere die Pupillensegmentierung. Die Leitfrage dieses Abschnitts lautet daher: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt, und welche Rolle spielte die Zusammensetzung der Trainingsdaten für die erzielten Ergebnisse?

### OpenEDS und RITnet

Den definierenden Benchmark für die semantische Augensegmentierung setzte der _Open Eye Dataset_ (OpenEDS) [5], veröffentlicht von Facebook Reality Labs. Der Datensatz umfasst 12.759 Infrarotbilder (400×640 Pixel) von 152 Probanden, die in einem VR-Headset bei 200 Hz aufgenommen und manuell in vier Klassen annotiert wurden: Pupille, Iris, Sklera und Hintergrund. OpenEDS ist ein **rein realer** Datensatz – die pixelgenauen Segmentierungsmasken wurden durch mehrstufige Handannotation mit Ellipsenanpassung und Schlüsselpunktplatzierung erzeugt. Der begleitende Wettbewerb auf der ICCV 2019 bewertete Modelle nach einer kombinierten Genauigkeits-Effizienz-Metrik, die kompakte Architekturen begünstigte.

RITnet [6] gewann diesen Wettbewerb mit einer mIoU von 95,3 % bei nur 248.900 Parametern. Entscheidend für die vorliegende Diskussion ist, dass RITnet **ausschließlich auf realen OpenEDS-Annotationen** trainiert wurde (8.916 Trainingsbilder). Die Verbindung zu synthetischen Daten ist indirekt, aber aufschlussreich: Dieselbe Forschungsgruppe am Rochester Institute of Technology entwickelte anschließend die _RIT-Eyes_-Pipeline [7], die mit automatisch erzeugten, pixelperfekten Segmentierungsmasken genau jenen Annotationsengpass adressiert, den OpenEDS offengelegt hatte. Als RITnet auf dem synthetischen _S-OpenEDS_-Datensatz (51.600 Bilder aus RIT-Eyes) trainiert und auf realen OpenEDS-Daten getestet wurde, fiel die mIoU auf 73,9 % – ein Rückgang um rund 21 Prozentpunkte gegenüber dem rein real trainierten Modell. Dabei zeigte sich, dass die **Pupillensegmentierung** am besten generalisierte (bis zu 93,7 % mIoU domänenübergreifend), während die Sklerasegmentierung besonders stark unter dem Domain Gap litt (bis auf 34,4 % mIoU). Diese Ergebnisse verdeutlichen zweierlei: Synthetische Daten liefern strukturell korrekte Segmentierungslabels, die in einer Qualität verfügbar sind, die manuelle Annotation nicht erreichen kann – gleichzeitig bleibt eine erhebliche Domänenlücke bestehen, wenn synthetische Bilder ohne Anpassung als alleinige Trainingsgrundlage dienen.

### EllSeg und domänenübergreifende Generalisierung

Einen konzeptionell anderen Zugang wählte EllSeg [8], das die Segmentierungsaufgabe als _Ellipsenvervollständigung_ reformuliert: Statt nur sichtbare Pixel zu klassifizieren, lernt das Netzwerk, vollständige elliptische Regionen für Pupille und Iris vorherzusagen, als wären die Augenlider transparent. Dadurch wird die nachfolgende Ellipsenanpassung deutlich robuster gegenüber Okklusion. EllSeg ist architekturagnostisch und wurde auf drei Datensätzen evaluiert: OpenEDS (real), NVGaze [9] (synthetisch, 2 Mio. Bilder mit automatischen Segmentierungsmasken) und RIT-Eyes [7] (synthetisch). Die Ellipsenrepräsentation steigerte die Pupillenzentrum-Detektionsrate um mindestens 10 % und die Iriszentrum-Detektionsrate um 24 % gegenüber der Standard-Pixelsegmentierung – und zwar konsistent über alle drei Datensätze und alle getesteten Architekturen hinweg.

Die Nachfolgearbeit _EllSeg-Gen_ [10] adressierte explizit die Frage der Domänengeneralisierung, indem sie Modelle **gleichzeitig auf mehreren Datensätzen** trainierte – RIT-Eyes, NVGaze und OpenEDS gemeinsam. Die zentrale Erkenntnis war, dass Datensätze mit größerer Erscheinungsbildvariabilität am meisten vom gemischten Training profitierten. Dieses Ergebnis unterstreicht, dass nicht allein die Menge synthetischer Daten entscheidend ist, sondern deren **Diversität** – ein Befund, der für die vorliegende Arbeit unmittelbar relevant ist.

### Zwischenfazit

Zusammenfassend zeigt sich, dass synthetische Daten sich als wertvolles Instrument für die Segmentierungsforschung etabliert haben – als Quelle kostenfrei verfügbarer, pixelgenauer Labels, als Pretraining-Basis für domänenadaptive Verfahren und als Evaluationsgrundlage für die Robustheitsprüfung über Datensatzgrenzen hinweg. Die Variation in den synthetischen Trainingsdaten beschränkt sich dabei jedoch auf die in Abschnitt 2.1 beschriebenen Randomisierungsachsen: Blickrichtung, Kopfpose, Pupillengröße, Beleuchtung und – im begrenzten Umfang der diskreten Kopfmodelle – Identität. **Morphologische Formvariation der Periorbitalregion** als gezielter Trainingsfaktor für Segmentierungsmodelle wurde bisher nicht systematisch untersucht. Die Frage, ob und warum eine breitere Formvariation die Generalisierungsfähigkeit von Pupillensegmentierungsmodellen verbessern könnte, führt zu den im folgenden Abschnitt diskutierten Konzepten des Sim-to-Real-Transfers und der Domain Randomization.

---

### Quellenverzeichnis

[1] Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. (2015). _Rendering of Eyes for Eye-Shape Registration and Gaze Estimation_. ICCV 2015.

[2] Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. (2016). _Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images_. ETRA 2016.

[3] Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. (2017). _Learning from Simulated and Unsupervised Images through Adversarial Training_. CVPR 2017.

[4] Park, S., Zhang, X., Bulling, A., & Hilliges, O. (2018). _Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings_. ETRA 2018.

[5] Garbin, S. J., Shen, Y., Schuber, I., Kasber, R., Engelmann, A., Peroš, S., Chuang, H. Y., Woodard, S., Olszewski, K., Sun, K., Nair, S., Shlizerman, E., & Hilliges, O. (2019). _OpenEDS: Open Eye Dataset_. arXiv:1905.03702.

[6] Chaudhary, A. K., Kothari, R., Acharya, M., Cassady, S., Pellacini, F., Bailey, R., Armitage, E., & Demiris, C. (2019). _RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking_. ICCVW 2019 (OpenEDS Challenge, 1. Platz).

[7] Nair, N., Kothari, R., Chaudhary, A. K., Yang, Z., Diaz, G., Pelz, J. B., & Bailey, R. (2020). _RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications_. ACM SAP 2020.

[8] Kothari, R., Chaudhary, A. K., Bailey, R., Pelz, J. B., & Diaz, G. (2021). _EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking_. IEEE TVCG, 27(5).

[9] Kim, J., Stengel, M., Majercik, A., De Mello, S., Dunn, D., Laine, S., McGuire, M., & Luebke, D. (2019). _NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation_. CHI 2019.

[10] Kothari, R., Bailey, R., Pelz, J. B., & Diaz, G. (2022). _EllSeg-Gen, towards Domain Generalization for Head-Mounted Eyetracking_. Proc. ACM Hum.-Comput. Interact. (ETRA 2022).



# Variante 2 von Gibbidy

## 3.2 Synthetische Daten für Gaze Estimation, Feature-Lokalisierung und Pupillensegmentierung

Die in Kapitel 1 dargestellten Generatoren wurden im Eye-Tracking-Feld für unterschiedliche nachgelagerte Aufgaben aufgegriffen, insbesondere für **Gaze Estimation**, **Feature- bzw. Landmark-Lokalisierung** und **semantische Segmentierung**. Für diese Arbeit ist vor allem der letzte Strang relevant, da gerade die Pupillensegmentierung auf dichte, pixelgenaue Annotationen angewiesen ist. Die zentrale Frage lautet hier daher nicht, welche Architektur jeweils verwendet wurde, sondern **wie synthetische Daten konkret als Trainings- oder Evaluationsressource für Segmentierungsaufgaben genutzt wurden**.[05][06][07] ([NVIDIA](https://research.nvidia.com/publication/2019-05_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation?utm_source=chatgpt.com "NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation | Research"))

Für **Gaze Estimation** und **Feature-Lokalisierung** wurden synthetische Daten vor allem deshalb eingesetzt, weil sie große Mengen präziser Labels bereitstellen, die in Realbildern nur schwer oder teuer zu annotieren sind. Arbeiten wie _Rendering of Eyes for Eye-Shape Registration and Gaze Estimation_ und später _UnityEyes_ bzw. _Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images_ nutzen synthetische Augenbilder, um Blickrichtungen, Landmarken und Forminformationen in großem Umfang verfügbar zu machen.[06][07] Im Near-Eye-IR-Bereich zeigt **NVGaze** diese Logik besonders deutlich: Der Datensatz wurde zwar primär für gaze estimation entwickelt, enthält für den synthetischen Teil aber zusätzlich strukturierte Annotationen wie Pupille, Iris, Sclera, Haut und Glints. Damit fungieren synthetische Daten hier nicht nur als Quelle für Gaze-Labels, sondern zugleich als Grundlage für Zwischenaufgaben wie Pupillen- oder Merkmalslokalisierung.[05] ([cv-foundation.org](https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Wood_Rendering_of_Eyes_ICCV_2015_paper.pdf?utm_source=chatgpt.com "Rendering of Eyes for Eye-Shape Registration and Gaze Estimation"))

Für die **Segmentierungsforschung** ist zunächst **OpenEDS** ein zentraler Referenzpunkt. Der Datensatz umfasst Aufnahmen von 152 Personen und enthält eine Teilmenge von 12 759 Bildern mit Pixelannotationen für Iris, Pupille und Sclera.[01] Auf dieser Grundlage entstand mit **RITnet** ein frühes, einflussreiches Segmentierungsmodell für Eye-Tracking-Anwendungen. Aus datenbezogener Sicht ist daran entscheidend, dass RITnet seine Leistung im Kern aus einem **realen, dicht annotierten Benchmark** bezieht: Das Modell wurde auf dem OpenEDS Semantic Segmentation Dataset trainiert und evaluiert. Synthetische Daten stehen hier also nicht im Zentrum, sondern bilden eher den Kontrastfall: Sobald ein hinreichend großer realer Datensatz mit hochwertigen Pixelmasken verfügbar ist, verschiebt sich der Fokus von der Labelerzeugung hin zur robusten Nutzung dieser realen Labels.[01][02] ([ResearchGate](https://www.researchgate.net/publication/333560541_OpenEDS_Open_Eye_Dataset?utm_source=chatgpt.com "(PDF) OpenEDS: Open Eye Dataset"))

Gerade deshalb ist der zweite Strang der Literatur für diese Arbeit wichtiger: Segmentierungsansätze, die **synthetische Masken ausdrücklich als Supervisionsquelle** nutzen. **RIT-Eyes** ist hier ein Schlüsselbeispiel. Die Arbeit beschreibt eine Rendering-Pipeline, mit der synthetische Near-Eye-Bilder samt Annotationen erzeugt werden, und rendert Datensätze, die sich explizit an den Eigenschaften von **NVGaze** und **OpenEDS** orientieren. Diese synthetischen Daten werden anschließend verwendet, um Segmentierungsmodelle zu trainieren und auf den ursprünglichen realen Datensätzen zu testen.[04][05] Die synthetische Komponente erfüllt hier also zwei Funktionen: Erstens liefert sie dichte Masken ohne manuellen Annotieraufwand; zweitens erlaubt sie kontrollierte Variation entlang technischer Faktoren wie Blickrichtung, Kameraposition oder Aufnahmekonfiguration.[04][05] ([aXi](https://axi.lims.ac.uk/paper/2006.03642?utm_source=chatgpt.com "RIT-Eyes: Rendering of near-eye images f..."))

**EllSeg** führt diese datenseitige Logik weiter, setzt sie aber anders ein. Die Arbeit betont Robustheit gegenüber Okklusionen und hebt ihre Ergebnisse auf mehreren **öffentlich verfügbaren synthetischen Segmentierungsdatensätzen** hervor.[03] In der praktischen Nutzung wurde EllSeg zudem mit mehreren Datensätzen in Verbindung gebracht, darunter **OpenEDS**, **NVGaze** und **RIT-Eyes**; spätere Repositoriums- und Vergleichsinformationen dokumentieren außerdem Varianten, die auf einzelnen oder kombinierten Datensätzen trainiert wurden.[03][04][05] Für das Related-Work-Kapitel ist daran vor allem relevant, dass synthetische Daten hier nicht bloß als Zusatzmenge erscheinen, sondern als Mittel, um **Generalisierung über Datenquellen hinweg** zu untersuchen. Während RITnet stark an einen konkreten realen Benchmark gekoppelt ist, steht bei EllSeg stärker die Frage im Vordergrund, wie sich unterschiedliche Labelquellen und Datendomänen für robuste Pupillen- und Irissegmentierung zusammenführen lassen.[02][03][04][05] ([PubMed](https://pubmed.ncbi.nlm.nih.gov/33780339/?utm_source=chatgpt.com "EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking - PubMed"))

Insgesamt zeigt die Literatur damit ein recht konsistentes Bild: Synthetische Daten haben sich in Downstream-Aufgaben des Eye-Trackings als nützlich erwiesen, besonders dort, wo **präzise Labels** benötigt werden und reale Annotationen teuer oder schwer konsistent zu erzeugen sind. Für die Segmentierung werden synthetische Daten vor allem genutzt, um dichte Masken bereitzustellen und Variation in **Blickrichtung, Pose, Beleuchtung oder sensorischer Konfiguration** abzudecken.[03][04][05] Weniger sichtbar ist dagegen eine gezielte Variation der **anatomischen Form der Augen- bzw. Periorbitalregion** als eigenständiger Trainingsfaktor. Genau hier setzt die vorliegende Arbeit an: Sie interessiert sich nicht nur für mehr Variation im Allgemeinen, sondern für die bislang kaum isoliert untersuchte Frage, welchen Beitrag **Formvariation** zur Robustheit von Segmentierungsmodellen leisten kann.[03][04][05] ([PubMed](https://pubmed.ncbi.nlm.nih.gov/33780339/?utm_source=chatgpt.com "EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking - PubMed"))

## Quellenverzeichnis

[01] **OpenEDS: Open Eye Dataset** — Garbin, Stephan J.; Shen, Yiru; Schuetz, Immo; Cavin, Robert; Hughes, Gregory; Talathi, Sachin S.; **2019**. [arXiv](https://arxiv.org/abs/1905.03702)

[02] **RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking** — Chaudhary, Aayush K.; Kothari, Rakshit S.; Acharya, Manoj; Dangi, Shusil; Nair, Nitinraj; Bailey, Reynold J.; Kanan, Christopher; Diaz, Gabriel J.; Pelz, Jeff B.; **2019**. [arXiv](https://arxiv.org/abs/1910.00694)

[03] **EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking** — Kothari, Rakshit S.; Chaudhary, Aayush K.; Bailey, Reynold J.; Pelz, Jeff B.; Diaz, Gabriel J.; **2021**. [PubMed](https://pubmed.ncbi.nlm.nih.gov/33780339/)

[04] **RIT-Eyes: Rendering of near-eye images for eye-tracking applications** — Nair, Nitinraj; Kothari, Rakshit; Chaudhary, Aayush K.; Yang, Zhizhuo; Diaz, Gabriel J.; Pelz, Jeff B.; Bailey, Reynold J.; **2020**. [arXiv](https://arxiv.org/abs/2006.03642)

[05] **NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation** — Kim, Joohwan; Stengel, Michael; Majercik, Alexander; De Mello, Shalini; Dunn, David; Laine, Samuli; McGuire, Morgan; Luebke, David; **2019**. [NVIDIA Research](https://research.nvidia.com/publication/2019-05_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation)

[06] **Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images** — Wood, Erroll; Baltrušaitis, Tadas; Morency, Louis-Philippe; Robinson, Peter; Bulling, Andreas; **2016**. [Projektseite](https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/)

[07] **Rendering of Eyes for Eye-Shape Registration and Gaze Estimation** — Wood, Erroll; Baltrušaitis, Tadas; Zhang, Xucong; Sugano, Yusuke; Robinson, Peter; Bulling, Andreas; **2015**. [CVF Open Access PDF](https://openaccess.thecvf.com/content_iccv_2015/papers/Wood_Rendering_of_Eyes_ICCV_2015_paper.pdf)

# Variante 3 von Jammy:

# **2\. Synthetische Daten für Gaze Estimation, Feature-Lokalisierung und Pupillensegmentierung**

Die in Kapitel 1 vorgestellten generativen Ansätze bilden die technologische Grundlage für eine Vielzahl nachgelagerter Lernaufgaben (Downstream Tasks). Während Frameworks wie UnityEyes, NVGaze oder RIT-Eyes primär als Generatoren konzipiert wurden, liegt ihre wissenschaftliche Bedeutung in der Befähigung spezialisierter Modelle für die Blickrichtungsschätzung (Gaze Estimation), die Landmarken-Lokalisierung und die semantische Segmentierung der Augenregion.1 Für die vorliegende Arbeit ist insbesondere die semantische Segmentierung – und hierbei spezifisch die präzise Extraktion der Pupille – von zentraler Bedeutung. Die Leitfrage dieses Kapitels ist daher nicht technischer Natur ("Wie werden Daten erzeugt?"), sondern funktional ausgerichtet: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt, um die Performanz und Robustheit der Modelle zu steigern?
## **Strategische Datennutzung in der Segmentierungsforschung**
In der Entwicklung moderner Segmentierungsmodelle dienen synthetische Daten nicht nur als Volumen-Erweiterung für das Training, sondern adressieren gezielt fundamentale Defizite realer Datensätze, wie etwa die Seltenheit extremer Blickwinkel oder die Inkonsistenz manueller Annotationen.5
### **RITnet: Domänenspezifische Augmentierung und Grenzstabilität**
Das RITnet-Modell, das als Sieger aus der OpenEDS 2019 Semantic Segmentation Challenge hervorging, illustriert die enge Kopplung zwischen realen Datengrundlagen und synthetischen Erweiterungsschemata.5 Obwohl das Modell primär auf den 12.759 handannotierten Bildern des OpenEDS-Datensatzes trainiert wurde 5, beruhte sein Erfolg maßgeblich auf der Integration synthetischer Label-Eigenschaften in die Verlustfunktion.  

Da die Pupille in realen In-the-wild-Aufnahmen oft nur einen Bruchteil der Bildfläche einnimmt, führt dies zu einer extremen Klassenimbalanz, die das Training instabil macht.5 RITnet nutzt hierbei synthetisch motivierte Strategien wie den *Boundary Aware Loss* (BAL) und den *Surface Loss* (SL), um die präzisen Kanten synthetischer Masken als strukturelles Vorwissen zu nutzen.5 Diese Ansätze erlauben es dem Modell, semantisch kleine, aber kritische Strukturen wie die Pupillengrenzen auch bei niedriger Bildauflösung stabil zu extrahieren.5 Zudem wurden domänenspezifische synthetische Augmentierungen eingesetzt, um beispielsweise die Reflexionen von Brillengläsern prozedural zu simulieren und so die Generalisierung auf reale Störfaktoren zu verbessern.5
### **EllSeg: Geometrische Abstraktion durch synthetische Ground-Truth**
Einen Paradigmenwechsel vollzog das EllSeg-Framework, indem es synthetische Daten nutzte, um über die rein visuelle Erscheinung (Visible Eye-Parts) hinauszugehen.6 Während herkömmliche Modelle lediglich die sichtbaren Pixel segmentieren, wird EllSeg darauf trainiert, die **vollständige elliptische Struktur** von Pupille und Iris vorherzusagen – selbst wenn diese teilweise durch die Augenlider oder Wimpern verdeckt sind.6  

Die Verwendung synthetischer Datensätze wie NVGaze und RITEyes-General war hierfür essenziell, da nur synthetische Generatoren "fehlerfreie" 2D- und 3D-Labels für geometrische Strukturen liefern können, die physisch verdeckt und somit für menschliche Annotatoren unsichtbar sind.6 Durch dieses Training auf "perfekten" geometrischen Masken lernt das Modell, räumliche Beziehungen zu extrapolieren.6 In der Evaluation führte dieser Fokus auf die zugrundeliegende Geometrie zu signifikanten Robustheitsgewinnen: EllSeg erzielte eine Steigerung der Detektionsrate des Pupillenzentrums um mindestens 10% und des Iriszentrums um 24% im Vergleich zu rein erscheinungsbasierten Methoden.6

| Modell     | Primäre Datenbasis | Rolle der synthetischen Komponente  | Ergebnis / Vorteil               |
| :--------- | :----------------- | :---------------------------------- | :------------------------------- |
| **RITnet** | OpenEDS (Hybrid)   | Grenzbewusste Verlustfunktionen     | Stabilisierung kleiner Klassen 5 |
| **EllSeg** | NVGaze, RITEyes    | Training auf vollständigen Ellipsen | Robustheit gegen Okklusion 6     |
## **Zusammenfassung und Forschungslücke**

Zusammenfassend lässt sich festhalten, dass synthetische Daten in der aktuellen Forschung weit über die bloße Bereitstellung von Trainingsbildern hinausgehen. Sie dienen als Werkzeug zur Definition geometrischer Constraints und zur Regularisierung bei schwierigen Randbedingungen.  

Auffällig ist jedoch, dass sich die Variation in den genutzten Trainingsdaten bisher fast ausschließlich auf die Achsen Blickrichtung (Gaze), Kopfpose und Beleuchtung konzentriert.1 Die **interindividuelle anatomische Variation** der periorbitalen Region (z. B. unterschiedliche Augenformen oder ethnische Merkmale) wurde in ihrer Wirkung auf die Robustheit von Segmentierungsmodellen bisher nicht gezielt als isolierter Faktor untersucht. Die meisten Modelle vertrauen auf eine implizite Generalisierung durch schiere Datenmenge, statt anatomische Formvariationen systematisch in den Trainingsprozess einzubinden. Dies führt direkt zu Kapitel 3, in dem die Hypothese aufgestellt wird, dass eine gezielte Modellierung anatomischer Variationen die Segmentierungsleistung in heterogenen Nutzergruppen signifikant verbessern kann.

---
**Quellenverzeichnis**

1 **Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images**, Erroll Wood et al., 2016\. [https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/](https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/)  

9 **Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings**, Seonwook Park et al., 2018\. [https://ait.ethz.ch/landmarks-gaze](https://ait.ethz.ch/landmarks-gaze)  

5 **RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking**, Aayush K. Chaudhary et al., 2019\. [https://arxiv.org/abs/1910.00694](https://arxiv.org/abs/1910.00694)  

6 **EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking**, Rakshit Kothari et al., 2021\. [https://arxiv.org/abs/2007.09600](https://arxiv.org/abs/2007.09600)  

2 **NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation**, Joohwan Kim et al., 2019\. [https://research.nvidia.com/publication/2019-05\_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation](https://research.nvidia.com/publication/2019-05_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation)  

3 **RIT-Eyes: Rendering of near-eye images for eye-tracking applications**, Nitinraj Nair et al., 2020.(https://www.researchgate.net/publication/342027451\_RIT-Eyes\_Rendering\_of\_near-eye\_images\_for\_eye-tracking\_applications)  

7 **OpenEDS: Open Eye Dataset**, Stephan J. Garbin et al., 2019\. [https://arxiv.org/abs/1905.03702](https://arxiv.org/abs/1905.03702)  

4 **GazeGene: Large-scale Synthetic Gaze Dataset with 3D Eyeball Annotations**, Linrui Bao et al., 2025.([https://openaccess.thecvf.com/content/CVPR2025/papers/Bao\_GazeGene\_Large-scale\_Synthetic\_Gaze\_Dataset\_with\_3D\_Eyeball\_Annotations\_CVPR\_2025\_paper.pdf](https://openaccess.thecvf.com/content/CVPR2025/papers/Bao_GazeGene_Large-scale_Synthetic_Gaze_Dataset_with_3D_Eyeball_Annotations_CVPR_2025_paper.pdf))  

8 **UnityEyes 2: Open source synthetic eye generation**, Alexander D. Smith et al., 2025.([https://motion.cs.illinois.edu/papers/ETRA2025\_Smith\_UnityEyes2.pdf](https://motion.cs.illinois.edu/papers/ETRA2025_Smith_UnityEyes2.pdf))