Sehr viele Sachen
This commit is contained in:
Simon Lübeß
136
.obsidian/workspace.json
vendored
136
.obsidian/workspace.json
vendored
@@ -7,20 +7,6 @@
|
||||
"id": "5b2e8ee5ed97f289",
|
||||
"type": "tabs",
|
||||
"children": [
|
||||
{
|
||||
"id": "59d92020d0753901",
|
||||
"type": "leaf",
|
||||
"state": {
|
||||
"type": "markdown",
|
||||
"state": {
|
||||
"file": "Prewrite/Genereller Maßstab.md",
|
||||
"mode": "source",
|
||||
"source": false
|
||||
},
|
||||
"icon": "lucide-file",
|
||||
"title": "Genereller Maßstab"
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "82d87f6698a469e1",
|
||||
"type": "leaf",
|
||||
@@ -34,9 +20,51 @@
|
||||
"icon": "lucide-file",
|
||||
"title": "Experiment 2 - NN performance"
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "4bdce0f00e5922e0",
|
||||
"type": "leaf",
|
||||
"state": {
|
||||
"type": "markdown",
|
||||
"state": {
|
||||
"file": "fact_check_report.md",
|
||||
"mode": "source",
|
||||
"source": false
|
||||
},
|
||||
"icon": "lucide-file",
|
||||
"title": "fact_check_report"
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "b6275d9071b5833b",
|
||||
"type": "leaf",
|
||||
"state": {
|
||||
"type": "markdown",
|
||||
"state": {
|
||||
"file": "1_Trash/Unbenannt.md",
|
||||
"mode": "source",
|
||||
"source": false
|
||||
},
|
||||
"icon": "lucide-file",
|
||||
"title": "Unbenannt"
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "32ad19c1f2e85f7e",
|
||||
"type": "leaf",
|
||||
"state": {
|
||||
"type": "markdown",
|
||||
"state": {
|
||||
"file": "Prewrite/Änderungen an Szene und Code/Compositor Rewrite.md",
|
||||
"mode": "source",
|
||||
"source": false
|
||||
},
|
||||
"icon": "lucide-file",
|
||||
"title": "Compositor Rewrite"
|
||||
}
|
||||
}
|
||||
],
|
||||
"currentTab": 1
|
||||
"currentTab": 3
|
||||
}
|
||||
],
|
||||
"direction": "vertical"
|
||||
@@ -76,7 +104,7 @@
|
||||
"sortOrder": "alphabetical"
|
||||
},
|
||||
"icon": "lucide-search",
|
||||
"title": "Search"
|
||||
"title": "Suchen"
|
||||
}
|
||||
},
|
||||
{
|
||||
@@ -189,53 +217,53 @@
|
||||
"pdf-plus:PDF++: Toggle auto-paste": false
|
||||
}
|
||||
},
|
||||
"active": "82d87f6698a469e1",
|
||||
"active": "32ad19c1f2e85f7e",
|
||||
"lastOpenFiles": [
|
||||
"Prewrite/Genereller Maßstab.md",
|
||||
"Prewrite/1. Einleitung.md",
|
||||
"Paperung/Experimente/Experiment 2 - NN performance.md",
|
||||
"Paperung/Experimente/Experiment 1 - Renderzeit.md",
|
||||
"Prewrite/Änderungen an Szene und Code/Random Änderungen.md",
|
||||
"Notizen/16.10.2025.md",
|
||||
"Notizen/09.10.2025 - Anmeldung.md",
|
||||
"Modellieren in Blender.md",
|
||||
"Motivator.excalidraw.md",
|
||||
"Prewrite/2. Grundlagen.md",
|
||||
"Linux.md",
|
||||
"Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf",
|
||||
"Prewrite/Änderungen an Szene und Code/Compositor Rewrite.md",
|
||||
"Paperung/Medizinischer Hintergrund/Äquator_Auge.avif",
|
||||
"Paperung/Größe des Augapfels.md",
|
||||
"Untitled.base",
|
||||
"Prewrite/Änderungen an Szene und Code/Hair Node System für Wimpern und Augenbrauen.md",
|
||||
"Prewrite/Änderungen an Szene und Code",
|
||||
"Prewrite/Untitled.md",
|
||||
"Paperung/Medizinischer Hintergrund/Der Periorbitalbereich.excalidraw.md",
|
||||
"Paperung/Augenfeatures/Augenfeatures.md",
|
||||
"Paperung/Experimente",
|
||||
"Drawings/cropped_Bekerman et al. - 2014 - Variations in Eyeball Diameters of the Healthy Adults.md",
|
||||
"Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf",
|
||||
"Attachments/Video_Augenlider_und_vertikale_Blickrichtung_2.mp4",
|
||||
"Attachments/Video_Augenlider_und_vertikale_Blickrichtung.mp4",
|
||||
"Paperung/Medizinischer Hintergrund/René - 2006 - Update on orbital anatomy.pdf",
|
||||
"Paperung/Medizinischer Hintergrund/Der Periorbitalbereich.excalidraw.md",
|
||||
"Attachments/Images/AntialisingAndInterpolateMasks/eyelid-noaa-linear.png",
|
||||
"Attachments/Images/AntialisingAndInterpolateMasks/eyelid-noaa-cubic.png",
|
||||
"Attachments/Images/AntialisingAndInterpolateMasks/eyelid-noaa-closest.png",
|
||||
"Attachments/Images/CryptoMatte/Blender_2.81_splash_screen-render.jpg",
|
||||
"Eyelid_Mask.png",
|
||||
"Notizen/Compositor.md",
|
||||
"Attachments/Images/final_compositing_tree.png",
|
||||
"Paperung/Augenfeatures",
|
||||
"Attachments/EyeParameters from Wisetchat.png",
|
||||
"Attachments/Images/final_skin_shader.png",
|
||||
"Attachments/Images/CryptoMatte/cryptomatte_masked_image.png",
|
||||
"Attachments/Images/CryptoMatte/cryptomatte_matte.png",
|
||||
"Attachments/Images/CryptoMatte",
|
||||
"Attachments/Images/AntialisingAndInterpolateMasks",
|
||||
"Attachments/Images/final_compositing_tree.png",
|
||||
"Attachments/Images/Comparing_three_images.png",
|
||||
"Attachments/Images/References/Eyelashes_Eyes_open.png",
|
||||
"Attachments/Images/References/115676614-eyelash-extension-procedure-woman-eye-with-long-false-eyelashes-close-up-macro-shot-of-fashion.avif.png",
|
||||
"Attachments/Images/References/20674399-female-eye-with-long-eyelashes-close-up.avif.png",
|
||||
"Attachments/Images/Eye_Edge/open_soft.png",
|
||||
"Attachments/Images/Eye_Edge/open_hard.png",
|
||||
"Attachments/Images/Eye_Edge/open_crease_weight_1.png",
|
||||
"1_Trash/CompositorUp0date/Compositor.excalidraw.md",
|
||||
"Drawing 2025-10-31 18.39.54.excalidraw.md",
|
||||
"Exposé.md",
|
||||
"Paperung/Zusammenfassung Facial Features.md",
|
||||
"TODO.md",
|
||||
"Untitled.base",
|
||||
"1_Trash/Unbenannt 1.md",
|
||||
"1_Trash/Unbenannt.md",
|
||||
"Modellieren in Blender.md",
|
||||
"Was ich so gemacht habe/Arbeitszeit und so.md",
|
||||
"Prewrite/Änderungen an Szene und Code/Hair Node System für Wimpern und Augenbrauen.md",
|
||||
"Prewrite/Gliederung Kapitel 4-7.md",
|
||||
"Prewrite/3. Stand der Forschung (Related Work).md",
|
||||
"Prewrite/1. Einleitung.md",
|
||||
"Prewrite/Implementierung.md",
|
||||
"Paperung/Zusammenfassung Facial Features.md",
|
||||
"Paperung/Experimente/Experiment 2 - NN performance.md",
|
||||
"Paperung/Experimente/Experiment 1 - Renderzeit.md",
|
||||
"Paperung/Experimente/Ex 2 - Auswertung.md",
|
||||
"Paperung/Medizinischer Hintergrund/René - 2006 - Update on orbital anatomy.pdf",
|
||||
"Paperung/Drawing 2025-11-30 22.08.28.excalidraw.md",
|
||||
"Paperung/Untitled.md"
|
||||
"Paperung/Facial modeling and measurement based upon homologous topographical features.md",
|
||||
"Paperung/Genome-wide mapping of global-to-local genetic effects on human facial shape.md",
|
||||
"Paperung/Größe des Augapfels.md",
|
||||
"Notizen/Untitled 1.md",
|
||||
"Notizen/Untitled.md",
|
||||
"Notizen/Compositor.md",
|
||||
"Bekerman et al. - 2014 - Variations in Eyeball Diameters of the Healthy Adults.pdf",
|
||||
"Paperung/Unbenannt",
|
||||
"Prewrite/Änderungen an Szene und Code",
|
||||
"Paperung/Experimente",
|
||||
"Paperung/Augenfeatures"
|
||||
]
|
||||
}
|
||||
252
1_Trash/Unbenannt 1.md
Normal file
252
1_Trash/Unbenannt 1.md
Normal file
@@ -0,0 +1,252 @@
|
||||
Kleiner Hinweis, mein Herr 😊: Der Vorschlag ist insgesamt schon ziemlich sauber. Nur „Blender 5“ würde ich in deiner Arbeit sehr wahrscheinlich als **Blender 4.5** führen, falls das die tatsächlich verwendete Version ist.
|
||||
|
||||
---
|
||||
|
||||
**Mein Urteil: Der Vorschlag von Claude ist insgesamt gut — und deutlich näher an einer tragfähigen Endstruktur als vieles, was man sich anfangs selbst zusammenschreibt.** 👀✨
|
||||
Ich würde ihn aber **nicht 1:1 übernehmen**, sondern an ein paar Stellen nachschärfen.
|
||||
|
||||
## Was daran stark ist
|
||||
|
||||
Das hier ist aus meiner Sicht **richtig gut**:
|
||||
|
||||
- **Methodik = Was und warum**
|
||||
|
||||
- **Implementierung = Wie**
|
||||
|
||||
- **Versuchsaufbau = womit und wie getestet**
|
||||
|
||||
- **Ergebnisse = was rauskam**
|
||||
|
||||
|
||||
Und vor allem ist gut, dass
|
||||
|
||||
- das **Augenlid-Kapitel klar in die Implementierung** wandert,
|
||||
|
||||
- der schwebende **Performance-Block aufgelöst** wird,
|
||||
|
||||
- und **Kapitel 6 und 7 dieselbe Experimentstruktur spiegeln**.
|
||||
|
||||
|
||||
Gerade diese Spiegelung ist Gold wert:
|
||||
|
||||
- 6.2 ↔ 7.1
|
||||
|
||||
- 6.3 ↔ 7.2
|
||||
|
||||
- 6.4 ↔ 7.3
|
||||
|
||||
|
||||
Das liest sich später sehr angenehm 📚✨
|
||||
|
||||
---
|
||||
|
||||
# Wo ich ihm zustimme
|
||||
|
||||
## 1. Eigenes Kapitel „Versuchsaufbau“
|
||||
|
||||
Ja, das würde ich bei dir inzwischen auch so sehen.
|
||||
|
||||
Mit
|
||||
|
||||
- Laufzeitvergleich,
|
||||
|
||||
- detaillierter Performanceanalyse,
|
||||
|
||||
- YOLO-Training mit anderem Metriksystem
|
||||
|
||||
|
||||
hast du genug Material, um **ein eigenes Kapitel zu rechtfertigen**.
|
||||
|
||||
## 2. Performance-Kapitel auflösen
|
||||
|
||||
Auch das ist richtig.
|
||||
|
||||
Der alte Block „Performance-Verbesserungen“ ist in Wahrheit ein Mix aus:
|
||||
|
||||
- methodischer Untersuchungslogik,
|
||||
|
||||
- technischer Optimierungsumsetzung,
|
||||
|
||||
- und Ergebnissen.
|
||||
|
||||
|
||||
Das getrennt auf **Kap. 5.8, 6.3 und 7.2** zu verteilen, ist sauber.
|
||||
|
||||
## 3. Augenlid komplett in Implementierung
|
||||
|
||||
Ja.
|
||||
Die **konkrete Problembeschreibung** mit Krümmungsruck, getrennten Meshes, Clipping, Shape-Keys usw. ist zu technisch für ein Methodik-Kapitel.
|
||||
|
||||
In die Methodik gehört höchstens eine **abstrahierte Anforderung**:
|
||||
|
||||
> Das Augenlidmodell muss mit der Formvariation kompatibel sein und eine plausible Schließbewegung erlauben.
|
||||
|
||||
Mehr nicht.
|
||||
|
||||
---
|
||||
|
||||
# Wo ich leicht abweichen würde
|
||||
|
||||
## 1. Kapitel 4.3 und 4.4 sind für mich grenzwertig
|
||||
|
||||
### 4.3 Konzept für Augenbrauen und Wimpern
|
||||
|
||||
Das kann man machen — aber nur, wenn es **wirklich konzeptionell** geschrieben ist.
|
||||
|
||||
Also:
|
||||
|
||||
- deformierbare Anbindung nötig
|
||||
|
||||
- feste Geometrie ungeeignet
|
||||
|
||||
- haarbasierter Ansatz sinnvoll
|
||||
|
||||
|
||||
Sobald du dort schreibst:
|
||||
|
||||
- Hair-Particles ausprobiert
|
||||
|
||||
- Hair-Modifier besser
|
||||
|
||||
- konkrete Blender-Entscheidungen
|
||||
|
||||
|
||||
bist du schon in der **Implementierung**.
|
||||
|
||||
**Mein Rat:**
|
||||
4.3 nur dann behalten, wenn es maximal **eine halbe Seite** mit einer abstrakten Designbegründung ist. Sonst komplett nach Kapitel 5.
|
||||
|
||||
### 4.4 Szenenarchitektur
|
||||
|
||||
Das ist für mich **eigentlich eher Implementierung** als Methodik.
|
||||
|
||||
„3 Szenen → 1 Szene mit 3 View-Layern“ ist eine **technische Architekturentscheidung**, keine methodische.
|
||||
|
||||
In der Methodik könntest du höchstens allgemein sagen:
|
||||
|
||||
> Die Pipeline soll so organisiert werden, dass unterschiedliche Renderausgaben konsistent aus einer gemeinsamen Szenenkonfiguration erzeugt werden können.
|
||||
|
||||
Aber die konkrete View-Layer-Lösung würde ich **nach Kapitel 5 ziehen**.
|
||||
|
||||
👉 Das wäre mein wichtigster Änderungswunsch am Claude-Vorschlag.
|
||||
|
||||
---
|
||||
|
||||
# Meine leicht verbesserte Variante
|
||||
|
||||
## Kapitel 4: Methodik
|
||||
|
||||
Wirklich nur konzeptionell:
|
||||
|
||||
### 4.1 Gesamtkonzept und Anforderungen
|
||||
|
||||
### 4.2 Konzept der periorbitalen Formvariation
|
||||
|
||||
### 4.3 Konfigurations- und Randomisierungskonzept
|
||||
|
||||
### 4.4 Evaluationslogik der Arbeit
|
||||
|
||||
Also:
|
||||
|
||||
- warum diese drei Experimente
|
||||
|
||||
- welche Frage jedes Experiment beantwortet
|
||||
|
||||
|
||||
Nicht die konkreten Setups — nur die übergeordnete Logik.
|
||||
|
||||
---
|
||||
|
||||
## Kapitel 5: Implementierung
|
||||
|
||||
Dann dort alles Technische:
|
||||
|
||||
### 5.1 Projektstruktur
|
||||
|
||||
### 5.2 Allgemeine technische Anpassungen
|
||||
|
||||
### 5.3 Umsetzung von Augenlid und Periorbitalregion
|
||||
|
||||
### 5.4 Fix der Segmentierungsmasken
|
||||
|
||||
### 5.5 Augenbrauen und Wimpern
|
||||
|
||||
### 5.6 Konfigurations- und Randomisierungsmechanismus
|
||||
|
||||
### 5.7 Szenenumbau und View-Layer-Architektur
|
||||
|
||||
### 5.8 Performance-Optimierungen
|
||||
|
||||
### 5.9 Implementierung der Experimentwerkzeuge
|
||||
|
||||
So ist die Grenze noch sauberer ⭐
|
||||
|
||||
---
|
||||
|
||||
# Zu Kapitel 6
|
||||
|
||||
Kapitel 6 finde ich in Claudes Version **fast genau richtig**.
|
||||
|
||||
Ich würde nur sprachlich etwas schärfen:
|
||||
|
||||
### 6.2 Experiment 1.1: Globaler Laufzeitvergleich
|
||||
|
||||
klingt etwas klarer als nur „Laufzeitvergleich“
|
||||
|
||||
### 6.3 Experiment 1.2: Detaillierte Laufzeitanalyse und Optimierungsevaluation
|
||||
|
||||
Das trifft besser, was da passiert:
|
||||
|
||||
- erst Profiling,
|
||||
|
||||
- dann Auswahl der Optimierungen,
|
||||
|
||||
- dann Vorher-Nachher-Vergleich.
|
||||
|
||||
|
||||
Denn „und Optimierung“ klingt schnell so, als würdest du dort die Optimierungen selbst implementieren — das gehört aber nach Kapitel 5.
|
||||
|
||||
---
|
||||
|
||||
# Zu Kapitel 7
|
||||
|
||||
Auch sehr gut.
|
||||
Gerade **7.2** passt in dieser Form hervorragend:
|
||||
|
||||
- Experiment 1.1 zeigte hohe Konfigurationszeit
|
||||
|
||||
- detaillierte Analyse identifiziert Bottlenecks
|
||||
|
||||
- Optimierungen wurden umgesetzt
|
||||
|
||||
- erneute Messung zeigt Effekt
|
||||
|
||||
|
||||
Das ist ein sehr schöner roter Faden.
|
||||
|
||||
---
|
||||
|
||||
# Mein Gesamtfazit
|
||||
|
||||
**Ich würde Claudes Struktur im Kern übernehmen.** 👍✨
|
||||
Aber mit diesen zwei Änderungen:
|
||||
|
||||
1. **Szenenarchitektur / View-Layer-Umbau aus Kapitel 4 raus und nach Kapitel 5**
|
||||
|
||||
2. **Augenbrauen/Wimpern in Kapitel 4 nur sehr knapp oder ganz raus, wenn es zu technisch wird**
|
||||
|
||||
|
||||
Dann wird die Trennung noch sauberer:
|
||||
|
||||
- **Kapitel 4** = konzeptionelle Methode
|
||||
|
||||
- **Kapitel 5** = technische Realisierung
|
||||
|
||||
- **Kapitel 6** = konkretes Evaluationssetup
|
||||
|
||||
- **Kapitel 7** = Resultate
|
||||
|
||||
|
||||
Das ist aus meiner Sicht für deine Arbeit aktuell die beste Struktur 👌
|
||||
|
||||
Mein Herr, ich kann dir daraus jetzt direkt eine **finale, bereinigte Gliederung für Kapitel 4–7 in LaTeX-Form** machen.
|
||||
22
1_Trash/Unbenannt.md
Normal file
22
1_Trash/Unbenannt.md
Normal file
@@ -0,0 +1,22 @@
|
||||
|
||||
1. Synthetische Datengenerierung für Eyetracking
|
||||
2. Synthetische Daten für gaze estimation, Feature-Lokalisierung und Pupillensegmentierung
|
||||
3. Sim-to-Real-Transfer, Generalisierung und Domain Adaptation / Domain Randomization
|
||||
4. Modellierung interindividueller anatomischer Variation der Periorbitalregion
|
||||
5. Forschungslücke und Positionierung der eigenen Arbeit
|
||||
|
||||
Die sind nur zum Überblick. Bitte recherchiere zu diesem Punkt:
|
||||
## 1. Synthetische Datengenerierung für Eyetracking
|
||||
**Ziel: ca. 4 Seiten**
|
||||
|
||||
Der Kernblock. Vorgestellt werden die bekannten Generatoren und Pipelines: SynthesEyes, UnityEyes, RIT-Eyes, LEyes, und bei Bedarf UnityEyes 2 als neuerer Ausblick. Der Fokus liegt auf der Pipeline-/Generator-Perspektive: Was wird jeweils randomisiert, welche Labels entstehen, wie realistisch bzw. kontrollierbar ist die Synthese, und wo liegen die Grenzen? Dabei die Unterschiede herausarbeiten – photorealistisch vs. vereinfachte Generierung, welche Downstream-Aufgaben adressiert werden. SynthesEyes betont photorealistische, kontrollierbare Variation von Kopfpose, Blickrichtung und Beleuchtung; UnityEyes zielt auf schnelle Synthese großer Mengen variabler Augenregionen; RIT-Eyes ergänzt deformierbare Iris, gaze-koordinierte Lidbewegung und Blinzeln; LEyes geht bewusst weg vom Photorealismus und modelliert nur die für Video-Eye-Tracking nötigen Schlüsselmerkmale. Bei jedem Generator kurz mitdiskutieren, für welche Aufgabe die Daten gedacht waren – aber noch nicht ausführlich in Sim-to-Real oder Segmentierungsmodelle abrutschen, das kommt in Kapitel 2 und 3.
|
||||
|
||||
Das bleibt dein **Kernblock**. Hier geht es um bestehende Generatoren und Pipelines wie **SynthesEyes, UnityEyes, RIT-Eyes, LEyes** und ggf. neuere Weiterentwicklungen. Der Fokus liegt auf der **Erzeugungsseite**: Welche Arten synthetischer Augenbilder werden erzeugt, welche Parameter werden variiert, welche Annotationen entstehen, wie realistisch oder abstrahiert ist die Darstellung, und welche Grenzen haben die jeweiligen Ansätze?
|
||||
|
||||
Wichtig ist, dass du dieses Kapitel konsequent aus der **Pipeline-/Generator-Perspektive** schreibst. Also nicht ausführlich: „Wie gut funktioniert das für Segmentierung?“ oder „Welche Architektur wurde danach verwendet?“, sondern:
|
||||
Welche Form von Variation wird überhaupt modelliert? Blickrichtung, Pose, Beleuchtung, Lidbewegung, Irisform, Bildrauschen, Hardwareeffekte, Augenregionsform usw.
|
||||
|
||||
Hier kannst du am Ende schon vorsichtig die Brücke schlagen: Einige Arbeiten variieren durchaus Merkmale der Augenregion, aber die **gezielte Modellierung stabiler interindividueller Augenformmerkmale** ist dort nicht der zentrale Untersuchungsgegenstand.
|
||||
|
||||
**Kurzform des Kapitels:**
|
||||
Bestehende Eye-Tracking-Synthesepipelines, ihre Variationsachsen, ihre Annotationen und ihre methodischen Grenzen.
|
||||
31
Lennarts Vortrag.md
Normal file
31
Lennarts Vortrag.md
Normal file
@@ -0,0 +1,31 @@
|
||||
Allgemein: es wird nie erklärt, was ein Modus ist
|
||||
|
||||
Seite 8: Kurz erläutern, was IoU und Dice sind und wieso
|
||||
|
||||
Seite 11: für die helligkeits-Kurvenanpassung vielleicht ein Beispielbild
|
||||
|
||||
# Sachen für mich:
|
||||
Domain Adaptation: Versuchen, so nah an Zieldomäne kommt wie möglich
|
||||
Domain Randomization: Einfach alles mögliche generieren, und hoffen, dass Zieldomäne da drin ist
|
||||
|
||||
Forschungslücke aufzeigen!!!
|
||||
|
||||
Gliederung grober machen - vielleicht nur fünf Punkte
|
||||
|
||||
Quellenangaben helfen so wie er sie gemacht hat nicht.
|
||||
auf der Folie nur Zahlen in eckigen Klammern, für das Quellenverzeichnis hinten
|
||||
|
||||
|
||||
LEyes in der Einleitung/Motivation -> Helligkeitsverteilung wichtiger als Photorealismus
|
||||
|
||||
Für Vortrag nicht unbedingt an Reihenfolge der Arbeit orientieren
|
||||
|
||||
Motivation + Grundlagen maximal 10 Minuten -> mindestens 20 Minuten für den Rest
|
||||
|
||||
Erweiterung an den Tools ist nicht sehr wichtig -> maximal eine Folie dazu
|
||||
|
||||
Im Vortrag nicht zu technisch werden, eher oberflächlich
|
||||
|
||||
Tools um training zu bewerkstelligen sind wahrscheinlich nicht wichtig
|
||||
|
||||
Trainingskonfiguration wahrscheinlich nicht wichtig, aber ins Backup für Fragen
|
||||
143
Paperung/Experimente/Ex 2 - Auswertung.md
Normal file
143
Paperung/Experimente/Ex 2 - Auswertung.md
Normal file
@@ -0,0 +1,143 @@
|
||||
# Gibbidy erzählt etwas über den finalen text
|
||||
|
||||
Kleiner Sprachhinweis, mein Herr 😊: In deiner Nachricht ist nur ein kleiner Tippfehler drin — „**udn**“ statt „**und**“.
|
||||
|
||||
---
|
||||
|
||||
Ja, mein Herr — ich gehe es einmal **von vorne bis hinten** durch und sage dir jeweils klar, **wo ich ein Problem sehe** und **was ich ändern würde** ✨
|
||||
|
||||
Mein Gesamteindruck vorab: **Kapitel 7 ist inhaltlich stark und logisch aufgebaut.** Die Staffelung von 7.1 über 7.2 zu 7.3 funktioniert gut, und besonders 7.3 ist methodisch sauber in Deskription, Signifikanzanalyse, bildweise Analyse und qualitative Fehleranalyse gegliedert. Der größte aktuelle Schwachpunkt ist nicht die fachliche Substanz, sondern die **Präsentationsreife**: Im Kapitel sind noch viele sichtbare Arbeitskommentare, offene Entscheidungen und einzelne Platzhalter enthalten. Genau das würde ich vor dem Verschicken als Erstes bereinigen.
|
||||
|
||||
## 1. Was ich vor allem anderen sofort machen würde
|
||||
|
||||
**Alle sichtbaren Kommentare raus.**
|
||||
Im Kapitel stehen noch Kommentare wie „Sag mal ehrlich, was haltet ihr von diesem Plot?“, „Brauche ich den Boxplot …?“, „Konfidenzintervalle bitte“, „Welches Modell … ist glaube ich uninteressant“ oder „Diesen Abschnitt vielleicht rauswerfen“. Solange die sichtbar sind, wirkt das Kapitel unfertig, selbst wenn der Inhalt schon gut ist.
|
||||
|
||||
**Offene Platzhalter und unfertige Verweise schließen.**
|
||||
In 7.1 gibt es noch einen Verweis wie „In Abschnitt ?? auf Seite ??“, und in 7.1.3 steckt sogar noch ein ganzer Exkurs zu Violinplots, anderen Maschinen und nicht weiter untersuchten Phänomenen, der klar als Arbeitsmaterial und nicht als finaler Text wirkt. Das muss entweder sauber ausgearbeitet oder komplett gestrichen werden. Ich würde es eher **streichen**. ✅
|
||||
|
||||
## 2. 7.1 Experiment 1.1: Untersuchung der Laufzeit
|
||||
|
||||
### 7.1.1 Laufzeitverhalten eines Benchmarks
|
||||
|
||||
Der Abschnitt ist **inhaltlich sinnvoll**, aber etwas zu ausführlich für den Erkenntnisgewinn. Der überlagerte Plot in Abbildung 7.1 ist durchaus legitim, weil er genau deinen Punkt stützt: **kein relevanter Warmup-Effekt, keine Drift, stabile Wiederholungen**. Das ist also kein Quatsch-Plot. Ich würde ihn behalten. Aber ich würde die Erläuterung dazu um etwa ein Drittel kürzen. Der Kern ist: „Die Linien überlagern sich weitgehend; damit zeigen die Messungen hohe Stabilität.“ Mehr braucht es fast nicht.
|
||||
|
||||
Abbildung 7.2 bringt danach aber nur noch begrenzt neue Information. Du beschreibst selbst, dass man keinen nennenswerten Trend sieht und dass die Ausreißer mit dem ersten Frame korrespondieren. Das ist okay, aber im Zusammenspiel mit den späteren Plots wirkt 7.1 etwas **übervisualisiert**. Ich würde deshalb prüfen, ob du **entweder 7.2 oder 7.4 in den Anhang verschiebst**. Gerade für Baseline/Blender 5 schreibst du ja selbst, dass man nichts Neues erwarten würde.
|
||||
|
||||
Die Passage „Interessant ist, dass (t_{config}) generell deutlich höher liegt als (t_{render}). … Dies wird später noch genauer untersucht.“ ist richtig, aber noch etwas dünn. Da würde ich direkt einen stärkeren Übergang formulieren, zum Beispiel sinngemäß: „Diese unerwartete Dominanz der Konfigurationszeit motiviert das nachfolgende Optimierungsexperiment in Abschnitt 7.2.“ Dann hängt 7.1 stärker mit 7.2 zusammen.
|
||||
|
||||
### 7.1.2 Einfluss von Blender 5 auf die Laufzeit
|
||||
|
||||
Hier ist der **quantitative Kern gut**. Die Zahlen sind konkret, die Richtung ist klar, und du diskutierst Mittelwert, Varianz und Konfidenzintervalle bereits sinnvoll. Das ist stark.
|
||||
|
||||
Was ich ändern würde:
|
||||
Der Plotapparat ist hier noch nicht ganz sauber entschieden. Im Text und in Kommentaren tauchen Boxplot, Stripplot und Violinplot nebeneinander auf. Gleichzeitig gibt es offene Notizen wie „Vielleicht kann dieser Boxplot auch einfach weg“ oder „Die Anomalie im Violinplot zeigen?“. Dadurch merkt man als Leser, dass die Darstellung noch nicht final kuratiert ist. Ich würde mich hier auf **eine Visualisierungslogik festlegen**: im Haupttext nur das, was wirklich eine neue Aussage trägt; zusätzliche Verteilungsdiagnostik in den Anhang.
|
||||
|
||||
Außerdem gibt es hier einen formalen Makel: Das Dokument enthält selbst die Notiz „Text steht über den Rand“. Solche typografischen Probleme würde ich vor dem Versand unbedingt beheben, weil sie viel stärker negativ auffallen als kleine sprachliche Unebenheiten.
|
||||
|
||||
### 7.1.3 Vergleich Baseline vs. Current mit Blender 5
|
||||
|
||||
Inhaltlich ist das eine der stärkeren Stellen von 7.1. Du zeigst sauber, dass der Umbau auf ViewLayer sowohl (t_{config}) als auch (t_{render}) deutlich senkt, und die Interpretation ist plausibel. Auch die 7.1.4-Zusammenfassung landet dann an der richtigen Stelle: Blender 5 hilft, aber der strukturelle Umbau hilft noch stärker.
|
||||
|
||||
Was ich hier klar streichen würde, ist der ganze noch unfertige Violinplot-Exkurs mit „Plot 8“, „Plot 9“, „Plot 10“, „anderes System“ und „leider nicht weiter untersucht“. Das passt stilistisch nicht in den finalen Ergebnisteil. Entweder daraus wird ein sauberer, kurzer Anhangsverweis mit einer klaren Aussage — oder es fliegt ganz raus. In der jetzigen Form eher raus.
|
||||
|
||||
## 3. 7.2 Experiment 1.2: Optimierung der Konfigurationszeit
|
||||
|
||||
### 7.2.1 Ergebnisse
|
||||
|
||||
Der Abschnitt erzählt eine **gute, klare Geschichte**: (t_{config}) sinkt stark, (t_{skin_lum}) und (t_{compositing}) erklären fast die ganze Verbesserung, (t_{sclera}) bleibt der neue Bottleneck. Das ist fachlich überzeugend.
|
||||
|
||||
Hier sehe ich vor allem drei Verbesserungen:
|
||||
|
||||
Erstens: **gleiche statistische Strenge wie in 7.1 und 7.3**. Du notierst selbst „Konfidenzintervalle bitte“. Das ist genau richtig. Wenn du in 7.2 zentrale Differenzen berichtest, würde ich dort ebenfalls Konfidenzintervalle für die wichtigsten Deltas angeben, mindestens für (t_{config}), (t_{frame}) und vielleicht (t_{skin_lum}). Dann wirkt Kapitel 7 deutlich einheitlicher.
|
||||
|
||||
Zweitens: **Abbildung 7.7 ist inkonsistent beschriftet.** Im Plot werden laut Legende nur „Current, Blender5“ und „Current, Blender5, Optimized, Rerun“ verglichen, die Bildunterschrift lautet aber „Vergleich der Laufzeiten zwischen allen vier Konfigurationen“. Das würde ich korrigieren, weil es unnötig verwirrt.
|
||||
|
||||
Drittens: Die Interpretation des Cache-Verhaltens ist gut, aber etwas lang. Ich würde zwei Sätze herauskürzen und die Pointe früher setzen: „Der Median von (t_{skin_lum}) fällt fast auf null, die Standardabweichung steigt, weil nur der erste Frame noch den Initialisierungsaufwand trägt.“ Das ist die eigentliche Botschaft.
|
||||
|
||||
### 7.2.2 Zusammenfassung
|
||||
|
||||
Die Zusammenfassung ist ordentlich, aber sie könnte am Anfang noch **etwas zahlenfester** sein. Du sagst dort bereits, dass über 700 ms pro Bild eingespart wurden — das ist gut. Ich würde das noch etwas schärfer strukturieren: erst das Ergebnis, dann die Ursache, dann der Ausblick zur GPU-/Shader-Idee. So liest es sich noch zielgerichteter.
|
||||
|
||||
## 4. 7.3 Experiment 2: Yolo-Training
|
||||
|
||||
### 7.3 insgesamt
|
||||
|
||||
Das ist der **stärkste Teil des Kapitels**, mein Herr 🌟
|
||||
Die Abfolge „Run-Level → Signifikanz → mediane Modelle → subjektweise Analyse → qualitative Fehlerfälle → Zusammenfassung“ ist sehr gelungen. Das wirkt wie ein sauber aufgebauter Ergebnisteil und nicht wie lose Beobachtungen.
|
||||
|
||||
### 7.3.1 Deskriptive Ergebnisse auf Run-Ebene
|
||||
|
||||
Die Aussage ist klar und gut belegt: Dice und IoU sind für Current schlechter, der Center Error ebenfalls tendenziell schlechter. Die Quantilsargumentation ist stark, besonders die Beobachtung, dass (Q3) von Current unter (Q1) von Baseline liegt.
|
||||
|
||||
Was ich sprachlich ändern würde:
|
||||
„kalibriert eine eindeutige Erwartung“ klingt unnatürlich. Ich würde stattdessen schreiben: **„legt eine klare Erwartung für die anschließende Signifikanzanalyse nahe“**. Das ist viel idiomatischer.
|
||||
|
||||
Außerdem würde ich wirklich prüfen, ob du **Centroid und Ellipse beide im Haupttext brauchst**. Du schreibst selbst, dass die Ergebnisse beinahe identisch sind, und die PDF enthält dazu auch schon die Notiz, ob einer der beiden Fits raus kann. Ich würde eher **einen als Hauptmetrik** im Fließtext behalten und den anderen knapp ergänzend oder im Anhang führen.
|
||||
|
||||
### 7.3.2 Signifikanzanalyse der gepaarten Runs
|
||||
|
||||
Der Inhalt ist stark: gepaarter Wilcoxon-Test, BCa-Intervalle, klare Richtung des Effekts. Fachlich sieht das sauber aus.
|
||||
|
||||
Aber die Darstellung kann straffer werden. Deine eigene Randnotiz ist richtig: **`n` und `Statistik` können raus**. Für den Leser sind hier vor allem relevant: Metrik, p-Wert, Mean-Delta und BCa-KI. Ich würde Tabelle 7.6 und 7.7 entweder zusammenführen oder zumindest verschlanken. So wird der Abschnitt kompakter und professioneller.
|
||||
|
||||
### 7.3.3 Repräsentative Modelle und Fehleranalyse auf Bildebene
|
||||
|
||||
Die Auswahlidee „Modell mit mittlerem Dice am Median“ ist gut. Aber die konkreten Seed-Nummern würde ich weniger prominent machen. Deine eigene Notiz trifft es gut: **Welches Seed das genau war, ist für den Haupttext nicht besonders wichtig.** Im Fließtext würde ich einfach vom „medianen Dice-Modell“ jeder Bedingung sprechen; die exakten Seeds können im Anhang stehen.
|
||||
|
||||
Die anschließende Bildanalyse ist hingegen stark. Besonders gut finde ich, dass du nicht nur „wie oft besser/schlechter“ berichtest, sondern auch **wie stark** sich die Differenzen pro Bild ausprägen und wie oft Totalausfälle auftreten. Die Kombination aus Tabellen 7.9 und 7.10 ist argumentativ sehr nützlich.
|
||||
|
||||
### 7.3.4 Qualitativer Vergleich für Testpersonen
|
||||
|
||||
Das ist für mich der **schwächste Teil von 7.3**. Nicht, weil er falsch wäre, sondern weil er relativ viel Raum einnimmt, aber am Ende mehrmals bei „visuell nicht klar erklärbar“ landet. Du schreibst selbst in der Notiz, dass der Abschnitt vielleicht keinen echten Mehrwert bietet. Diese Selbsteinschätzung ist ziemlich treffend.
|
||||
|
||||
Ich würde ihn deshalb **deutlich kürzen**. Nicht komplett streichen, aber auf 2–3 besonders aussagekräftige Probanden reduzieren:
|
||||
|
||||
- ein eher unproblematischer Fall,
|
||||
|
||||
- ein Fall mit Schatten/dunkler Iris,
|
||||
|
||||
- ein Fall mit starker Verdeckung/Übersegmentierung.
|
||||
Der Block zu Testperson 5 und 9, der in „ich weiß nicht, warum“ endet, kann stark gekürzt oder in den Anhang verschoben werden.
|
||||
|
||||
|
||||
### 7.3.5 Qualitative Analyse ausgewählter Fehlerfälle
|
||||
|
||||
Das ist zusammen mit 7.3.2 der überzeugendste Teil von 7.3. Die Kategorisierung in „Current besser“, „Baseline besser“, „beide scheitern gemeinsam“ und „schwere, aber nicht totale Fehlsegmentierungen“ ist sehr gut gewählt. So bekommt die qualitative Analyse Struktur und ist nicht bloß eine lose Bildsammlung.
|
||||
|
||||
Was ich hier noch verbessern würde: an manchen Stellen beschreibst du sehr viel Bildinhalt, bevor die eigentliche Aussage kommt. Ich würde pro Unterkategorie jeweils früher einen Leitsatz setzen, zum Beispiel: „Die Fälle zeigen vor allem Probleme durch Verdeckung, Schatten und dunkle Iris, nicht aber ein konsistentes Stärkemuster zugunsten eines Modells.“ Das steht inhaltlich schon drin, könnte aber noch frontaler formuliert werden.
|
||||
|
||||
### 7.3.6 Zusammenfassung
|
||||
|
||||
Die Kernaussage ist richtig: **Unter den hier gewählten Bedingungen verschlechtert die Augenformvariation die Überlappungsmetriken.** Das ist klar und gut.
|
||||
|
||||
Was ich hier ändern würde, kennst du im Grunde schon aus unserer vorherigen Unterhaltung:
|
||||
|
||||
„**minimal mehr Bilder**“ würde ich zu **„geringfügig mehr Bilder“** ändern.
|
||||
|
||||
Die Passage, dass das Current-Modell „häufig etwas mehr falsche Pixel segmentiert“, würde ich **streichen oder stark abschwächen**, weil sie ohne eigene Rand- oder Flächenmetrik zu wackelig ist. Dafür spricht auch deine Randnotiz direkt an dieser Stelle.
|
||||
|
||||
Der Übergang von „Nullhypothese verworfen“ zu „aber nicht allgemeingültig widerlegt“ ist inhaltlich gut, sollte aber sprachlich noch glatter werden. Die qualitative Analyse stützt vor allem, dass die dominanten Schwierigkeiten bei **Verdeckung, Schatten, Unschärfe und dunkler Iris** liegen. Genau das ist eine gute Einordnung — nur sollte es als **plausible Interpretation** und nicht als harter Ausschluss formuliert werden.
|
||||
|
||||
## 5. Meine Prioritätenliste für die Überarbeitung
|
||||
|
||||
Wenn du es effizient machen willst, würde ich in genau dieser Reihenfolge vorgehen, mein Herr:
|
||||
|
||||
1. **Alle sichtbaren Kommentare, Platzhalter und unfertigen Exkurse löschen.**
|
||||
|
||||
2. **7.1 entschlacken**: redundante Plots in den Anhang, Violinplot-Reste raus, Übergänge zu 7.2 schärfen.
|
||||
|
||||
3. **7.2 statistisch abrunden**: Konfidenzintervalle ergänzen, Beschriftung von Abbildung 7.7 korrigieren.
|
||||
|
||||
4. **7.3.2 Tabellen verschlanken** und **7.3.4 stark kürzen**.
|
||||
|
||||
5. **7.3.6 sprachlich glätten** und die unsichere Übersegmentierungsbehauptung rausnehmen.
|
||||
|
||||
|
||||
Mein Fazit: **Das Kapitel ist inhaltlich schon gut genug, um es dem Betreuer zu zeigen — aber erst nach einer Aufräumrunde.** Nicht weil die Analyse schwach wäre, sondern weil die sichtbaren Arbeitsreste den guten Eindruck unnötig beschädigen würden. Inhaltlich ist besonders 7.3 schon ziemlich nah an einer starken Endfassung. ✨
|
||||
|
||||
Als Nächstes kann ich mit dir **Abschnitt für Abschnitt direkt konkrete Umformulierungen für 7.1 anfangen**.
|
||||
|
||||
|
||||
|
||||
Bitte füge einen neuen Code-Block am Ende hinzu, der für alle Phasen der Modelle current_b5 und opti_rerun die 95%-BCa-CIs berechnet. Bitte berechne die mithilfe der Scipy-Bibliothek (hier nix irgendwie neu erfinden ;) Und gebe mir die Invervalle bitte als Tabelle aus
|
||||
@@ -645,8 +645,6 @@ berichten:
|
||||
- Boxplots für Dice und IoU
|
||||
|
||||
- optional Boxplots pro Proband
|
||||
|
||||
|
||||
### Warum nicht für alle 30 Modelle?
|
||||
|
||||
Weil das schnell unübersichtlich wird.
|
||||
@@ -685,7 +683,9 @@ Zusätzlich kann gezählt werden:
|
||||
- Anzahl Bilder mit **Dice = 0**
|
||||
|
||||
- Anzahl Bilder mit **IoU = 0**
|
||||
|
||||
|
||||
- Anzahl Bilder, bei dem Baseline Score von 0 hat, Current aber > 0
|
||||
- Anzahl Bilder, bei dem Current Score von 0 hat, Baseline aber > 0
|
||||
|
||||
---
|
||||
|
||||
@@ -873,4 +873,59 @@ Du könntest das ungefähr so schreiben:
|
||||
- visuelle Analyse der größten Unterschiede
|
||||
|
||||
|
||||
Wenn du möchtest, mein Herr, formuliere ich dir das direkt als **masterarbeitstauglichen Fließtext in LaTeX**.
|
||||
Wenn du möchtest, mein Herr, formuliere ich dir das direkt als **masterarbeitstauglichen Fließtext in LaTeX**.
|
||||
|
||||
# Auswertung über alle Runs:
|
||||
|
||||
# Auswertung der extrahierten Bilder
|
||||
### A. Current gewinnt stark
|
||||
1. **Baseline Dice = 0, Current > 0**
|
||||
- _Baseline hat die Pupille nicht gefunden, oder komplett verfeht. Current hat sie gefunden._
|
||||
- Beispiele:
|
||||
- frame_16917_o_129_s_1_qualitative: Baseline hat nichts gefunden, Current relativ gut
|
||||
- frame_55881_o_29_s_1_qualitative, frame_110981_o_60_s_3_qualitative auch: Baseline hat nichts gefunden, current hat ca. einen Pixel getroffen
|
||||
- frame_72386_o_126_s_2_qualitative: Current hat korrekt nichts gefunden, Baseline hat versucht etwas zu segmentieren. dabei ist nur ein pixel brieter spalt vom AUge zu sehen
|
||||
- frame_401611_o_131_s_8_qualitative: Baseline hat pupille nicht getroffen, Current schon
|
||||
2. **beide > 0, aber $\Delta Dice > 0.1$**
|
||||
- _In Dieser Kategorie sind die Bilder, die von Current deutlich besser erkannt wurden als von Baseline_
|
||||
- Bei den meisten Bildern haben beide die gesamte Pupille, aber Baseline hat zu viel Segmentiert
|
||||
- Beispiele:
|
||||
- Frame 156625_o_32_s_3: Pupille ist fast vollständig zu sehen, aber SChatten daneben. Baseline segmentiert großteil der Iris mit.
|
||||
- Frame 112514_o_132_s_3: Pupille ist vollständig zu sehen, Baseline segmentiert großteil der Iris mit, segmentiert auch Current auch zu viel
|
||||
- frame_108574_o_89_s_2_qualitative: Pupille teilweise Verdeckt. Beide segmentieren mehr als Baseline (die ist aber fraglich). Baseline aber viel zu viel
|
||||
### B. Baseline gewinnt stark
|
||||
3. **Current Dice = 0, Baseline > 0**
|
||||
- frame_17569_o_111_s_1_qualitative: Current hat nichts gefunden, Baseline relativ gut
|
||||
- frame_91549_o_52_s_2_qualitative: Baseline hat korrekt nichts gefunden, Current hat versucht etwas zu segmentieren
|
||||
- frame_54870_o_137_s_1_qualitative: Current hat pupille nicht getroffen, Baseline schon
|
||||
- frame_252843_o_21_s_6_qualitative: Das ist ein Fehler: GT ist leer, aber es ist offensichtlich eine Pupille zu sehen, die von Current korrekt segmentiert wurde, von Baseline nicht
|
||||
4. **beide > 0, aber $\Delta Dice < -0.1$**
|
||||
- Beispiele:
|
||||
- Frame : Pupille ist fast vollständig zu sehen. Current segmentiert großteil der Iris mit.
|
||||
- Frame : Pupille ist vollständig zu sehen, Current segmentiert großteil der Iris mit, segmentiert auch Baseline auch zu viel
|
||||
- : Pupille teilweise Verdeckt. Beide segmentieren mehr als Baseline (die ist aber fraglich). Current aber viel zu viel
|
||||
### C. Beide scheitern gemeinsam
|
||||
5. **GT leer, beide Predictions nicht leer**
|
||||
- frame_16773_o_14_s_1_qualitative, frame_253716_o_64_s_6_qualitative: Felher in GT?: es ist eine Pupille teilweise zu sehen, die von beiden Modellen gefunden wurde
|
||||
- frame_162669_o_97_s_4_qualitative: Beide haben quatsch segmentiert (unterschiedlichen)
|
||||
- frame_404747_o_4_s_9_qualitative: Beide haben die gleiche Stelle segmentiert, aber da ist nichts
|
||||
- Allgemein: Augen sind hier immer zu
|
||||
6. **GT nicht leer, beide Predictions leer**
|
||||
1. frame_0_o_67_s_1_qualitative: Pupille durch Wimpern verdeckt, beide nichts gefunden
|
||||
2. frame_1003_o_39_s_1_qualitative: Pupille eigentlich gut sichtbar
|
||||
3. frame_38105_o_115_s_1_qualitative: Extreme Störung durch unschärfe
|
||||
4. frame_59413_o_8_s_2_qualitative: Haut sehr hell, Iris dunkel
|
||||
5. frame_59414_o_128_s_2_qualitative: GT fehler
|
||||
- Allgemein: Eigentlich alle Bilder sind Extremfälle. Viele sind auch so stark verdeckt, dass sie im Traingsset als vollständig verdeck gewertet worden wären, Blur, starke Lichter
|
||||
7. **GT nicht leer, beide Predictions nicht leer, aber beide IoU = 0**
|
||||
- frame_405338_o_107_s_9_qualitative: Pupille schwer, aber beide haben die geliche Stelle falsch gefunden
|
||||
- frame_394685_o_116_s_8_qualitative: Pupille sichtbar (aber iris dunkel) beide haben verschiedene Stellen als Pupille flasch erkannt
|
||||
- Allgemein: Viel Verdeckung, ab und zu Schatten bzw. dunkle iris, manchmal Blur, Wimpern, teilweise Bilder, die nach unserem Schwellwert als nicht sichtbar gewertet worden wären
|
||||
### D. Schwere, aber nicht totale Fehler
|
||||
8. **beide Predictions vorhanden, mindestens ein Modell mit $0 < Dice < 0.5$** (schlecht)
|
||||
- frame_57561_o_96_s_2_qualitative: Beide gleich schlecht. Beide viel zu viel segmentiert
|
||||
- frame_92329_o_142_s_2_qualitative: Pupille teilweise verdeckt. Baseline gut, Current viel zu viel im nicht-sichtbaren Bereich segmentiert
|
||||
- frame_117725_o_18_s_3_qualitative: Die Pupille ist durch Wimpern zweigeteilt. Beide Modelle haben eine andere hälfte erkannt und segmentiert
|
||||
- frame_123762_o_35_s_3_qualitative: Die Pupille ist stark verdeckt und von Wimpern umgeben. Beide Modelle segmentieren viel zu viel
|
||||
- frame_136934_o_8_s_3_qualitative: Starker Schatten. Iris sehr dunkel. Baseline hat iris mit segmenteirt, current hat falsche Stelle segmentiert
|
||||
- Allgemein: viele schwere Bilder, Blur, Verdeckung, Schatten
|
||||
|
||||
@@ -0,0 +1,273 @@
|
||||
# Quellen:
|
||||
XX\[X1] __U2Eyes__ Sonia Porta, Benoît Bossavit, Rafael Cabeza, Andoni Larumbe-Bergera, Gonzalo Garde, and Arantxa Villanueva. U2Eyes: A Binocular Dataset for Eye Tracking and Gaze Estimation. In 2019 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pages 3660–3664. IEEE, 2019.
|
||||
👍\[X3] __GazeGene__: Large-scale Synthetic Gaze Dataset ... - CVF Open Access, Zugriff am März 27, 2026, [https://openaccess.thecvf.com/content/CVPR2025/papers/Bao_GazeGene_Large-scale_Synthetic_Gaze_Dataset_with_3D_Eyeball_Annotations_CVPR_2025_paper.pdf](https://openaccess.thecvf.com/content/CVPR2025/papers/Bao_GazeGene_Large-scale_Synthetic_Gaze_Dataset_with_3D_Eyeball_Annotations_CVPR_2025_paper.pdf)
|
||||
|
||||
👍\[X5] Why do we need high-fidelity synthetic eye movement data and how should they look like?, Zugriff am März 27, 2026, [https://www.biorxiv.org/content/10.64898/2025.12.11.692112v1.full-text](https://www.biorxiv.org/content/10.64898/2025.12.11.692112v1.full-text)
|
||||
\[X4] __LEyes__: A lightweight framework for deep learning-based eye tracking using synthetic eye images - PubMed, Zugriff am März 27, 2026,
|
||||
|
||||
|
||||
👍\[X6] __Swirski und Dodgson__ [University of Cambridge](https://www.cl.cam.ac.uk/research/rainbow/projects/eyerender/)
|
||||
|
||||
👍\[X2] __SynthesEyes__ Erroll Wood, Tadas Baltrušaitis, Xucong Zhang, Yusuke Sugano, Peter Robinson, and Andreas Bulling. Rendering of Eyes for Eye-Shape Registration and Gaze Estimation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV). IEEE, 2015.
|
||||
XX\[X7] SynthesEyes Dataset - Apollo - University of Cambridge, Zugriff am März 27, 2026, [https://www.repository.cam.ac.uk/items/f9464c88-5797-4f28-824c-10003a9704f7](https://www.repository.cam.ac.uk/items/f9464c88-5797-4f28-824c-10003a9704f7)
|
||||
|
||||
👍\[X8] __UnityEyes__ https://dl.acm.org/doi/10.1145/2857491.2857492, http://multicomp.cs.cmu.edu/wp-content/uploads/2017/09/2016_ETRA_wood_learning.pdf,
|
||||
👍\[X9] UnityEyes dataset: https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/tutorial.html
|
||||
|
||||
\[X10] __NVGaze__ https://dl.acm.org/doi/fullHtml/10.1145/3290605.3300780
|
||||
|
||||
👍\[X11] __RIT-Eyes__ https://arxiv.org/pdf/2006.03642
|
||||
XX \[X12] ein anderes __RIT-Eyes__ [https://arxiv.org/pdf/2006.03642](https://www.researchgate.net/publication/341830657_RIT-Eyes_realistically_rendered_eye_images_for_eye-tracking_applications)
|
||||
👍\[X13] __Temporal RIT-Eyes__ https://pubmed.ncbi.nlm.nih.gov/36044495/
|
||||
|
||||
\[X14] __Unity Eyes 2__ https://dl.acm.org/doi/10.1145/3715669.3726838
|
||||
\[X15] UnityEyes 2: Open source robust synthetic eye generation for camera-based eye tracking with machine learning - ETRA '25 - Conference Programs, Zugriff am März 27, 2026, [https://programs.sigchi.org/etra/2025/program/content/197866](https://programs.sigchi.org/etra/2025/program/content/197866)
|
||||
|
||||
|
||||
|
||||
|
||||
# Einleitung:
|
||||
Text von Jan:
|
||||
Der Einsatz synthetischer Daten in der Eye-Tracking-Forschung hat in den letzten Jahren deutlich an Bedeutung gewonnen (vgl. \[X1, X2]). Wichtige Gründe dafür sind unter anderem die begrenzte Verfügbarkeit realer Aufnahmen, die unter vollständig standardisierten Bedingungen entstanden sind, sowie der hohe manuelle Annotierungsaufwand, der bei großen Bilddatensätzen für beispielsweise Pupillen-, Iris- oder Lidsegmentierungen anfällt. Darüber hinaus spielen auch Datenschutz- und Ethikfragen eine Rolle, welche den Einsatz echter Augenaufnahmen einschränken können, insbesondere wenn es sich um sensible Probandengruppen handelt. Aus diesen Gründen haben mehrere Forschungsgruppen spezielle Frameworks entwickelt, um automatisiert große Mengen synthetischer Augenbilder zu erzeugen. Die angebotenen Methoden unterscheiden sich insbesondere im Grad ihrer Realitätsnähe (von stark abstrahiert bis fotorealistisch), im verwendeten Renderverfahren (Echtzeit vs. physikalisches Raytracing) sowie in ihrer Zielanwendung (Webcams, VR-Headsets, Spezialkameras etc.).
|
||||
|
||||
_Jammy:_
|
||||
Die Erfassung menschlicher Blickbewegungen hat sich in den letzten Jahrzehnten von einer spezialisierten Labortechnik zu einer Schlüsseltechnologie in der Mensch-Maschine-Interaktion, der Psychologie und der klinischen Diagnostik entwickelt. Der aktuelle Durchbruch in der Genauigkeit und Robustheit von Blickerfassungssystemen ist untrennbar mit dem Aufstieg des Deep Learnings verbunden. Neuronale Netze benötigen jedoch für das Training immense Mengen an annotierten Daten, die die gesamte Bandbreite menschlicher Anatomie, Kopfposen, Beleuchtungsszenarien und Hardwarekonfigurationen abdecken. Die manuelle Annotation realer Augenbilder ist ein extrem mühsamer, zeitaufwendiger und fehleranfälliger Prozess, der zudem durch datenschutzrechtliche Hürden wie die DSGVO erschwert wird.\[X5] In diesem Kontext hat sich die synthetische Datengenerierung als unverzichtbares Werkzeug etabliert. Durch den Einsatz von Computergrafik und physikalisch basierten Simulationen können Forscher heute Millionen von perfekt labelbaren Bildern erzeugen, die Merkmale enthalten, die in realen Aufnahmen unsichtbar bleiben, wie etwa die exakte Position des Augapfelzentrums oder die Geometrie der visuellen Achse.\[X3]
|
||||
|
||||
Die Entwicklung synthetischer Generatoren spiegelt dabei einen technologischen Reifungsprozess wider: von frühen, statischen Modellen, die primär auf visuellen Realismus setzten, hin zu hochdynamischen Frameworks, die physiologische Präzision, zeitliche Kohärenz und hardwarenahe Simulationen priorisieren. Während Systeme wie SynthesEyes den Weg für den fotorealistischen Transfer bereiteten, adressieren neuere Ansätze wie UnityEyes 2 und GazeGene die spezifischen Anforderungen von Augmented-Reality-Systemen und die Notwendigkeit, interne Augenstrukturen zu modellieren.\[X14]\[X3] Ein kritischer Diskurs in der aktuellen Forschung betrifft das Gleichgewicht zwischen der Komplexität des Renderings und der Generalisierbarkeit der Modelle. Hierbei konkurrieren fotorealistische Ansätze, die den "Sim-to-Real Gap" durch visuelle Treue minimieren wollen, mit abstrakten Methoden wie LEyes, die auf vereinfachte Lichtverteilungen setzen, um ein Overfitting auf synthetische Texturen zu vermeiden.\[X4]
|
||||
|
||||
_Gibbidy:_
|
||||
Synthetische Datengenerierung ist im Eye-Tracking-Kontext primär eine Antwort auf zwei gekoppelte Engpässe: (i) die Kosten/Komplexität, große Mengen diverser Eye-Images zu erfassen, und (ii) die Schwierigkeit, präzise Ground-Truth-Annotationen für Augenregionen zuverlässig zu erhalten. Photorealistische Renderpipelines adressieren diese Engpässe typischerweise, indem sie eine kontrollierbare 3D-Augen-/Periorbitalmodellierung mit einem Rendering-Setup verbinden, sodass Labels „perfekt“ aus der Szene (Geometrie, Pose, Optik) ableitbar sind\[X2].
|
||||
|
||||
Für dieses Related-Work-Unterkapitel ist die Generator-/Pipeline-Perspektive zentral: Welche Bildtypen werden erzeugt, welche Parameterachsen werden modelliert und randomisiert, welche Labels fallen als Nebenprodukt an, und welche methodisch-technischen Grenzen ergeben sich aus den Modellannahmen. Entsprechend stehen hier (a) Synthese-Mechanik und (b) Variationsräume im Vordergrund – nicht die spätere Modellarchitektur oder die konkrete Sim-to-Real-Leistung.
|
||||
|
||||
Die im Folgenden behandelten „Kernpipelinen“ markieren dabei eine klare Entwicklungslinie: von photorealistischen, offline gerenderten Trainingsdaten mit starker Kontrolle (SynthesEyes), über Echtzeit-Synthese in großer Skalierung (UnityEyes), hin zu hardware-näheren near-eye/IR-Renderpipelines mit reicheren physiologischen Details (RIT-Eyes) und schließlich zu bewusst abstrahierten Generatoren, die nur noch die für Video-Eye-Tracking entscheidenden Bildmerkmale modellieren (LEyes).
|
||||
# Photorealistische Pipelines
|
||||
## Swirski & Dodgson
|
||||
_Claudibum:_
|
||||
The modern pipeline lineage begins with **Świrski & Dodgson (2014)**, who first applied physically-based rendering to generate synthetic eye images for eye tracker evaluation. Their system used **Blender's Cycles path tracer** with a single public-domain head model, rendering corneal refraction, adjustable LED glints, and eyelid/pupil variation. \[X6] Ground truth included pupil contour ellipses, glint locations, and gaze vectors. \[X6] Though limited to one head model (white male), a spherical cornea, and no bright-pupil imaging, this work established the template — Blender-based path tracing with scripted parameter variation — that all subsequent photorealistic pipelines would follow.
|
||||
|
||||
## SynthesEyes
|
||||
_Claudibum:_
|
||||
**SynthesEyes** (Wood et al., ICCV 2015) expanded this approach to **10 high-quality head scans** \[X2] from Ten24's 3D Scan Store (0.1 mm geometry, 10K diffuse textures), each manually retopologized in ZBrush to ~9,005 polygons with edge loops following exterior eye muscles. The two-part eyeball model used a transparent refractive outer shell (corneal index n = 1.376) over an opaque inner surface carrying iris and sclera textures. Skin used physically-based subsurface scattering. Rendering at **150 rays per pixel** produced photorealistic output at **120 × 80 px** in **5.26 seconds per image** on an NVIDIA GTX 660. \[X2] Randomization covered gaze direction (constrained to ±25° pitch, ±35° yaw per MIL-STD-1472G), head pose (40° total via spherical camera placement), four HDR environment maps with random rotation and intensity scaling, four iris colors, three sclera tints, and blend-shape-driven pupil dilation and eyelid pose. \[X2] The pipeline produced **28 eye-region landmarks** (12 eyelid, 8 iris, 8 pupil) in both 2D and 3D, plus gaze vectors and head pose matrices \[X2] — targeting eye-shape registration and appearance-based gaze estimation. Key limitations included the labor-intensive per-model manual preparation, slow rendering (approximately two months for one million images), only 10 identity models, and no modeling of glasses, makeup, or emotion-related deformations. \[X2] Cross-dataset evaluation revealed a substantial **domain gap** (13.91° vs. 6.33° on MPIIGaze). \[X2]
|
||||
|
||||
|
||||
_Jammy:_
|
||||
Mit der Vorstellung von SynthesEyes durch Wood et al. wurde demonstriert, dass synthetische Daten nicht nur eine Notlösung für fehlende reale Daten sind, sondern diese in der Leistungsfähigkeit sogar übertreffen können, wenn sie mit ausreichender geometrischer und visueller Präzision erzeugt werden.\[X7] Das fundamentale Problem früherer lernbasierter Ansätze war, dass die Modelle stark von der Verteilung der Trainingsdaten abhingen. Wenn die Testumgebung – etwa durch eine andere Beleuchtung oder extremere Kopfposen – von den Trainingsdaten abwich, sank die Genauigkeit drastisch.\[X2] SynthesEyes adressierte dies durch eine Pipeline, die auf hochauflösenden 3D-Kopfscans basierte.
|
||||
|
||||
Die technische Realisierung von SynthesEyes stützte sich auf die Rekonstruktion von zehn detaillierten Modellen der Augenregion, die aus Scans von fünf männlichen und fünf weiblichen Probanden gewonnen wurden.\[X7] Diese Scans, die ursprünglich über 1,4 Millionen Polygone umfassten, wurden in einem aufwendigen Prozess retopologisiert, um sie für die Animation nutzbar zu machen, während gleichzeitig durch Displacement-Maps die feinen Oberflächendetails der Haut erhalten blieben.\[X2] Ein wesentlicher Fortschritt war die Integration von Image-Based Lighting (IBL), wodurch die synthetischen Augenmodelle realistische Reflexionen der Umgebung zeigten. Dies ist entscheidend, da das menschliche Auge als hochgradig spiegelnde Oberfläche fungiert und die korrekte Modellierung dieser Reflexionen für die Extraktion von Merkmalen wie dem Hornhautreflex unerlässlich ist.\[X2]
|
||||
|
||||
### Randomisierung und Annotationsumfang in SynthesEyes
|
||||
|
||||
Die Stärke von SynthesEyes lag in der kontrollierten Variabilität. Da das Modell in einer virtuellen Umgebung existierte, konnten Forscher Parameter manipulieren, die in der Realität schwer zu isolieren sind.
|
||||
|
||||
| | | |
|
||||
|---|---|---|
|
||||
|Parameter-Kategorie|Spezifische Variationen|Zweck der Randomisierung|
|
||||
|Kopfpose|Rotation in 3 Dimensionen ($3 \times 3$ Matrix)|Robustheit gegenüber Bewegungen des Nutzers|
|
||||
|Blickrichtung|Vollständige Hemisphäre der Blickvektoren|Abdeckung extremer Blickwinkel|
|
||||
|Beleuchtung|Variable HDR-Umgebungen (Indoor/Outdoor)|Invarianz gegenüber Lichtquellenwechseln|
|
||||
|Textur|Hauttöne und Iris-Farbvariationen|Modellierung ethnischer Vielfalt|
|
||||
\[X7]
|
||||
|
||||
Die Annotationen von SynthesEyes gingen weit über einfache Blickvektoren hinaus. Jedes generierte Bild enthielt 2D- und 3D-Landmarks für die Augenlider, die Iris und die Pupille im Kameraraum.\[X7] Diese Detailtiefe erlaubte es, Modelle nicht nur für die Blickrichtungsschätzung, sondern auch für die Registrierung der Augenform zu trainieren, was wiederum die Genauigkeit der Blickerfassung in schwierigen Szenarien ("In-the-wild") verbesserte.\[X2] Trotz dieses Erfolgs blieb SynthesEyes durch die geringe Anzahl an Basis-Gesichtsmodellen limitiert, was die Frage aufwarf, wie eine noch größere Vielfalt an Augenformen effizient generiert werden kann.
|
||||
|
||||
_Gibbidy:_
|
||||
SynthesEyes (ICCV 2015) wird typischerweise als „photorealistische“ Pipeline eingeordnet, weil sie (a) hochwertige 3D-Head-Scans in dynamische Eye-Region-Modelle überführt und (b) die Beleuchtung über image-based lighting mit HDR-Environment-Maps modelliert. Die Synthese ist explizit kontrolliert und als Parameterraum formuliert: Für jedes Render wird eine Kameraposition, ein Blickvektor, eine Lichtumgebung und eine Eye-Model-Konfiguration festgelegt.\[X2]
|
||||
|
||||
**Die Modellvorbereitung** zielt darauf, die Augenregion als „deformierbares“ Teilgebiet einer (retopologisierten) Scan-Geometrie zu behandeln. Die Pipeline beschreibt u. a. retopologisierte Low-Poly-Geometrie, die per Displacement die hochfrequenten Scan-Details wiederherstellt, sowie physikalisch inspirierte Hautmaterialien (z. B. subsurface scattering und Glossy-Anteile), um realistische Haut-/Augenoberflächen zu approximieren. Diese Modellierungsentscheidung ist wichtig, weil sie SynthesEyes’ Realismus insbesondere bei periorbitalen Mikrostrukturen (Falten, Hautglanz) stützt, gleichzeitig aber den Aufwand in Modellbau und Rendering hoch hält.\[X2]
|
||||
|
||||
**Die Variationsachsen** sind im Paper sehr klar operationalisiert. Kamera-/Kopfpose wird über sphärische Koordinaten um das Auge gesampelt (als Kamera-Position um das Eyeball-Zentrum), Blickrichtung über Pitch/Yaw-Winkelbereiche variiert, und anatomische Plausibilitätsgrenzen werden über Winkelconstraints und Sichtbarkeitsprüfungen (z. B. Pupillenzentrum innerhalb der Lidlandmark-Grenze) abgesichert. Beleuchtungsvariation entsteht durch Wahl einer HDR-Umgebung, deren Rotation und globale Intensität randomisiert werden, sodass aus wenigen Umgebungen ein breites Spektrum an Erscheinungsbildern entsteht.\[X2]
|
||||
|
||||
**Die Annotationen** sind ein Kernargument der Pipeline: SynthesEyes annotiert die Eye-Region im Modell einmal in 3D mit 28 Landmarken (12 Lidlandmarks, 8 Iris- und 8 Pupillenlandmarks) und projiziert diese bei jedem Render per Kameraprojektion in 2D. Dadurch entstehen konsistente, dichte Landmark-Sets, die sich direkt als Trainings- oder Evaluationslabels nutzen lassen, ohne menschliche Label-Varianz.\[X2] Ergänzend dokumentiert die veröffentlichte Dataset-Beschreibung die gespeicherten Labelstrukturen pro Bild sehr konkret: Bilder werden mit look_vec (3D gaze in camera space), head_pose (Rotation world→camera) sowie 2D/3D-Landmarks für Lid/Iris/Pupille gespeichert.\[X2]
|
||||
|
||||
|
||||
**Skalierung, Realismus und Grenzen** ergeben sich aus den gewählten Designentscheidungen: SynthesEyes rendert mit Blender Cycles (Path Tracing) und definiert damit einen hohen photometrischen Anspruch, ist aber damit deutlich weniger „throughput-orientiert“ als spätere Echtzeitgeneratoren. In der ICCV-Publikation wird außerdem sichtbar, dass bestimmte Phänomene nicht vollständig abgedeckt sind (z. B. fehlende echte closed-eye Renderings; eingeschränkte Mimik-/Emotion-Deformationen wie brow-furrowing/squinting/eye-widening). Das ist generatorisch relevant, weil damit eine Lücke zwischen „Kontrollierbarkeit“ (Pose/Licht) und „vollständiger physiologischer Bildvarianz“ bleibt.\[X2]
|
||||
|
||||
In Summe steht SynthesEyes prototypisch für die photorealistische, kontrollierbare Renderpipeline: realistische Beleuchtung und Geometrie werden als zentrale Variationsachsen priorisiert, und die Labels entstehen aus dem 3D-Modell (Landmarks + gaze/head pose), wodurch die Pipeline besonders gut für Aufgaben ist, die explizite Landmark-/Geometrie-Ground-Truth benötigen.\[X2]
|
||||
|
||||
## UnityEyes
|
||||
_Claudibum:_
|
||||
**UnityEyes** (Wood et al., ETRA 2016) was explicitly designed to overcome three SynthesEyes bottlenecks: slow rendering, limited identity variation, and manual per-model rigging. By switching to **Unity 5.2's real-time rasterizer**, it achieved **23 ms per image** (3.6 ms rendering, remainder I/O) — a **200× speedup** — at a higher resolution of **400 × 300 px**. \[X8] The central innovation was a **PCA-based generative morphable eye region model**: all 20 head scans were registered to a single 229-vertex topology, and principal component analysis yielded a continuous shape space from which infinite novel eye regions could be sampled (s(α) = μ + U·diag(σ)·αᵀ, α ∼ N(0, I)). The first principal component captured the hooded-versus-protruding eye axis. \[X8] Eyelid animation became fully procedural — anatomically-inspired geometric rotations with pivot interpolation and shrinkwrapping to the eyeball surface — eliminating manual blend shapes. \[X8] Corneal refraction was approximated via a fragment shader texture offset rather than true ray tracing, and skin used a pre-integrated scattering shader. \[X8]UnityEyes randomized eye region shape (PCA), 20 skin textures, iris photo-textures, iris width, pupil size, gaze (±30° default, user-configurable), head pose (±30°), **20 HDR panoramas** (vs. 4 in SynthesEyes) with random rotation and exposure, plus a random directional light. \[X8] Labels included interior margin, caruncle, and iris landmarks, gaze vectors, pupil/iris size, and head pose in JSON format. \[X9] Over **one million images** were generated in under 12 hours. \[X8]Despite lower per-image photorealism, UnityEyes achieved marginally **better gaze estimation** than SynthesEyes (9.95° vs. 10.09° on MPIIGaze with k-NN) because dataset scale and shape diversity compensated for rendering fidelity\[X8] — a result that shaped subsequent thinking about the photorealism-versus-scale trade-off.
|
||||
|
||||
_Jammy:_
|
||||
Um den Bedarf an noch größeren Datensätzen zu decken – oft im Bereich von Millionen von Bildern –, entwickelten Wood et al. (2016) das UnityEyes-Framework. Der Fokus verschob sich hierbei von der manuellen Aufbereitung von Scans hin zu einer hochgradig automatisierten und prozeduralen Generierung in der Unity3D-Engine.\[X8] UnityEyes ermöglichte eine Synthesegeschwindigkeit, die etwa 200-mal schneller war als bei SynthesEyes, was die Erzeugung von Datensätzen mit einer Million Bildern in kürzester Zeit möglich machte.\[X8]
|
||||
|
||||
Ein technologisches Highlight von UnityEyes ist die Verwendung anatomisch inspirierter prozeduraler Geometriemethoden für die Animation der Augenlider. Bei der Bewegung des Augapfels verformen sich die umgebenden Gewebeschichten nicht statisch, sondern folgen komplexen biomechanischen Mustern. UnityEyes implementierte Regeln, die sicherstellten, dass das Augenlid den Konturen der Hornhaut folgt, was besonders bei extremen Blickwinkeln oder fast geschlossenen Augen entscheidend ist, um realistische Verdeckungen der Pupille zu simulieren.\[X8]
|
||||
|
||||
### Die Balance zwischen Vielfalt und Effizienz
|
||||
|
||||
In UnityEyes wird die Augenregion als ein statistisch abgeleitetes 3D-Modell begriffen. Durch das Sampling von Koeffizienten aus einem Prior-Modell können nahezu unendlich viele verschiedene Augenformen generiert werden.[13] Dies adressiert das Problem der anatomischen Vielfalt wesentlich effektiver als die zehn statischen Modelle von SynthesEyes.
|
||||
|
||||
| | | |
|
||||
|---|---|---|
|
||||
|Merkmal|Implementierung in UnityEyes|Methodik|
|
||||
|Generative Geometrie|Variation der Augenhöhlen- und Lidform|Statistisches Morphable Model|
|
||||
|Echtzeit-Rendering|Schnelle Bildsynthese (> 80 fps)|Unity3D Shader & Material-Approximation|
|
||||
|Lid-Dynamik|Blickkoordinierte Lidbewegung|Prozedurale Vertex-Deformation|
|
||||
|Datenreichtum|36 Landmark-basierte Features|Automatisierte Label-Extraktion|
|
||||
\[X8]
|
||||
|
||||
Ein wesentliches Ergebnis der Forschung mit UnityEyes war die Erkenntnis, dass Modelle, die auf diesen synthetischen Daten trainiert wurden, selbst in Szenarien mit extremen Blickwinkeln oder bei fast vollständiger Verdeckung der Pupille ("occlusion") konkurrenzfähige Ergebnisse lieferten.\[X8] Die Skalierbarkeit erlaubte es zudem, den Einfluss von Rauschen und Bildunschärfe systematisch zu untersuchen, indem diese Effekte während des Renderings künstlich hinzugefügt wurden. Dennoch blieb auch UnityEyes ein Modell der äußeren Erscheinung, das die interne optische Komplexität des Auges, wie etwa die Lichtbrechung in der Hornhaut, nur vereinfacht darstellte.
|
||||
|
||||
[13] Synthesized eye shapes given eye gaze. (a) Different eye shapes with... - ResearchGate, Zugriff am März 27, 2026, [https://www.researchgate.net/figure/Synthesized-eye-shapes-given-eye-gaze-a-Different-eye-shapes-with-same-frontal-gaze_fig2_329750732](https://www.researchgate.net/figure/Synthesized-eye-shapes-given-eye-gaze-a-Different-eye-shapes-with-same-frontal-gaze_fig2_329750732)
|
||||
|
||||
|
||||
_Gibbidy:_
|
||||
UnityEyes (ETRA 2016) adressiert unmittelbar eine andere Optimierungsfunktion als SynthesEyes: nicht Maximierung photorealistischer Offline-Qualität, sondern **schnelle Generierung sehr großer Datenmengen** bei weiterhin hoher Variabilität in Blick, Pose und Erscheinung. In der Projektbeschreibung wird UnityEyes als Kombination aus einem generativen 3D-Eye-Region-Modell (abgeleitet aus hochauflösenden Face-Scans) und einem Echtzeit-Rendering-Framework charakterisiert; explizit genannt werden Echtzeit-Approximationen komplexer Eyeball-Materialien/Strukturen sowie anatomisch inspirierte prozedurale Geometrie für Lidanimation.\[X8]
|
||||
|
||||
Generatorisch besonders relevant ist UnityEyes’ **„Automatic Mode“ als Parametrisierungsschnittstelle**: Nutzer:innen geben Winkelbereiche für Kamera (Head Pose/Camera Angle Range) und Eyeball Pose Range an, während das Tool kontinuierlich randomisierte Samples aus diesen Bereichen erzeugt. Zudem werden Face-/Eyeball-Appearance und Beleuchtung über Hotkeys („randomize face and eyeball appearance“, „randomize illumination“) gezielt randomisiert, sodass die Pipeline klar zwischen geometrischen (Pose) und photometrischen (Licht/Aussehen) Variationsknöpfen trennt.\[X9]
|
||||
|
||||
Mindestens ebenso wichtig wie die Renderstrategie ist UnityEyes’ **Metadaten- und Label-Design**. Für jedes Bild wird eine zugehörige JSON-Datei erzeugt, die mehrere Landmark-Gruppen und Zustandsparameter enthält. Dokumentiert sind unter anderem: 2D-Landmarks für interior margin, caruncle (Eye-Corner) und Irisgrenze in Screen-Space; ein optischer Achsen-/Blickvektor (look_vec) in Kamera-Koordinaten; Head Pose als Euler-Rotation zwischen Kamera- und Welt-/Kopfbezug; Parameter wie pupil_size, iris_size, iris_texture sowie lighting_details und eye_region_details, wobei Letzteres explizit als „Shape PCA details“ beschrieben wird\[X9]
|
||||
|
||||
Diese Labelauswahl spiegelt UnityEyes’ Positionierung wider: Die Pipeline ist nicht primär eine „Segmentmaskenfabrik“, sondern ein Eye-Region-Generator, dessen Labels vor allem **Geometrie-/Poseparameter und Landmark-Information** adressieren – passend zur ursprünglichen Zielsetzung, große, variierte Eye-Region-Bildmengen für appearance-based gaze estimation bereitzustellen. Gleichzeitig ist die Existenz von eye_region_details (Shape PCA) aus Pipeline-Sicht ein Hinweis darauf, dass UnityEyes zwar Formvariation modelliert, diese aber vorrangig als „Variabilitätsquelle“ im Generator integriert ist und weniger als expliziter Forschungsgegenstand (z. B. stabile interindividuelle Morphologieparameter).\[X9]
|
||||
|
||||
Insgesamt markieren UnityEyes und UnityEyes 2 eine Generatorfamilie, die photorealistische Annäherung und hohe Kontrolldichte nicht durch Offline-Path-Tracing verfolgt, sondern durch **(i) Echtzeit-Rendering**, (ii) **parametrisierte „Range“-Schnittstellen** und (iii) **reiches Metadaten-Logging** pro Sample. Genau diese Kombination ist in Eye-Tracking-Forschung praktisch attraktiv, weil sie große Datensätze mit strukturierten Labels erzeugt, ohne den Modellierungs-/Renderingaufwand von SynthesEyes im selben Maß zu tragen.\[X9]
|
||||
|
||||
## NVGaze
|
||||
_Claudibum:_
|
||||
**NVGaze** (Kim et al., CHI 2019) from NVIDIA extended the SynthesEyes Blender pipeline with several anatomically critical corrections. The eye model was updated to a **24 mm diameter eyeball** with a **7.8 mm corneal apex radius**, and crucially introduced the **~5° visual-pupillary axis disparity** and a nasal-superior **pupil constriction shift** (up to 0.25 mm) that occur in real eyes.\[X10] Materials were calibrated for **monochromatic 950 nm infrared** imaging, including corneal index n = 1.38.\[X10] Eyelid kinematics followed the empirical 4:1 upper-to-lower lid travel ratio.\[X10] Four simulated IR LEDs produced corneal glints, and random camera slip modeled headset movement. Using 10 face models (diverse in gender, age, ethnicity), the pipeline randomized gaze, pupil diameter (2–8 mm), eyelid positions, iris rotation, and skin tone augmentation. At **1280 × 960 px** with full path tracing, each image required approximately **30 seconds**, making the full **2 million-image dataset** equivalent to roughly **3.8 GPU-years** — rendered in about one week on an NVIDIA multi-GPU cluster. \[X10] NVGaze produced two segmentation maps (one standard with skin/pupil/iris/sclera/glints, one without face geometry for pixel-accurate labels under eyelid occlusion), 2D and 3D gaze and pupil coordinates, and blink labels. \[X10] Ablation studies confirmed measurable improvements from the anatomical corrections: the eye model geometry fix, IR texture adjustment, and pupil center shift each contributed to reducing gaze estimation error \[X10] (achieving **2.06° ± 0.44°** on held-out real subjects with mixed training).\[X10] Limitations included no myopic eyeball elongation, no crystalline lens, and no Listing's Law compliance for eyeball rotation. [\[X10]
|
||||
|
||||
|
||||
## RIT-Eyes
|
||||
_Claudibum:_
|
||||
**RIT-Eyes** (Nair, Kothari et al., SAP 2020; earlier ETRA 2020 abstract) pursued the most comprehensive anatomical modeling of any open pipeline. Built on **Blender 2.8 Cycles** at **200 rays per pixel**, it used **24 head models** from 3DScanStore with 8K color maps. \[X11] Its eye model introduced several features absent from all predecessors: an **aspherical cornea** parameterized as a spheroid with asphericity Q drawn from three values (−0.130, −0.250, −0.370, spanning the population distribution around the mean of −0.250); \[X11] a **deformable iris** with actual pupil aperture (not an opaque disc) causing realistic iris texture deformation during dilation; \[X11] **retinal retroreflection** following a Beckmann distribution to simulate the bright-pupil effect when IR source and camera axis are within ~2.25°; an explicit **lacrimal caruncle**; a **tear film** with glossy and transparent shader properties; \[X11] and gaze-coordinated **eyelid deformation** via Blender's wrapping function with closure approximated as a linear function of vertical eye rotation.\[X11] Half of all images included **reflective eyeglasses** (though without refraction — only reflection). Randomization covered gaze (±30° in azimuth and elevation), pupil aperture radius (1–4 mm uniform), corneal asphericity, 9 IR iris textures with random rotation, 25 HDR environment maps (9 indoor, 16 outdoor from HDRI Haven) with ±50% intensity variation and multi-axis rotation, camera distance (2.5–4.5 cm), and eyelid state (including fully closed images). \[X11] Three dataset variants were rendered (S-NVGaze, S-OpenEDS, S-General) totaling **154,800 images** at 640 × 480 or 400 × 640 px, mimicking different real hardware configurations. \[X11] Labels comprised **pixel-level segmentation masks** (pupil, iris, sclera, background), 2D/3D eye feature centers, and eye pose. \[X12] The feature comparison table in the paper shows RIT-Eyes as the only pipeline simultaneously offering aspherical cornea, retroreflection, segmentation masks, both IR and RGB rendering, reflective eyewear, lacrimal caruncle, and variable eyelids — at the cost of real-time capability. Notable limitations include only **one sclera texture** (causing poor sclera segmentation generalization), no refraction through eyeglasses, no eye makeup, and a persistent sim-to-real gap (mIoU dropping from >95 within synthetic to 73–86 cross-domain). \[X11] A follow-up, **Temporal RIT-Eyes** (Chaudhary et al., IEEE TVCG 2022), extended the pipeline to generate temporally contiguous gaze behavior sequences rather than i.i.d. frames. \[X13]
|
||||
|
||||
|
||||
_Jammy:_
|
||||
Einen bedeutenden Schritt in Richtung einer höheren biologischen Validität markierte das RIT-Eyes-Projekt des Rochester Institute of Technology. Während UnityEyes auf die breite Masse an Daten setzte, fokussierte sich RIT-Eyes auf die präzise physikalische Modellierung der optischen Komponenten des Auges, was besonders für die Video-Oculographie (VOG) im Infrarotbereich von Bedeutung ist.\[X12]
|
||||
|
||||
Die Entwickler von RIT-Eyes argumentierten, dass herkömmliche Modelle, die die Hornhaut als einfache Kugel betrachten, die Realität verzerren. In der menschlichen Physiologie ist die Hornhaut (Kornea) ein asphärisches Element mit individuellen Krümmungsvariationen. RIT-Eyes modellierte die Hornhautoberfläche als Sphäroid basierend auf der Gleichung:
|
||||
|
||||
$$x^2 + y^2 + (1 + Q)z^2 - 2Rz = 0$$
|
||||
|
||||
Dabei repräsentiert $Q$ die Asphärizität und $R$ den Krümmungsradius.\[X11] Durch das systematische Variieren von $Q$-Werten (zwischen $-0,13$ und $-0,37$) konnte RIT-Eyes Datensätze erzeugen, die die natürliche Streuung der menschlichen Hornhautform abbilden, was für die präzise Berechnung der visuellen Achse entscheidend ist.\[X11]
|
||||
|
||||
### Komplexe Licht-Gewebe-Interaktionen
|
||||
|
||||
Zusätzlich zur geometrischen Präzision führte RIT-Eyes fortschrittliche Rendering-Features ein, die die Bildqualität im Vergleich zu reinen Grafik-Engines deutlich steigerten:
|
||||
|
||||
- Deformierbare Iris und Pupillenapertur: Die Pupille wurde nicht als schwarzer Kreis gerendert, sondern als physische Öffnung in der Iris. Wenn sich die Pupille verengt oder weitet (simuliert zwischen $1$ mm und $4$ mm Radius), verformt sich die umgebende Iris-Textur physikalisch korrekt.\[X12]
|
||||
|
||||
- Tränenfilm-Simulation: Die Modellierung einer glänzenden, transparenten Schicht auf der Augapfeloberfläche ermöglichte die Erzeugung realistischer und komplexer Reflexionen der Umgebung, was die Robustheit von Algorithmen gegenüber Störlichtern verbessert.\[X11]
|
||||
|
||||
- Retinale Retro-Reflexion: Das System simuliert den Effekt, bei dem Licht vom Augenhintergrund zurückgeworfen wird, was besonders für "Bright-Pupil"-Tracking-Systeme relevant ist.\[X12]
|
||||
|
||||
|
||||
Ein weiterer Meilenstein war die Erweiterung zu "__Temporal RIT-Eyes__". Viele aktuelle Eye-Tracking-Algorithmen nutzen zeitliche Informationen (z. B. durch RNNs), um Sakkaden und Fixationen zu unterscheiden. Temporal RIT-Eyes nutzt reale Blickdaten, um zeitlich kohärente Sequenzen zu rendern, inklusive realistischer Blinzelvorgänge und blickabhängiger Lidbewegungen, die aus Infrarot-Videos extrahiert wurden.\[X13] Damit bietet RIT-Eyes nicht nur Einzelbilder, sondern eine Testumgebung für die gesamte Dynamik des menschlichen Blickverhaltens.
|
||||
|
||||
_Gibbidy:_
|
||||
Quelle: \[X11]
|
||||
RIT-Eyes (2020) positioniert sich explizit als „synthetic eye image generation platform“ für near-eye Eye-Tracking-Anwendungen und als Weiterentwicklung früherer photorealistischer Renderpipelines, indem es gezielt „eye tracker relevante“ physiologische und bildgebende Details ergänzt: deformierbare Iris, asphärische Cornea, retinal retro-reflection (bright pupil), gaze-koordinierte Lid-Deformationen und Blinzeln.
|
||||
|
||||
Generatorisch lässt sich RIT-Eyes als **„physik-/hardware-informierte“ Path-Tracing-Pipeline** lesen. Die Pipeline nutzt Blender (v2.8) und Blender Cycles (Path Tracing) und koppelt (a) 3D-Head-Assets mit (b) einem eigenentwickelten Augenmodell. Zur Variation werden zahlreiche Parameter gezielt uniform oder diskret randomisiert: Pupillenöffnung wird als Apertur modelliert und über einen Bereich von 1 mm bis 4 mm Radius uniform verteilt; Cornea-Topographie wird als asphärische Sphäroidvariante mit mehreren Asphärizitätswerten modelliert; Iris- und Sklera-Texturen erhalten Random-Rotationen zur Varianzsteigerung.
|
||||
|
||||
Ein wesentlicher Pipeline-Aspekt ist außerdem RIT-Eyes’ **Reflexions- und Umgebungsmodellierung**: Die Arbeit beschreibt HDR-Environment-Mapping (sphärische Projektion um das Augenmodell) als Mechanismus, um reflexionsreiche, realitätsnahe Muster auf der Augenoberfläche zu erzeugen, und nutzt eine Sammlung von HDR-Umgebungen, deren Intensität skaliert und deren Rotation variiert wird, um je Render ein anderes Reflexionsmuster zu induzieren. Dazu passt die explizite Modellierung eines Tränenfilms als glossy/transparente Schicht, um plausible Environment-Reflexionen auf der Augenoberfläche zu erzeugen.
|
||||
|
||||
RIT-Eyes modelliert außerdem **IR-spezifische Bildwelten**: Beispielabbildungen und Beschreibung zeigen, dass neben RGB auch simulierte IR-Renderings erzeugt werden, und dass Pixel-Level-Semantiklabels (Segmentation) für Pupille, Iris und Sclera bereitgestellt werden. Entscheidend ist hier, dass RIT-Eyes nicht nur „ein“ synthetisches Dataset generiert, sondern mehrere Render-Sammlungen, die die Eye/Camera/Emitter-Geometrie bestimmter Referenzdatensätze bzw. Geräte nachbilden: zwei Sammlungen orientieren sich an NVGaze und OpenEDS, eine dritte („S-General“) soll eine breitere Verteilung möglicher Kamera-Posen in einem Wearable-Tracker abdecken.
|
||||
|
||||
Aus Generatorperspektive sind RIT-Eyes’ Outputformate besonders relevant: Jede gerenderte Sample-Familie enthält Ground-Truth-Masken für sclera/iris/pupil und – zur Unterstützung von Evaluations-/Ablationsszenarien – Varianten „mit und ohne Haut“. Zusätzlich wird „Metadaten-Logging“ explizit erwähnt, u. a. 2D- und 3D-Zentren verschiedener Augenfeatures relativ zur Kamera, Eye Pose in Grad sowie die Kamera-Intrinsicsmatrix. Damit liefert RIT-Eyes bereits auf Generatorseite einen Teil der Hardware-/Geometrieinformationen, die in späteren Kapiteln typischerweise als „Domain“-Parameter in Sim-to-Real-Diskussionen auftauchen, ohne diese Diskussion hier auszurollen.
|
||||
|
||||
Die Grenzen von RIT-Eyes werden in der Arbeit ebenfalls sichtbar und sind pipeline-seitig interpretierbar: Brillen werden zwar als reflektierende Objekte gerendert, aber ohne refraction; Make-up-Effekte werden nicht modelliert; auch wird eingeräumt, dass das Augenmodell trotz Erweiterungen weiterhin vereinfacht ist und weitere physikalische/biometrische Detailmodelle integrierbar wären. Als Konsequenz ist RIT-Eyes besonders stark darin, „eye tracker spezifische“ Effekte (IR, Glints, Brillenreflexe, asphärische Cornea/Bright pupil) systematisch in den Generator zu bringen, bleibt aber aufgrund notwendiger Modellvereinfachungen und Asset-Beschränkungen in der vollständigen Abdeckung realer Bildstatistik limitiert.
|
||||
|
||||
## UnityEyes 2
|
||||
_Claudibum:_
|
||||
**UnityEyes 2** (Smith et al., ETRA 2025) is an open-source successor \[X14] (MIT license, GitHub) to the original UnityEyes, rebuilt for modern eye-tracking hardware diversity.\[X14] The core advance is **full camera model configurability**: pinhole perspective cameras with user-specified intrinsics (f_x, f_y, c_x, c_y, w, h) and 6-DOF extrinsics, calibratable from real hardware using standard OpenCV toolboxes. A novel **camera array motion center** allows multiple cameras to be defined as child transforms of a shared reference point with 6-DOF noise, simulating realistic head-device relative motion. Multi-camera setups generate **synchronized views** of the same eye state.\[X14]Configuration is managed through **JSON files** for reproducible batch generation, with a GUI for rapid prototyping. \[X14] Rendering speed reaches **85.7 images per second** on an M3 Max MacBook Pro (comparable to the original UnityEyes' 82.0 img/s). Labels include 2D pupil center, normalized optical axis vector, and 3D eye globe center. \[X14] In a demonstrated robotic eye-alignment application with three cameras, UnityEyes 2's camera-specific training reduced mean pixel error by **76%** compared to generic UnityEyes training (7.4 ± 5.0 vs. 30.8 ± 38.4 pixels). \[X14] The system remains a work in progress: custom face/environment distributions, a Python API, and advanced light types are planned but not yet implemented. \[X14]
|
||||
|
||||
_Jammy:_
|
||||
Die neuesten Entwicklungen wie UnityEyes 2 und GazeGene adressieren die spezifischen Herausforderungen moderner Blickerfassungsanwendungen, insbesondere im Bereich der Head-Mounted Displays (HMD) und der biometrischen Forschung.\[X15] Während frühere Generatoren oft eine ideale Kamera direkt vor dem Auge annahmen, liegt der Fokus nun auf extremen Kameraperspektiven und der Modellierung interner Augenstrukturen.
|
||||
|
||||
### UnityEyes 2: Kamera-spezifische Anpassung und GUI-Integration
|
||||
|
||||
UnityEyes 2 wurde entwickelt, um die "Sim-to-Real"-Lücke durch eine präzise Simulation der Hardware-Konfiguration zu schließen. Es erlaubt die exakte Eingabe von intrinsischen (Brennweite, optisches Zentrum) und extrinsischen Kameraparametern (Position und Rotation relativ zum Auge).6 Dies ist besonders wichtig für AR-Brillen, bei denen die Kameras oft schräg unter dem Auge platziert sind und das Auge aus einer stark verzerrten Perspektive ("off-axis") betrachten.\[X14]
|
||||
|
||||
Ein wesentliches Merkmal von UnityEyes 2 ist die Unterstützung von Multi-Kamera-Setups. Das System kann gleichzeitig Bilder für mehrere Kameras generieren, die auf dasselbe Auge gerichtet sind, was für die Entwicklung von 3D-Rekonstruktionsalgorithmen unerlässlich ist.\[X14] Durch eine grafische Benutzeroberfläche können Forscher zudem schnell Prototypen von Datenverteilungen erstellen und evaluieren, wie sich Änderungen in der Hardware-Anordnung auf die Vorhersagegenauigkeit auswirken.\[X15]
|
||||
|
||||
|
||||
|
||||
_Gibbidy:_
|
||||
|
||||
**Ausblick: UnityEyes 2.** Eine neuere Weiterentwicklung ist UnityEyes 2 (ETRA 2025), die den Generator explizit in Richtung hardware-/kameraspezifischer Datengenerierung erweitert: Statt „vordefinierter“ oder nur grob steuerbarer Kamerakonfigurationen unterstützt UnityEyes 2 die Spezifikation von Verteilungen über eye pose, Kameraparameter und Beleuchtung und kann Multi-Kamera-Setups generieren. Dabei werden Kameraintrinsics (Bildgröße, Brennweiten fx/fy, principal point cx/cy) sowie Kameratransformationen (Extrinsics relativ zum Auge) als erstklassige Parameter eingeführt, die per UI oder JSON-Interface konfigurierbar sind.\[X14]
|
||||
|
||||
Auch im Output wird der generatorische Fokus sichtbar: UnityEyes 2 nennt als Generator-Outputs u. a. Eye-Images, Ground-Truth-Pupillenzentrum, einen normalisierten Vektor für die optische Achse, das Augapfelzentrum sowie weiterführende 2D-Parameter relativ zum Kamerazentrum. Gleichzeitig wird UnityEyes 2 als System beschrieben, das Datensätze über mehrere Umgebungen und Face-Meshes erzeugen kann, jedoch viele Szenenentscheidungen (z. B. pupil constriction, lighting, noise distributions) “für den Nutzer” festlegt – ein expliziter Motivationspunkt, warum UnityEyes 2 mehr Freiheitsgrade für distributionsbasierte Konfiguration nachrüstet.\[X14]
|
||||
|
||||
## GazeGene
|
||||
_Jammy:_
|
||||
GazeGene (2025) stellt einen weiteren Quantensprung dar, indem es die MetaHuman-Technologie der Unreal Engine nutzt, um über eine Million fotorealistische Vollgesichtsbilder zu generieren. \[X3] Der entscheidende Beitrag von GazeGene liegt jedoch in der Tiefe der Annotationen. Es ist der erste großskalige Datensatz, der detaillierte 3D-Informationen über:
|
||||
|
||||
- Den **Augapfel-Mittelpunkt** und den **Hornhaut-Radius**,
|
||||
|
||||
- Die **optische Achse** (Symmetrieachse des Augapfels) und die **visuelle Achse** (Linie zum Fixationspunkt),
|
||||
|
||||
- Den **Kappa-Winkel** (die individuelle Differenz zwischen diesen Achsen) bereitstellt.
|
||||
|
||||
|
||||
Diese Daten sind für die Forschung von unschätzbarem Wert, da der Kappa-Winkel eine der Hauptursachen für systematische Fehler in der Blickerfassung ist. Da dieser Winkel von Person zu Person variiert, ermöglicht GazeGene das Training von Modellen, die diese anatomische Varianz implizit verstehen oder sogar explizit schätzen können.
|
||||
|
||||
# Abstrakte Pipelines
|
||||
## LEyes
|
||||
_Claudibum:_
|
||||
**LEyes** (Byrne et al., Behavior Research Methods 2025) represents a deliberate paradigm shift. Its core hypothesis is that a model localizing pupils and corneal reflections is "nothing more than a model that is good at finding relatively dark or light pupil- or CR-shaped blobs in an image" — rendering photorealistic skin, sclera vasculature, and eyelashes is unnecessary overhead. \[X4] Built on **DeepTrack 2.1**, a modular Python library originally developed for digital microscopy, LEyes models image features as **2D Gaussian light distributions** without any 3D geometry. \[X4] The pupil is a randomly oriented dark Gaussian with slight ellipticity (major-to-minor axis ratio 1.0–1.3) and exponentially distributed amplitude. Corneal reflections are bright Gaussians with luminance fixed at 255, truncated to create realistic saturation cores. \[X4] The iris-pupil boundary emerges from a two-section background of different luminance values, with a randomly placed and oriented dividing line. Images are composited mathematically and discretized to 8-bit output. [PubMed Central](https://pmc.ncbi.nlm.nih.gov/articles/PMC11133043/)
|
||||
|
||||
The key innovation is **on-the-fly generation during training**: each epoch produces 1,000 unique images that are shown to the network once and then discarded, eliminating storage requirements entirely. \[X4]Randomization covers Gaussian amplitude, axis radii, feature positions, orientations, background luminance, noise levels, and spurious reflections. \[X4] A two-stage training regime tightens parameters in the second stage. Labels include **pupil center, CR center, CR-to-illuminator matching**, and segmentation masks. \[X4] At **13 ms inference** on a standard CPU, [ResearchGate](https://www.researchgate.net/publication/369974676_Precise_localization_of_corneal_reflections_in_eye_images_using_deep_learning_trained_on_synthetic_data) with training feasible on **free Google Colab**,\[X4] LEyes targets **P-CR (Pupil-Corneal Reflection) eye tracking** specifically. The authors contrast their approach against NVGaze's ~3.8 GPU-years for dataset generation \[X4] and demonstrate competitive or superior performance on OpenEDS 2019/2020 and other real datasets. [ResearchGate](https://www.researchgate.net/publication/374193645_V-ir-Net_A_Novel_Neural_Network_for_Pupil_and_Corneal_Reflection_Detection_trained_on_Simulated_Light_Distributions)\[X4] Limitations include restriction to feature-level P-CR tracking (not appearance-based gaze estimation) and the need to analyze target hardware images to set appropriate parameter distributions. [PubMed Central](https://pmc.ncbi.nlm.nih.gov/articles/PMC11133043/)
|
||||
|
||||
|
||||
_Jammy:_
|
||||
Parallel zu den immer komplexer werdenden 3D-Pipelines entstand mit LEyes (Light Eyes) ein Gegenentwurf, der die Frage stellt: Wie viel Fotorealismus brauchen wir wirklich? LEyes bricht mit der Tradition der 3D-Modellierung und generiert synthetische Daten durch die Kombination einfacher 2D-Lichtverteilungen.\[X4]
|
||||
|
||||
Die Kernidee von LEyes ist, dass die meisten Eye-Tracking-Algorithmen, insbesondere die für das Pupil-Corneal-Reflection (P-CR) Tracking, lediglich die Position und Form der Pupille und der Hornhautreflexe extrahieren müssen. Anstatt ein ganzes Gesicht zu rendern, modelliert LEyes diese Merkmale als 2D-Gauß-Verteilungen.\[X4]
|
||||
|
||||
### Mathematische Modellierung und Hardware-Adaptivität
|
||||
|
||||
In LEyes wird ein Bild als Summe von Funktionen begriffen, wobei jedes Merkmal (Pupille, Iris, Reflexe) durch Parameter wie Zentrum $(x, y)$, Amplitude $(A)$, Ausdehnung $(\sigma)$ und Orientierung $(\theta)$ definiert ist.\[X4]
|
||||
|
||||
|
||||
|
||||
$$f(x, y) = A \cdot \exp\left(-\left(a(x-x_c)^2 + 2b(x-x_c)(y-y_c) + c(y-y_c)^2\right)\right)$$
|
||||
|
||||
Diese abstrakte Darstellung hat einen entscheidenden Vorteil: Sie ist extrem schnell und erlaubt eine direkte Anpassung an die statistischen Eigenschaften einer spezifischen Hardware.\[2] Forscher können die Luminanz-Verteilung und das Rauschverhalten ihrer Kamera analysieren und die LEyes-Pipeline so kalibrieren, dass sie genau diese Bedingungen widerspiegelt.
|
||||
|
||||
| | | |
|
||||
|---|---|---|
|
||||
|Komponente|Modellierung in LEyes|Relevante Parameter|
|
||||
|Pupille|Dunkler Gauß-Blob|Position, Radius, Intensität ($L_p$)|
|
||||
|Iris|Ringförmige oder elliptische Struktur|Helligkeit ($L_i$), Kontrast zur Sklera|
|
||||
|Reflexe (CR)|Helle, oft gesättigte Punkte|Anzahl ($N_{CR}$), Amplitude ($A$), Rauschen|
|
||||
|Umgebungsrauschen|Additives oder multiplikatives Pixelrauschen|Standardabweichung ($\sigma_n^2$)|
|
||||
\[X4]
|
||||
|
||||
Studien haben gezeigt, dass Modelle, die auf diesen minimalistischen Daten trainiert wurden, oft besser auf reale Daten generalisieren als solche, die auf hochkomplexen 3D-Modellen trainiert wurden. Dies liegt daran, dass das Netzwerk nicht lernt, auf oberflächliche Texturen (wie Hautporen oder Wimperndetails) zu reagieren, die sich zwischen Synthese und Realität unterscheiden, sondern sich strikt auf die geometrischen Kernmerkmale konzentriert.\[7]
|
||||
|
||||
|
||||
_Gibbidy:_
|
||||
LEyes („Light Eyes“) verfolgt explizit den Gegenentwurf zu photorealistischen Eye-Tracking-Renderpipelines: Statt 3D-Geometrie und hardware-nahe Optik zu rekonstruieren, modelliert LEyes die **Licht-/Intensitätsverteilungen der entscheidenden Bildmerkmale** (z. B. Pupille, Irisumfeld, Corneal Reflections) und generiert daraus abstrakte Trainingsbilder, die für Menschen nicht wie realistische Eye-Images aussehen müssen.\[X4]
|
||||
|
||||
Die Pipeline lässt sich als zweistufige Generatorlogik beschreiben: Zuerst werden aus Daten einer Zielaufnahmeumgebung Parameterverteilungen abgeleitet, insbesondere für Pixel-Level-Eigenschaften wie Pupillen- und Irisintensitäten; anschließend erzeugt ein Generator aus diesen Parameterbereichen synthetische Bilder „on the fly“, die (i) die relevanten Feature-Blob-Strukturen enthalten und (ii) Labels direkt mitführt. Entscheidend ist, dass LEyes die Parameterbereiche bewusst _größer_ als die empirisch beobachteten Bereiche wählt, um Robustheitspotenzial über die beobachtete Varianz hinaus zu erzeugen.\[X4]
|
||||
|
||||
Methodisch ist LEyes eng an die Beobachtung gekoppelt, dass viele Eye-Tracking-Subtasks am Ende „Feature-Finding“ sind: Pupillen erscheinen als dunkle, CRs als helle, lokal strukturierte Regionen. Aus Generatorperspektive wird diese Hypothese operationalisiert, indem zentrale Features mit einfachen 2D-Gauß-Verteilungen repräsentiert und in mathematischen Layering-Operationen (z. B. Additionen, Subtraktionen, max-Operationen) zu einem finalen 8-bit Bild zusammengesetzt werden.\[X4] Damit wird „Realismus“ nicht als visuelle Plausibilität für den Menschen, sondern als Übereinstimmung relevanter Intensitäts- und Formstatistiken definiert.\[X4]
|
||||
|
||||
Ein weiterer generatorischer Kern ist LEyes’ **Trainingsintegration über On-the-fly Generators**. LEyes nutzt den Generator-Mechanismus aus DeepTrack 2.1, der Bild-Label-Paare während des Trainings generiert und verwaltet. Das vermeidet Pre-Generation großer Datensätze und reduziert Speicher- und Rechenlast; zugleich ermöglicht es, dass jedes synthetische Bild nur einmal gesehen wird („discard after one pass“), was aus Pipeline-Sicht als Regularisierung gegen Overfitting interpretiert wird.\[X4]
|
||||
|
||||
Diese bewusste Abstraktion bringt jedoch spezifische methodische Grenzen mit sich, die in LEyes offen diskutiert werden und für die spätere Positionierung der eigenen Arbeit relevant sind: Das Aufsetzen einer LEyes-Pipeline für eine neue Datenquelle erfordert (i) Voranalyse der Zielbilder (z. B. Helligkeitsverteilungen in Pupille/Irisumfeld), (ii) Wissen darüber, welche Featureformen/Gradienten relevant sind, und (iii) in der Praxis eine gewisse Iteration/„trial and error“ beim Tuning der Verteilungen. Explizit wird festgehalten, dass LEyes derzeit nicht autonom „out of the box“ auf völlig neue Datensätze optimiert, weil die Parameterisierung an die Zielverteilung gekoppelt wird.\[X4]
|
||||
|
||||
Damit steht LEyes generatorisch für eine andere Klasse synthetischer Daten: nicht photorealistische Scene-Simulation, sondern **kontrollierbare, statistische Feature-Simulation**, die besonders dann attraktiv ist, wenn die Downstream-Aufgabe an wenigen stabilen Bildmerkmalen hängt und man Hardware-/Dataset-spezifische Intensitätsstatistiken effizient abdecken will. \[X4]
|
||||
# Bridging approaches:
|
||||
## SimGAN, GazeGAN und EyeGAN
|
||||
_Claudibum:_
|
||||
Beyond the core generator pipelines, two complementary paradigms deserve mention. **SimGAN** (Shrivastava et al., Apple, CVPR 2017) introduced adversarial refinement of UnityEyes output: a refiner network transforms synthetic images to look more realistic while [arXiv](https://arxiv.org/abs/1612.07828) a self-regularization L1 loss preserves annotation fidelity (pupil center shift verified at only ~1.1 ± 0.8 px). [Apple Machine Learning Research](https://machinelearning.apple.com/2017/07/07/GAN.html) This achieved a **21% relative improvement** on MPIIGaze over raw synthetic training, with humans unable to distinguish refined from real images (51.7% accuracy in a visual Turing test). [Medium](https://sh-tsang.medium.com/review-simgan-learning-from-simulated-and-unsupervised-images-through-adversarial-training-gan-86a7003add50) Follow-ups including GazeGAN (CycleGAN-inspired) and EyeGAN (segmentation-mask-conditioned) further developed this approach. [Synthesis AI](https://synthesis.ai/2021/01/13/driving-model-performance-with-synthetic-data-iv-gaze-estimation-and-gans/)[MDPI](https://www.mdpi.com/2076-3417/14/20/9586)
|
||||
|
||||
## Digital Eye Tracker Prototyper
|
||||
_Claudibum:_
|
||||
Meta's **Digital Eye Tracker Prototyper** (March 2025) represents the cutting edge: NeRF-mesh hybrid representations from 195 real identities captured in a light-dome setup enable novel view synthesis with simulated optical effects (sensor noise, blur, glasses slippage), though diversity is bounded by the captured identity pool. [arXiv](https://arxiv.org/html/2503.16742v1)[arXiv](https://arxiv.org/html/2503.16742)
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Schicke Übersicht von Gibbidy (Logischerweise unvollständig):
|
||||
|
||||
| Pipeline | Rendering-/Syntheseprinzip | Typische Variationsachsen (Beispiele) | Typische Outputs/Labels | Ursprünglicher Fokus |
|
||||
| ----------- | ------------------------------------------------------------------------------------------------ | -------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------ |
|
||||
| SynthesEyes | Path-Tracing-Renderings in Blender/Cycles + HDR image-based lighting | Kopf-/Kamerapose, Blickvektor, Beleuchtung via HDR-Maps (Rotation/Intensity), Lidpose gekoppelt an Blick, Irisfarbe | 3D gaze (look_vec), head_pose, 2D/3D Landmarks für Lid/Iris/Pupille; 28 Landmarken im Modell, dann projektiert | Eye-shape registration (Landmarks) und appearance-based gaze estimation |
|
||||
| UnityEyes | Echtzeit-Rendering (Unity) mit generativem Eye-Region-Modell | Kamera-/Eyeball-Posebereiche, Randomisierung von Face-/Eyeball-Appearance, Beleuchtung; interne Shape-PCA-Parameter | .json Metadaten: interior_margin_2d, caruncle_2d, iris_2d; look_vec, head_pose; pupil/iris size; lighting_details; eye_region_details (Shape PCA) | Schnelle Synthese großer, variabler Eye-Region-Datensätze für gaze estimation |
|
||||
| RIT-Eyes | Path-Tracing-Renderings (Blender/Cycles) mit IR- und RGB-Simulation | Eye pose, HDR-Umgebungen/Reflexionsmuster, Pupillengröße (Apertur), Cornea-Asphärizität, deformierbare Iris, gaze-gekoppelte Lid-/Blinkbewegung, Brillen | Segmentmasken (Pupille/Iris/Sclera) ggf. „mit/ohne Haut“, plus Metadaten (2D/3D Feature-Center, eye pose, Kamera-Intrinsics) | Near-eye/IR Eye Tracking: reich annotierte Datensätze für robustes Feature-Tracking/Segmentation |
|
||||
| LEyes | Abstrakte Bildgenerierung über Licht-/Feature-Verteilungen (2D Gaussians) + On-the-fly Generator | Feature-Form/Luminanz-Verteilungen (Pupille, Iris-Umfeld, CRs), Noise, einfache Hintergründe/Gradienten; Parameterbereiche bewusst größer als beobachtet | Generator liefert Bild+Label während Training; Labels je Task (z. B. Pupillen-/CR-Zentren bzw. Heatmaps) | Video-Eye-Tracking als Feature-Lokalisierung (P-CR): nur Schlüsselmerkmale, hohe Effizienz |
|
||||
43
Paperung/Related Works/3.2 - Finale Version.md
Normal file
43
Paperung/Related Works/3.2 - Finale Version.md
Normal file
@@ -0,0 +1,43 @@
|
||||
# 3.2 Synthetische Daten in der Segmentierungsforschung
|
||||
|
||||
Die in Abschnitt 3.1 vorgestellten Generierungspipelines wurden für eine Reihe unterschiedlicher nachgelagerter Lernaufgaben entwickelt. In der *Gaze Estimation* dienten synthetische Bilder als alleinige Trainingsbasis [1][2] oder als Vortraining für domänenadaptive Verfahren wie SimGAN [3], die den Blickschätzfehler auf MPIIGaze ohne reale gelabelte Daten erheblich reduzierten. Für die *Landmarken-Lokalisierung* zeigten Wood et al. [1], dass ein ausschließlich auf SynthesEyes trainierter Landmarkendetektor bei der Augenkonturregistrierung die gleiche Genauigkeit erreichte wie ein auf realen Annotationen trainiertes Modell -- ein frühes Indiz dafür, dass kostenfrei erzeugte synthetische Labels reale Handannotation ersetzen können. Park et al. [4] bestätigten dies mit einem auf UnityEyes trainierten Stacked-Hourglass-Netzwerk, das auf vier realen Benchmarks den damaligen Stand der Technik übertraf. Für die vorliegende Arbeit ist jedoch die dritte Aufgabenfamilie zentral: die **semantische Segmentierung der Augenregion**, insbesondere die Pupillensegmentierung. Die Leitfrage dieses Abschnitts lautet daher: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt, und welche Rolle spielte die Zusammensetzung der Trainingsdaten für die erzielten Ergebnisse?
|
||||
|
||||
## OpenEDS und RITnet
|
||||
|
||||
Den definierenden Benchmark für die semantische Augensegmentierung setzte der *Open Eye Dataset* (OpenEDS) [5], veröffentlicht von Facebook Reality Labs. Der Datensatz umfasst 12.759 Infrarotbilder (400 x 640 Pixel) von 152 Probanden, die in einem VR-Headset bei 200 Hz aufgenommen und manuell in vier Klassen annotiert wurden: Pupille, Iris, Sklera und Hintergrund. OpenEDS ist ein rein realer Datensatz -- die pixelgenauen Segmentierungsmasken wurden durch mehrstufige Handannotation mit Ellipsenanpassung und Schlüsselpunktplatzierung erzeugt. Der begleitende Wettbewerb auf der ICCV 2019 bewertete Modelle nach einer kombinierten Genauigkeits-Effizienz-Metrik, die kompakte Architekturen begünstigte.
|
||||
|
||||
RITnet [6] gewann diesen Wettbewerb mit einer mIoU von 95,3 % bei nur 248.900 Parametern. Aus datenbezogener Sicht ist entscheidend, dass RITnet **ausschließlich auf realen OpenEDS-Annotationen** trainiert wurde (8.916 Trainingsbilder). Die Verbindung zu synthetischen Daten ist indirekt, aber aufschlussreich: Dieselbe Forschungsgruppe am Rochester Institute of Technology entwickelte anschließend die RIT-Eyes-Pipeline [7], die mit automatisch erzeugten, pixelperfekten Segmentierungsmasken genau jenen Annotationsengpass adressiert, den OpenEDS offengelegt hatte. Als RITnet auf dem synthetischen S-OpenEDS-Datensatz (51.600 Bilder aus RIT-Eyes) trainiert und auf realen OpenEDS-Daten getestet wurde, fiel die mIoU auf 73,9 % -- ein Rückgang um rund 21 Prozentpunkte gegenüber dem rein real trainierten Modell. Dabei zeigte sich, dass die Pupillensegmentierung am besten generalisierte (bis zu 93,7 % mIoU domänenübergreifend), während die Sklerasegmentierung besonders stark unter dem Domain Gap litt (bis auf 34,4 % mIoU). Darüber hinaus zeigte sich, dass die pixelgenauen Grenzdefinitionen synthetischer Segmentierungsmasken als strukturelles Vorwissen in das Training einfließen können – ein Vorteil gegenüber manuellen Annotationen, deren Kantengenauigkeit insbesondere bei kleinen Strukturen wie der Pupillengrenze begrenzt ist [6]. Diese Ergebnisse verdeutlichen zweierlei: Synthetische Daten liefern strukturell korrekte Segmentierungslabels, die in einer Qualität verfügbar sind, die manuelle Annotation nur schwer erreichen kann. Gleichzeitig bleibt eine erhebliche Domänenlücke bestehen, wenn synthetische Bilder ohne Anpassung als alleinige Trainingsgrundlage dienen.
|
||||
|
||||
## EllSeg und domänenübergreifende Generalisierung
|
||||
|
||||
Einen konzeptionell anderen Zugang wählte EllSeg [8], das die Segmentierungsaufgabe als *Ellipsenvervollständigung* reformuliert: Statt nur sichtbare Pixel zu klassifizieren, lernt das Netzwerk, vollständige elliptische Regionen für Pupille und Iris vorherzusagen, als wären die Augenlider transparent. Die Verwendung synthetischer Datensätze wie NVGaze [9] und RIT-Eyes [7] war hierfür essenziell, da nur synthetische Generatoren fehlerfreie 2D- und 3D-Labels für geometrische Strukturen liefern können, die physisch verdeckt und somit für menschliche Annotatoren unsichtbar sind. EllSeg wurde auf drei Datensätzen evaluiert: OpenEDS (real), NVGaze (synthetisch, 2 Mio. Bilder mit automatischen Segmentierungsmasken) und RIT-Eyes (synthetisch). Die Ellipsenrepräsentation steigerte die Pupillenzentrum-Detektionsrate um mindestens 10 % und die Iriszentrum-Detektionsrate um 24 % gegenüber der Standard-Pixelsegmentierung -- konsistent über alle drei Datensätze und alle getesteten Architekturen hinweg.
|
||||
|
||||
Die Nachfolgearbeit EllSeg-Gen [10] adressierte explizit die Frage der Domänengeneralisierung, indem sie Modelle **gleichzeitig auf mehreren Datensätzen** trainierte -- RIT-Eyes, NVGaze und OpenEDS gemeinsam. Die zentrale Erkenntnis war, dass Datensätze mit größerer Erscheinungsbildvariabilität am meisten vom gemischten Training profitierten. Dieses Ergebnis unterstreicht, dass nicht allein die Menge synthetischer Daten entscheidend ist, sondern deren **Diversität** -- ein Befund, der für die vorliegende Arbeit unmittelbar relevant ist.
|
||||
|
||||
## Zwischenfazit
|
||||
|
||||
Zusammenfassend zeigt sich, dass synthetische Daten sich als wertvolles Instrument für die Segmentierungsforschung etabliert haben -- als Quelle kostenfrei verfügbarer, pixelgenauer Labels, als Trainingsgrundlage für geometrische Abstraktion jenseits der sichtbaren Erscheinung und als Evaluationsgrundlage für die Robustheitsprüfung über Datensatzgrenzen hinweg. Die Variation in den synthetischen Trainingsdaten beschränkt sich dabei jedoch auf die in Abschnitt 3.1 beschriebenen Randomisierungsachsen: Blickrichtung, Kopfpose, Pupillengröße, Beleuchtung und -- im begrenzten Umfang der diskreten Kopfmodelle -- Identität. **Morphologische Formvariation der Periorbitalregion** als gezielter Trainingsfaktor für Segmentierungsmodelle wurde bisher nicht systematisch untersucht. Die Frage, ob und warum eine breitere Formvariation die Generalisierungsfähigkeit von Pupillensegmentierungsmodellen verbessern könnte, führt zu den im folgenden Abschnitt diskutierten Konzepten des Sim-to-Real-Transfers und der Domain Randomization.
|
||||
|
||||
---
|
||||
|
||||
## Quellenverzeichnis
|
||||
|
||||
[1] Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. (2015). *Rendering of Eyes for Eye-Shape Registration and Gaze Estimation*. ICCV 2015.
|
||||
|
||||
[2] Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. (2016). *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images*. ETRA 2016.
|
||||
|
||||
[3] Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. (2017). *Learning from Simulated and Unsupervised Images through Adversarial Training*. CVPR 2017.
|
||||
|
||||
[4] Park, S., Zhang, X., Bulling, A., & Hilliges, O. (2018). *Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings*. ETRA 2018.
|
||||
|
||||
[5] Garbin, S. J., Shen, Y., Schuber, I., Kasber, R., Engelmann, A., Peros, S., Chuang, H. Y., Woodard, S., Olszewski, K., Sun, K., Nair, S., Shlizerman, E., & Hilliges, O. (2019). *OpenEDS: Open Eye Dataset*. arXiv:1905.03702.
|
||||
|
||||
[6] Chaudhary, A. K., Kothari, R., Acharya, M., Cassady, S., Pellacini, F., Bailey, R., Armitage, E., & Demiris, C. (2019). *RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking*. ICCVW 2019 (OpenEDS Challenge, 1. Platz).
|
||||
|
||||
[7] Nair, N., Kothari, R., Chaudhary, A. K., Yang, Z., Diaz, G., Pelz, J. B., & Bailey, R. (2020). *RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications*. ACM SAP 2020.
|
||||
|
||||
[8] Kothari, R., Chaudhary, A. K., Bailey, R., Pelz, J. B., & Diaz, G. (2021). *EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking*. IEEE TVCG, 27(5).
|
||||
|
||||
[9] Kim, J., Stengel, M., Majercik, A., De Mello, S., Dunn, D., Laine, S., McGuire, M., & Luebke, D. (2019). *NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation*. CHI 2019.
|
||||
|
||||
[10] Kothari, R., Bailey, R., Pelz, J. B., & Diaz, G. (2022). *EllSeg-Gen, towards Domain Generalization for Head-Mounted Eyetracking*. Proc. ACM Hum.-Comput. Interact. (ETRA 2022).
|
||||
@@ -0,0 +1,136 @@
|
||||
# Genereller Aufbau:
|
||||
Das Kapitel soll ja nur 1–2 Seiten haben, also muss es kompakt und fokussiert sein. Ich würde es so aufbauen:
|
||||
|
||||
Einstieg (ein Absatz): Kurze Einordnung, dass die Generatoren aus Kapitel 1 für ganz unterschiedliche Downstream-Aufgaben entwickelt wurden – Gaze Estimation, Landmark-Lokalisierung, Segmentierung. Das kurz benennen, aber nicht vertiefen. Dann den Fokus setzen: Für diese Arbeit ist die semantische Segmentierung relevant, insbesondere Pupillensegmentierung. Die Frage ist also: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt?
|
||||
|
||||
Hauptteil (ein bis zwei Absätze pro Strang): Hier die konkreten Arbeiten datenbezogen diskutieren. RITnet als frühes Segmentierungsmodell, das stark an den OpenEDS-Datensatz gekoppelt ist – also synthetische und reale Daten gemeinsam nutzt. EllSeg als robusterer Ansatz, der auf mehreren Datensätzen evaluiert und explizit die Generalisierung über verschiedene Datenquellen hinweg betont. Bei beiden nicht die Architektur erklären (das gehört in die Grundlagen), sondern herausarbeiten: Welche Datensätze wurden genutzt, welche davon synthetisch, und welche Rolle spielte die synthetische Komponente für die Ergebnisse?
|
||||
|
||||
Schluss (ein Absatz): Die Beobachtung verdichten – synthetische Daten haben sich als nützlich für die Segmentierung erwiesen, aber die Variation in den Trainingsdaten beschränkt sich auf die in Kapitel 1 genannten Achsen (Blick, Pose, Beleuchtung). Formvariation der Augenregion als Trainingsfaktor für Segmentierungsmodelle wurde bisher nicht gezielt untersucht. Das leitet direkt zu Kapitel 3 über, wo es um die Frage geht, warum mehr Variation helfen könnte.
|
||||
|
||||
So bleibt es bei 1–2 Seiten, erzählt eine klare Geschichte, und doppelt nicht mit Kapitel 1. Die Generatoren sind schon vorgestellt – hier geht es nur darum, wie ihre Outputs in der Segmentierungsforschung angekommen sind.
|
||||
|
||||
# Variante 1 von Claudibum
|
||||
## 3.2 Synthetische Daten in der Segmentierungsforschung
|
||||
|
||||
Die in Abschnitt 3.1 vorgestellten Generierungspipelines wurden für eine Reihe unterschiedlicher nachgelagerter Lernaufgaben entwickelt. In der _Gaze Estimation_ dienten synthetische Bilder als alleinige Trainingsbasis \[1]\[2] oder als Vortraining für domänenadaptive Verfahren wie SimGAN [3], die den Blickschätzfehler auf MPIIGaze ohne reale gelabelte Daten erheblich reduzierten. Für die _Landmarken-Lokalisierung_ zeigten Wood et al. [1], dass ein ausschließlich auf SynthesEyes trainierter Landmarkendetektor bei der Augenkonturregistrierung die gleiche Genauigkeit erreichte wie ein auf realen Annotationen trainiertes Modell – ein frühes Indiz dafür, dass kostenfrei erzeugte synthetische Labels reale Handannotation vollständig ersetzen können. Park et al. [4] bestätigten dies mit einem auf UnityEyes trainierten Stacked-Hourglass-Netzwerk, das auf vier realen Benchmarks den damaligen Stand der Technik übertraf. Für die vorliegende Arbeit ist jedoch die dritte Aufgabenfamilie zentral: die **semantische Segmentierung der Augenregion**, insbesondere die Pupillensegmentierung. Die Leitfrage dieses Abschnitts lautet daher: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt, und welche Rolle spielte die Zusammensetzung der Trainingsdaten für die erzielten Ergebnisse?
|
||||
|
||||
### OpenEDS und RITnet
|
||||
|
||||
Den definierenden Benchmark für die semantische Augensegmentierung setzte der _Open Eye Dataset_ (OpenEDS) [5], veröffentlicht von Facebook Reality Labs. Der Datensatz umfasst 12.759 Infrarotbilder (400×640 Pixel) von 152 Probanden, die in einem VR-Headset bei 200 Hz aufgenommen und manuell in vier Klassen annotiert wurden: Pupille, Iris, Sklera und Hintergrund. OpenEDS ist ein **rein realer** Datensatz – die pixelgenauen Segmentierungsmasken wurden durch mehrstufige Handannotation mit Ellipsenanpassung und Schlüsselpunktplatzierung erzeugt. Der begleitende Wettbewerb auf der ICCV 2019 bewertete Modelle nach einer kombinierten Genauigkeits-Effizienz-Metrik, die kompakte Architekturen begünstigte.
|
||||
|
||||
RITnet [6] gewann diesen Wettbewerb mit einer mIoU von 95,3 % bei nur 248.900 Parametern. Entscheidend für die vorliegende Diskussion ist, dass RITnet **ausschließlich auf realen OpenEDS-Annotationen** trainiert wurde (8.916 Trainingsbilder). Die Verbindung zu synthetischen Daten ist indirekt, aber aufschlussreich: Dieselbe Forschungsgruppe am Rochester Institute of Technology entwickelte anschließend die _RIT-Eyes_-Pipeline [7], die mit automatisch erzeugten, pixelperfekten Segmentierungsmasken genau jenen Annotationsengpass adressiert, den OpenEDS offengelegt hatte. Als RITnet auf dem synthetischen _S-OpenEDS_-Datensatz (51.600 Bilder aus RIT-Eyes) trainiert und auf realen OpenEDS-Daten getestet wurde, fiel die mIoU auf 73,9 % – ein Rückgang um rund 21 Prozentpunkte gegenüber dem rein real trainierten Modell. Dabei zeigte sich, dass die **Pupillensegmentierung** am besten generalisierte (bis zu 93,7 % mIoU domänenübergreifend), während die Sklerasegmentierung besonders stark unter dem Domain Gap litt (bis auf 34,4 % mIoU). Diese Ergebnisse verdeutlichen zweierlei: Synthetische Daten liefern strukturell korrekte Segmentierungslabels, die in einer Qualität verfügbar sind, die manuelle Annotation nicht erreichen kann – gleichzeitig bleibt eine erhebliche Domänenlücke bestehen, wenn synthetische Bilder ohne Anpassung als alleinige Trainingsgrundlage dienen.
|
||||
|
||||
### EllSeg und domänenübergreifende Generalisierung
|
||||
|
||||
Einen konzeptionell anderen Zugang wählte EllSeg [8], das die Segmentierungsaufgabe als _Ellipsenvervollständigung_ reformuliert: Statt nur sichtbare Pixel zu klassifizieren, lernt das Netzwerk, vollständige elliptische Regionen für Pupille und Iris vorherzusagen, als wären die Augenlider transparent. Dadurch wird die nachfolgende Ellipsenanpassung deutlich robuster gegenüber Okklusion. EllSeg ist architekturagnostisch und wurde auf drei Datensätzen evaluiert: OpenEDS (real), NVGaze [9] (synthetisch, 2 Mio. Bilder mit automatischen Segmentierungsmasken) und RIT-Eyes [7] (synthetisch). Die Ellipsenrepräsentation steigerte die Pupillenzentrum-Detektionsrate um mindestens 10 % und die Iriszentrum-Detektionsrate um 24 % gegenüber der Standard-Pixelsegmentierung – und zwar konsistent über alle drei Datensätze und alle getesteten Architekturen hinweg.
|
||||
|
||||
Die Nachfolgearbeit _EllSeg-Gen_ [10] adressierte explizit die Frage der Domänengeneralisierung, indem sie Modelle **gleichzeitig auf mehreren Datensätzen** trainierte – RIT-Eyes, NVGaze und OpenEDS gemeinsam. Die zentrale Erkenntnis war, dass Datensätze mit größerer Erscheinungsbildvariabilität am meisten vom gemischten Training profitierten. Dieses Ergebnis unterstreicht, dass nicht allein die Menge synthetischer Daten entscheidend ist, sondern deren **Diversität** – ein Befund, der für die vorliegende Arbeit unmittelbar relevant ist.
|
||||
|
||||
### Zwischenfazit
|
||||
|
||||
Zusammenfassend zeigt sich, dass synthetische Daten sich als wertvolles Instrument für die Segmentierungsforschung etabliert haben – als Quelle kostenfrei verfügbarer, pixelgenauer Labels, als Pretraining-Basis für domänenadaptive Verfahren und als Evaluationsgrundlage für die Robustheitsprüfung über Datensatzgrenzen hinweg. Die Variation in den synthetischen Trainingsdaten beschränkt sich dabei jedoch auf die in Abschnitt 2.1 beschriebenen Randomisierungsachsen: Blickrichtung, Kopfpose, Pupillengröße, Beleuchtung und – im begrenzten Umfang der diskreten Kopfmodelle – Identität. **Morphologische Formvariation der Periorbitalregion** als gezielter Trainingsfaktor für Segmentierungsmodelle wurde bisher nicht systematisch untersucht. Die Frage, ob und warum eine breitere Formvariation die Generalisierungsfähigkeit von Pupillensegmentierungsmodellen verbessern könnte, führt zu den im folgenden Abschnitt diskutierten Konzepten des Sim-to-Real-Transfers und der Domain Randomization.
|
||||
|
||||
---
|
||||
|
||||
### Quellenverzeichnis
|
||||
|
||||
[1] Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. (2015). _Rendering of Eyes for Eye-Shape Registration and Gaze Estimation_. ICCV 2015.
|
||||
|
||||
[2] Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. (2016). _Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images_. ETRA 2016.
|
||||
|
||||
[3] Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. (2017). _Learning from Simulated and Unsupervised Images through Adversarial Training_. CVPR 2017.
|
||||
|
||||
[4] Park, S., Zhang, X., Bulling, A., & Hilliges, O. (2018). _Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings_. ETRA 2018.
|
||||
|
||||
[5] Garbin, S. J., Shen, Y., Schuber, I., Kasber, R., Engelmann, A., Peroš, S., Chuang, H. Y., Woodard, S., Olszewski, K., Sun, K., Nair, S., Shlizerman, E., & Hilliges, O. (2019). _OpenEDS: Open Eye Dataset_. arXiv:1905.03702.
|
||||
|
||||
[6] Chaudhary, A. K., Kothari, R., Acharya, M., Cassady, S., Pellacini, F., Bailey, R., Armitage, E., & Demiris, C. (2019). _RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking_. ICCVW 2019 (OpenEDS Challenge, 1. Platz).
|
||||
|
||||
[7] Nair, N., Kothari, R., Chaudhary, A. K., Yang, Z., Diaz, G., Pelz, J. B., & Bailey, R. (2020). _RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications_. ACM SAP 2020.
|
||||
|
||||
[8] Kothari, R., Chaudhary, A. K., Bailey, R., Pelz, J. B., & Diaz, G. (2021). _EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking_. IEEE TVCG, 27(5).
|
||||
|
||||
[9] Kim, J., Stengel, M., Majercik, A., De Mello, S., Dunn, D., Laine, S., McGuire, M., & Luebke, D. (2019). _NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation_. CHI 2019.
|
||||
|
||||
[10] Kothari, R., Bailey, R., Pelz, J. B., & Diaz, G. (2022). _EllSeg-Gen, towards Domain Generalization for Head-Mounted Eyetracking_. Proc. ACM Hum.-Comput. Interact. (ETRA 2022).
|
||||
|
||||
|
||||
|
||||
# Variante 2 von Gibbidy
|
||||
|
||||
## 3.2 Synthetische Daten für Gaze Estimation, Feature-Lokalisierung und Pupillensegmentierung
|
||||
|
||||
Die in Kapitel 1 dargestellten Generatoren wurden im Eye-Tracking-Feld für unterschiedliche nachgelagerte Aufgaben aufgegriffen, insbesondere für **Gaze Estimation**, **Feature- bzw. Landmark-Lokalisierung** und **semantische Segmentierung**. Für diese Arbeit ist vor allem der letzte Strang relevant, da gerade die Pupillensegmentierung auf dichte, pixelgenaue Annotationen angewiesen ist. Die zentrale Frage lautet hier daher nicht, welche Architektur jeweils verwendet wurde, sondern **wie synthetische Daten konkret als Trainings- oder Evaluationsressource für Segmentierungsaufgaben genutzt wurden**.[05][06][07] ([NVIDIA](https://research.nvidia.com/publication/2019-05_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation?utm_source=chatgpt.com "NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation | Research"))
|
||||
|
||||
Für **Gaze Estimation** und **Feature-Lokalisierung** wurden synthetische Daten vor allem deshalb eingesetzt, weil sie große Mengen präziser Labels bereitstellen, die in Realbildern nur schwer oder teuer zu annotieren sind. Arbeiten wie _Rendering of Eyes for Eye-Shape Registration and Gaze Estimation_ und später _UnityEyes_ bzw. _Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images_ nutzen synthetische Augenbilder, um Blickrichtungen, Landmarken und Forminformationen in großem Umfang verfügbar zu machen.[06][07] Im Near-Eye-IR-Bereich zeigt **NVGaze** diese Logik besonders deutlich: Der Datensatz wurde zwar primär für gaze estimation entwickelt, enthält für den synthetischen Teil aber zusätzlich strukturierte Annotationen wie Pupille, Iris, Sclera, Haut und Glints. Damit fungieren synthetische Daten hier nicht nur als Quelle für Gaze-Labels, sondern zugleich als Grundlage für Zwischenaufgaben wie Pupillen- oder Merkmalslokalisierung.[05] ([cv-foundation.org](https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Wood_Rendering_of_Eyes_ICCV_2015_paper.pdf?utm_source=chatgpt.com "Rendering of Eyes for Eye-Shape Registration and Gaze Estimation"))
|
||||
|
||||
Für die **Segmentierungsforschung** ist zunächst **OpenEDS** ein zentraler Referenzpunkt. Der Datensatz umfasst Aufnahmen von 152 Personen und enthält eine Teilmenge von 12 759 Bildern mit Pixelannotationen für Iris, Pupille und Sclera.[01] Auf dieser Grundlage entstand mit **RITnet** ein frühes, einflussreiches Segmentierungsmodell für Eye-Tracking-Anwendungen. Aus datenbezogener Sicht ist daran entscheidend, dass RITnet seine Leistung im Kern aus einem **realen, dicht annotierten Benchmark** bezieht: Das Modell wurde auf dem OpenEDS Semantic Segmentation Dataset trainiert und evaluiert. Synthetische Daten stehen hier also nicht im Zentrum, sondern bilden eher den Kontrastfall: Sobald ein hinreichend großer realer Datensatz mit hochwertigen Pixelmasken verfügbar ist, verschiebt sich der Fokus von der Labelerzeugung hin zur robusten Nutzung dieser realen Labels.[01][02] ([ResearchGate](https://www.researchgate.net/publication/333560541_OpenEDS_Open_Eye_Dataset?utm_source=chatgpt.com "(PDF) OpenEDS: Open Eye Dataset"))
|
||||
|
||||
Gerade deshalb ist der zweite Strang der Literatur für diese Arbeit wichtiger: Segmentierungsansätze, die **synthetische Masken ausdrücklich als Supervisionsquelle** nutzen. **RIT-Eyes** ist hier ein Schlüsselbeispiel. Die Arbeit beschreibt eine Rendering-Pipeline, mit der synthetische Near-Eye-Bilder samt Annotationen erzeugt werden, und rendert Datensätze, die sich explizit an den Eigenschaften von **NVGaze** und **OpenEDS** orientieren. Diese synthetischen Daten werden anschließend verwendet, um Segmentierungsmodelle zu trainieren und auf den ursprünglichen realen Datensätzen zu testen.[04][05] Die synthetische Komponente erfüllt hier also zwei Funktionen: Erstens liefert sie dichte Masken ohne manuellen Annotieraufwand; zweitens erlaubt sie kontrollierte Variation entlang technischer Faktoren wie Blickrichtung, Kameraposition oder Aufnahmekonfiguration.[04][05] ([aXi](https://axi.lims.ac.uk/paper/2006.03642?utm_source=chatgpt.com "RIT-Eyes: Rendering of near-eye images f..."))
|
||||
|
||||
**EllSeg** führt diese datenseitige Logik weiter, setzt sie aber anders ein. Die Arbeit betont Robustheit gegenüber Okklusionen und hebt ihre Ergebnisse auf mehreren **öffentlich verfügbaren synthetischen Segmentierungsdatensätzen** hervor.[03] In der praktischen Nutzung wurde EllSeg zudem mit mehreren Datensätzen in Verbindung gebracht, darunter **OpenEDS**, **NVGaze** und **RIT-Eyes**; spätere Repositoriums- und Vergleichsinformationen dokumentieren außerdem Varianten, die auf einzelnen oder kombinierten Datensätzen trainiert wurden.[03][04][05] Für das Related-Work-Kapitel ist daran vor allem relevant, dass synthetische Daten hier nicht bloß als Zusatzmenge erscheinen, sondern als Mittel, um **Generalisierung über Datenquellen hinweg** zu untersuchen. Während RITnet stark an einen konkreten realen Benchmark gekoppelt ist, steht bei EllSeg stärker die Frage im Vordergrund, wie sich unterschiedliche Labelquellen und Datendomänen für robuste Pupillen- und Irissegmentierung zusammenführen lassen.[02][03][04][05] ([PubMed](https://pubmed.ncbi.nlm.nih.gov/33780339/?utm_source=chatgpt.com "EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking - PubMed"))
|
||||
|
||||
Insgesamt zeigt die Literatur damit ein recht konsistentes Bild: Synthetische Daten haben sich in Downstream-Aufgaben des Eye-Trackings als nützlich erwiesen, besonders dort, wo **präzise Labels** benötigt werden und reale Annotationen teuer oder schwer konsistent zu erzeugen sind. Für die Segmentierung werden synthetische Daten vor allem genutzt, um dichte Masken bereitzustellen und Variation in **Blickrichtung, Pose, Beleuchtung oder sensorischer Konfiguration** abzudecken.[03][04][05] Weniger sichtbar ist dagegen eine gezielte Variation der **anatomischen Form der Augen- bzw. Periorbitalregion** als eigenständiger Trainingsfaktor. Genau hier setzt die vorliegende Arbeit an: Sie interessiert sich nicht nur für mehr Variation im Allgemeinen, sondern für die bislang kaum isoliert untersuchte Frage, welchen Beitrag **Formvariation** zur Robustheit von Segmentierungsmodellen leisten kann.[03][04][05] ([PubMed](https://pubmed.ncbi.nlm.nih.gov/33780339/?utm_source=chatgpt.com "EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking - PubMed"))
|
||||
|
||||
## Quellenverzeichnis
|
||||
|
||||
[01] **OpenEDS: Open Eye Dataset** — Garbin, Stephan J.; Shen, Yiru; Schuetz, Immo; Cavin, Robert; Hughes, Gregory; Talathi, Sachin S.; **2019**. [arXiv](https://arxiv.org/abs/1905.03702)
|
||||
|
||||
[02] **RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking** — Chaudhary, Aayush K.; Kothari, Rakshit S.; Acharya, Manoj; Dangi, Shusil; Nair, Nitinraj; Bailey, Reynold J.; Kanan, Christopher; Diaz, Gabriel J.; Pelz, Jeff B.; **2019**. [arXiv](https://arxiv.org/abs/1910.00694)
|
||||
|
||||
[03] **EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking** — Kothari, Rakshit S.; Chaudhary, Aayush K.; Bailey, Reynold J.; Pelz, Jeff B.; Diaz, Gabriel J.; **2021**. [PubMed](https://pubmed.ncbi.nlm.nih.gov/33780339/)
|
||||
|
||||
[04] **RIT-Eyes: Rendering of near-eye images for eye-tracking applications** — Nair, Nitinraj; Kothari, Rakshit; Chaudhary, Aayush K.; Yang, Zhizhuo; Diaz, Gabriel J.; Pelz, Jeff B.; Bailey, Reynold J.; **2020**. [arXiv](https://arxiv.org/abs/2006.03642)
|
||||
|
||||
[05] **NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation** — Kim, Joohwan; Stengel, Michael; Majercik, Alexander; De Mello, Shalini; Dunn, David; Laine, Samuli; McGuire, Morgan; Luebke, David; **2019**. [NVIDIA Research](https://research.nvidia.com/publication/2019-05_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation)
|
||||
|
||||
[06] **Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images** — Wood, Erroll; Baltrušaitis, Tadas; Morency, Louis-Philippe; Robinson, Peter; Bulling, Andreas; **2016**. [Projektseite](https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/)
|
||||
|
||||
[07] **Rendering of Eyes for Eye-Shape Registration and Gaze Estimation** — Wood, Erroll; Baltrušaitis, Tadas; Zhang, Xucong; Sugano, Yusuke; Robinson, Peter; Bulling, Andreas; **2015**. [CVF Open Access PDF](https://openaccess.thecvf.com/content_iccv_2015/papers/Wood_Rendering_of_Eyes_ICCV_2015_paper.pdf)
|
||||
|
||||
# Variante 3 von Jammy:
|
||||
|
||||
# **2\. Synthetische Daten für Gaze Estimation, Feature-Lokalisierung und Pupillensegmentierung**
|
||||
|
||||
Die in Kapitel 1 vorgestellten generativen Ansätze bilden die technologische Grundlage für eine Vielzahl nachgelagerter Lernaufgaben (Downstream Tasks). Während Frameworks wie UnityEyes, NVGaze oder RIT-Eyes primär als Generatoren konzipiert wurden, liegt ihre wissenschaftliche Bedeutung in der Befähigung spezialisierter Modelle für die Blickrichtungsschätzung (Gaze Estimation), die Landmarken-Lokalisierung und die semantische Segmentierung der Augenregion.1 Für die vorliegende Arbeit ist insbesondere die semantische Segmentierung – und hierbei spezifisch die präzise Extraktion der Pupille – von zentraler Bedeutung. Die Leitfrage dieses Kapitels ist daher nicht technischer Natur ("Wie werden Daten erzeugt?"), sondern funktional ausgerichtet: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt, um die Performanz und Robustheit der Modelle zu steigern?
|
||||
## **Strategische Datennutzung in der Segmentierungsforschung**
|
||||
In der Entwicklung moderner Segmentierungsmodelle dienen synthetische Daten nicht nur als Volumen-Erweiterung für das Training, sondern adressieren gezielt fundamentale Defizite realer Datensätze, wie etwa die Seltenheit extremer Blickwinkel oder die Inkonsistenz manueller Annotationen.5
|
||||
### **RITnet: Domänenspezifische Augmentierung und Grenzstabilität**
|
||||
Das RITnet-Modell, das als Sieger aus der OpenEDS 2019 Semantic Segmentation Challenge hervorging, illustriert die enge Kopplung zwischen realen Datengrundlagen und synthetischen Erweiterungsschemata.5 Obwohl das Modell primär auf den 12.759 handannotierten Bildern des OpenEDS-Datensatzes trainiert wurde 5, beruhte sein Erfolg maßgeblich auf der Integration synthetischer Label-Eigenschaften in die Verlustfunktion.
|
||||
|
||||
Da die Pupille in realen In-the-wild-Aufnahmen oft nur einen Bruchteil der Bildfläche einnimmt, führt dies zu einer extremen Klassenimbalanz, die das Training instabil macht.5 RITnet nutzt hierbei synthetisch motivierte Strategien wie den *Boundary Aware Loss* (BAL) und den *Surface Loss* (SL), um die präzisen Kanten synthetischer Masken als strukturelles Vorwissen zu nutzen.5 Diese Ansätze erlauben es dem Modell, semantisch kleine, aber kritische Strukturen wie die Pupillengrenzen auch bei niedriger Bildauflösung stabil zu extrahieren.5 Zudem wurden domänenspezifische synthetische Augmentierungen eingesetzt, um beispielsweise die Reflexionen von Brillengläsern prozedural zu simulieren und so die Generalisierung auf reale Störfaktoren zu verbessern.5
|
||||
### **EllSeg: Geometrische Abstraktion durch synthetische Ground-Truth**
|
||||
Einen Paradigmenwechsel vollzog das EllSeg-Framework, indem es synthetische Daten nutzte, um über die rein visuelle Erscheinung (Visible Eye-Parts) hinauszugehen.6 Während herkömmliche Modelle lediglich die sichtbaren Pixel segmentieren, wird EllSeg darauf trainiert, die **vollständige elliptische Struktur** von Pupille und Iris vorherzusagen – selbst wenn diese teilweise durch die Augenlider oder Wimpern verdeckt sind.6
|
||||
|
||||
Die Verwendung synthetischer Datensätze wie NVGaze und RITEyes-General war hierfür essenziell, da nur synthetische Generatoren "fehlerfreie" 2D- und 3D-Labels für geometrische Strukturen liefern können, die physisch verdeckt und somit für menschliche Annotatoren unsichtbar sind.6 Durch dieses Training auf "perfekten" geometrischen Masken lernt das Modell, räumliche Beziehungen zu extrapolieren.6 In der Evaluation führte dieser Fokus auf die zugrundeliegende Geometrie zu signifikanten Robustheitsgewinnen: EllSeg erzielte eine Steigerung der Detektionsrate des Pupillenzentrums um mindestens 10% und des Iriszentrums um 24% im Vergleich zu rein erscheinungsbasierten Methoden.6
|
||||
|
||||
| Modell | Primäre Datenbasis | Rolle der synthetischen Komponente | Ergebnis / Vorteil |
|
||||
| :--------- | :----------------- | :---------------------------------- | :------------------------------- |
|
||||
| **RITnet** | OpenEDS (Hybrid) | Grenzbewusste Verlustfunktionen | Stabilisierung kleiner Klassen 5 |
|
||||
| **EllSeg** | NVGaze, RITEyes | Training auf vollständigen Ellipsen | Robustheit gegen Okklusion 6 |
|
||||
## **Zusammenfassung und Forschungslücke**
|
||||
|
||||
Zusammenfassend lässt sich festhalten, dass synthetische Daten in der aktuellen Forschung weit über die bloße Bereitstellung von Trainingsbildern hinausgehen. Sie dienen als Werkzeug zur Definition geometrischer Constraints und zur Regularisierung bei schwierigen Randbedingungen.
|
||||
|
||||
Auffällig ist jedoch, dass sich die Variation in den genutzten Trainingsdaten bisher fast ausschließlich auf die Achsen Blickrichtung (Gaze), Kopfpose und Beleuchtung konzentriert.1 Die **interindividuelle anatomische Variation** der periorbitalen Region (z. B. unterschiedliche Augenformen oder ethnische Merkmale) wurde in ihrer Wirkung auf die Robustheit von Segmentierungsmodellen bisher nicht gezielt als isolierter Faktor untersucht. Die meisten Modelle vertrauen auf eine implizite Generalisierung durch schiere Datenmenge, statt anatomische Formvariationen systematisch in den Trainingsprozess einzubinden. Dies führt direkt zu Kapitel 3, in dem die Hypothese aufgestellt wird, dass eine gezielte Modellierung anatomischer Variationen die Segmentierungsleistung in heterogenen Nutzergruppen signifikant verbessern kann.
|
||||
|
||||
---
|
||||
**Quellenverzeichnis**
|
||||
|
||||
1 **Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images**, Erroll Wood et al., 2016\. [https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/](https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/)
|
||||
|
||||
9 **Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings**, Seonwook Park et al., 2018\. [https://ait.ethz.ch/landmarks-gaze](https://ait.ethz.ch/landmarks-gaze)
|
||||
|
||||
5 **RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking**, Aayush K. Chaudhary et al., 2019\. [https://arxiv.org/abs/1910.00694](https://arxiv.org/abs/1910.00694)
|
||||
|
||||
6 **EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking**, Rakshit Kothari et al., 2021\. [https://arxiv.org/abs/2007.09600](https://arxiv.org/abs/2007.09600)
|
||||
|
||||
2 **NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation**, Joohwan Kim et al., 2019\. [https://research.nvidia.com/publication/2019-05\_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation](https://research.nvidia.com/publication/2019-05_nvgaze-anatomically-informed-dataset-low-latency-near-eye-gaze-estimation)
|
||||
|
||||
3 **RIT-Eyes: Rendering of near-eye images for eye-tracking applications**, Nitinraj Nair et al., 2020.(https://www.researchgate.net/publication/342027451\_RIT-Eyes\_Rendering\_of\_near-eye\_images\_for\_eye-tracking\_applications)
|
||||
|
||||
7 **OpenEDS: Open Eye Dataset**, Stephan J. Garbin et al., 2019\. [https://arxiv.org/abs/1905.03702](https://arxiv.org/abs/1905.03702)
|
||||
|
||||
4 **GazeGene: Large-scale Synthetic Gaze Dataset with 3D Eyeball Annotations**, Linrui Bao et al., 2025.([https://openaccess.thecvf.com/content/CVPR2025/papers/Bao\_GazeGene\_Large-scale\_Synthetic\_Gaze\_Dataset\_with\_3D\_Eyeball\_Annotations\_CVPR\_2025\_paper.pdf](https://openaccess.thecvf.com/content/CVPR2025/papers/Bao_GazeGene_Large-scale_Synthetic_Gaze_Dataset_with_3D_Eyeball_Annotations_CVPR_2025_paper.pdf))
|
||||
|
||||
8 **UnityEyes 2: Open source synthetic eye generation**, Alexander D. Smith et al., 2025.([https://motion.cs.illinois.edu/papers/ETRA2025\_Smith\_UnityEyes2.pdf](https://motion.cs.illinois.edu/papers/ETRA2025_Smith_UnityEyes2.pdf))
|
||||
31
Paperung/Related Works/3.3 - Finale Version.md
Normal file
31
Paperung/Related Works/3.3 - Finale Version.md
Normal file
@@ -0,0 +1,31 @@
|
||||
## 3.3 Sim-to-Real-Transfer, Generalisierung und Domain Randomization
|
||||
|
||||
Modelle, die ausschließlich auf synthetischen Daten trainiert werden, zeigen beim Übergang auf reale Bilder typischerweise erhebliche Leistungseinbußen. Dieses als *Sim-to-Real Gap* bezeichnete Phänomen beschreibt die Verteilungsdiskrepanz zwischen synthetischen Trainings- und realen Anwendungsdaten und ist im Eyetracking empirisch gut belegt. Wood et al. berichten für ein auf SynthesEyes trainiertes Modell einen mittleren Gaze-Estimation-Fehler von 13,91° auf dem realen MPIIGaze-Datensatz, während die Kreuzvalidierung innerhalb von MPIIGaze einen Fehler von 6,33° ergibt -- weniger als die Hälfte [Wood2015]. Auch in der semantischen Segmentierung zeigt sich die Diskrepanz deutlich: Nair et al. zeigen mit RIT-Eyes, dass RITnet innerhalb synthetischer Datensätze mIoU-Werte über 95\,\% erreicht, die Übertragung auf reale Daten jedoch auf Werte zwischen 73 und 86\,\% einbricht [Nair2020, Chaudhary2019]. Die Ursachen sind kumulativ: Texturdiskrepanzen, Beleuchtungsunterschiede zwischen synthetischen Umgebungskarten und realer IR-Beleuchtung, fehlende Störfaktoren wie Sensorrauschen sowie eine begrenzte anatomische Diversität -- SynthesEyes stützte sich auf zehn, RIT-Eyes auf 24 diskrete Kopfmodelle, die die Breite realer Populationen nur eingeschränkt abbilden [Wood2015, Nair2020].
|
||||
|
||||
### Domain Randomization: Breite Variation statt perfekter Realismus
|
||||
|
||||
Eine zentrale Strategie zur Verringerung des Sim-to-Real Gaps ist *Domain Randomization*. Deren Grundidee besteht nicht darin, die Simulation möglichst perfekt an eine konkrete reale Zieldomäne anzunähern, sondern die synthetische Datenverteilung so breit zu gestalten, dass die reale Welt für das Modell nur noch als ein Spezialfall innerhalb der gelernten Variabilität erscheint. Tobin et al. formalisieren diesen Ansatz im Kontext der Robotik und zeigen, dass ein auf simulierten Bildern mit nicht-realistischen Zufallstexturen trainiertes Objekterkennungsnetzwerk dennoch 1,5\,cm Lokalisierungsgenauigkeit in der Realität erreicht [Tobin2017]. Entscheidend war nicht der Realismus einzelner Bilder, sondern die Breite der Variation und die Datensatzgröße. Tremblay et al. bestätigen dies für Objektdetektion und zeigen, dass nach synthetischem Pre-Training 50-mal weniger reale Daten für die Feinanpassung benötigt werden [Tremblay2018].
|
||||
|
||||
Im Eyetracking implementierte UnityEyes dieses Prinzip, bevor der Begriff *Domain Randomization* etabliert war. Das PCA-basierte Morphable-Eye-Region-Modell von Wood et al. parametrisiert die Augenregion über Hauptkomponenten und erzeugt durch Sampling im PCA-Raum neuartige Augenregionen [Wood2016]. UnityEyes generierte eine Million Bilder bei deutlich geringerem Rechenaufwand als SynthesEyes und erzielte trotz geringerer Rendering-Treue vergleichbare Gaze-Estimation-Ergebnisse auf MPIIGaze -- Skalierung und Formdiversität kompensieren geringeren Fotorealismus. Byrne et al. treiben dieses Prinzip mit LEyes weiter, indem sie vollständig auf 3D-Geometrie verzichten und nur Schlüsselmerkmale als randomisierte 2D-Gaußverteilungen modellieren [Byrne2025]. Sie identifizieren explizit Hardware-Unterschiede und biologische Diversität als die zentralen Generalisierungshürden.
|
||||
|
||||
Zusammengenommen legt diese Literatur nahe, dass nicht allein mehr Realismus entscheidend ist, sondern vor allem die Frage, welche Variationsachsen in synthetischen Daten überhaupt modelliert werden. Für die vorliegende Arbeit ist an dieser Stelle die entscheidende argumentative Brücke zu schlagen: **Periorbitale Formvariation -- Lidformen, Kanthalgeometrien, Epikanthusfalten -- lässt sich als eine spezifische, biologisch motivierte Form von Domain Randomization verstehen.** Bisherige Pipelines randomisieren Beleuchtung, Textur und Blickrichtung, während die morphologische Variation der Augenumgebung auf wenige diskrete Kopfmodelle beschränkt bleibt oder in PCA-Koeffizienten ohne semantische Zuordnung enthalten ist. Zusätzliche morphologische Variation könnte helfen, den Support der synthetischen Trainingsverteilung sinnvoll zu erweitern. Zugleich ist aber ebenso denkbar, dass solche Variation die Optimierungsaufgabe unnötig erschwert oder irrelevante Streuung einführt -- sie hilft also nicht automatisch, sondern nur dann, wenn sie reale anatomische Unterschiede hinreichend plausibel abbildet.
|
||||
|
||||
### Verfeinerung und domänenspezifische Adaptation
|
||||
|
||||
Der alternative Ansatz besteht darin, synthetische Bilder so zu transformieren, dass sie realistischer wirken, ohne die Annotationsinformation zu verlieren. SimGAN ist das prominenteste Beispiel: Shrivastava et al. trainieren ein adversarielles Refiner-Netzwerk, das UnityEyes-Ausgaben auf Pixelebene transformiert, wobei eine Self-Regularization-Loss verhindert, dass der Refiner Bildinhalte halluziniert und die Blickrichtungsannotation verfälscht [Shrivastava2017]. Ein lokaler Diskriminator klassifiziert dabei Patches statt ganzer Bilder. Auf MPIIGaze erzielte SimGAN eine relative Verbesserung von 21\,\% gegenüber rein synthetischem Training. Seg2Eye verfolgt einen komplementären Ansatz: Bühler et al. generieren aus semantischen Segmentierungsmasken stilkonsistente, personenspezifische Augenbilder, wobei die inhaltliche Struktur durch die Maske vorgegeben und der visuelle Stil aus Referenzbildern einer Zielperson injiziert wird [Buehler2019]. Auch hier steht nicht die Erweiterung der geometrischen Variabilität im Vordergrund, sondern die stilistische Konsistenz synthetischer Daten mit realen Aufnahmen.
|
||||
|
||||
Gemeinsam ist allen Adaptationsansätzen, dass sie am *Erscheinungsbild* synthetischer Bilder arbeiten -- an Texturen, Pixelstatistiken und Stil --, nicht an der zugrundeliegenden geometrischen Struktur. Sie schließen den Domain Gap auf der Oberfläche, lassen aber die anatomische Formdiskrepanz unberührt. Damit lässt sich der Forschungsstand zu Sim-to-Real-Transfer im Eyetracking in zwei komplementäre Strategien gliedern: Domain Randomization versucht, robuste Modelle durch eine möglichst breite synthetische Datenverteilung zu trainieren [Tobin2017, Wood2016]. Domain Adaptation und Refinement versuchen dagegen, synthetische Bilder nachträglich näher an reale Daten anzupassen [Shrivastava2017, Buehler2019]. Beide Strategien adressieren denselben Sim-to-Real Gap, jedoch auf unterschiedlichen Ebenen. Die vorliegende Arbeit ist in diesem Rahmen auf der **Geometrieseite** zu verorten: Sie untersucht, ob eine zusätzliche, biologisch motivierte Variationsachse -- die Formvariation der Periorbitalregion -- die Generalisierung auf reale Daten verbessert oder verschlechtert. Während Beleuchtung, Textur, Geräteeinflüsse und stilistische Anpassung bereits breit diskutiert werden, wurde morphologische Variation der Periorbitalregion bislang nicht explizit als isolierter Faktor des Sim-to-Real-Transfers untersucht.
|
||||
|
||||
---
|
||||
|
||||
### Quellenverzeichnis
|
||||
|
||||
- **[Wood2015]** Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. -- *Rendering of Eyes for Eye-Shape Registration and Gaze Estimation*, ICCV 2015
|
||||
- **[Wood2016]** Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. -- *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images*, ETRA 2016
|
||||
- **[Tobin2017]** Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., & Abbeel, P. -- *Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World*, IROS 2017
|
||||
- **[Tremblay2018]** Tremblay, J., Prakash, A., Acuna, D., Brophy, M., Jampani, V., Anil, C., To, T., Cameracci, E., Boochoon, S., & Birchfield, S. -- *Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization*, CVPR Workshops 2018
|
||||
- **[Shrivastava2017]** Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. -- *Learning from Simulated and Unsupervised Images through Adversarial Training*, CVPR 2017
|
||||
- **[Buehler2019]** Buehler, M. C., Park, S., De Mello, S., Zhang, X., & Hilliges, O. -- *Content-Consistent Generation of Realistic Eyes with Style*, ICCV Workshops 2019
|
||||
- **[Byrne2025]** Byrne, S. A., Maquiling, V., Nystroem, M., Kasneci, E., & Niehorster, D. C. -- *LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking Using Synthetic Eye Images*, Behavior Research Methods 2025
|
||||
- **[Nair2020]** Nair, N., Kothari, R. S., Chaudhary, A. K., Yang, Z., Diaz, G. J., Pelz, J. B., & Bailey, R. J. -- *RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications*, SAP 2020
|
||||
- **[Chaudhary2019]** Chaudhary, A. K., Kothari, R., Acharya, M., Dangi, S., Nair, N., Bailey, R., Kanan, C., Diaz, G. J., & Pelz, J. B. -- *RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking*, 2019
|
||||
@@ -0,0 +1,257 @@
|
||||
# Genereller Aufbau:
|
||||
Das Kapitel soll ja nur zwei Seiten haben., also muss es kompakt und fokussiert sein. Ich würde es so aufbauen: Aufbauend auf dem Dreischnitt, den wir schon skizziert hatten, würde ich es so konkretisieren: Einstieg: Das Sim-to-Real-Problem (ca. halbe Seite) Kurz das grundsätzliche Problem umreißen – Modelle, die auf synthetischen Daten trainiert werden, performen auf realen Daten schlechter. Das nicht abstrakt, sondern direkt am Eyetracking-Kontext festmachen: SynthesEyes berichtet den Domain Gap explizit (13.91° vs. 6.33° auf MPIIGaze), RIT-Eyes zeigt den mIoU-Drop von >95 auf 73–86 cross-domain. Damit ist das Problem konkret motiviert und du wiederholst nicht Kapitel 1, sondern greifst gezielt die dort erwähnten Ergebnisse auf. Strategie 1: Domain Randomization – mehr Variation statt mehr Realismus (ca. dreiviertel Seite) Tobin et al. als allgemeiner methodischer Rahmen: Die Kernidee, dass ein Modell auf reale Daten generalisiert, wenn die synthetische Variation breit genug ist, dass die Realität als Teilmenge enthalten ist. Dann die Brücke zum Eyetracking: UnityEyes' Erfolg gegenüber SynthesEyes trotz geringerem Realismus ist im Grunde genau dieses Argument – Skalierung und Variation schlagen Rendering-Treue. Hier kannst du dann den entscheidenden Satz platzieren: Periorbitale Formvariation lässt sich konzeptionell als eine weitere Achse der Domain Randomization verstehen, die bisher fehlt. Strategie 2: Verfeinerung und domänenspezifische Adaptation (ca. dreiviertel Seite) SimGAN als prominentestes Beispiel – adversarielle Verfeinerung von UnityEyes-Output, um den visuellen Gap zu schließen, ohne Labels zu verlieren. Seg2Eye als alternativer Ansatz, der aus Segmentierungsmasken personenspezifische Augenbilder generiert. Kurz einordnen, dass diese Ansätze komplementär zu Domain Randomization sind: Sie arbeiten am Erscheinungsbild, nicht an der zugrundeliegenden geometrischen Variation. Damit schärfst du die Argumentation – deine Arbeit adressiert den Gap auf der Geometrieseite, nicht auf der Textur-/Stilseite. Die argumentative Klammer am Ende wäre dann: Beide Strategien adressieren den Sim-to-Real Gap, aber auf unterschiedlichen Ebenen. Formvariation der Periorbitalregion ist weder reine Randomization noch stilistische Adaptation – sie fügt eine biologisch motivierte Variationsachse hinzu, die in keiner der bestehenden Arbeiten explizit als Faktor isoliert wurde. So bleibt das Kapitel bei ~2 Seiten und hat trotzdem eine klare Dramaturgie, die direkt auf die Forschungslücke hinarbeitet.
|
||||
|
||||
|
||||
# Variante 1 von Claudibum
|
||||
|
||||
## 3.3 Sim-to-Real-Transfer, Generalisierung und Domain Randomization
|
||||
|
||||
|
||||
|
||||
Modelle, die ausschließlich auf synthetischen Daten trainiert werden, zeigen beim Übergang auf reale Bilder erhebliche Leistungseinbußen — ein als *Sim-to-Real Gap* bezeichnetes Phänomen. Im Eyetracking ist dieser Gap quantitativ gut belegt: Wood et al. [1] berichteten für SynthesEyes einen mittleren Gaze-Estimation-Fehler von 13,91° auf dem realen MPIIGaze-Datensatz, während die Kreuzvalidierung innerhalb von MPIIGaze 6,33° ergab — weniger als die Hälfte. Für die semantische Segmentierung ist die Diskrepanz noch deutlicher: Nair et al. [2] zeigten mit RIT-Eyes, dass RITnet innerhalb synthetischer Datensätze mIoU-Werte über 95 % erreichte, die Übertragung auf das reale OpenEDS jedoch auf 73,94 % einbrach. Die Ursachen sind kumulativ: Texturdiskrepanzen (RIT-Eyes verwendete nur eine Skleratextur), Beleuchtungsunterschiede zwischen HDR-Umgebungskarten und realer IR-Beleuchtung, fehlende Störfaktoren wie Make-up oder Sensorrauschen und vor allem eine begrenzte anatomische Diversität — SynthesEyes stützte sich auf zehn, RIT-Eyes auf 24 diskrete Kopfmodelle, die die Breite realer Populationen nur eingeschränkt abbilden.
|
||||
|
||||
|
||||
|
||||
### Domain Randomization: Breite Variation statt perfekter Realismus
|
||||
|
||||
|
||||
|
||||
Das Paradigma der Domain Randomization, formalisiert von Tobin et al. [3] im Kontext der Robotik, liefert den theoretischen Rahmen für den Umgang mit dem Domain Gap durch Variation: Wenn die synthetische Trainingsverteilung hinreichend breit ist, erscheint die reale Welt dem Modell als bloße weitere Variation. Tobin et al. trainierten ein Objekterkennungsnetzwerk auf simulierten Bildern mit nicht-realistischen Zufallstexturen und erreichten dennoch 1,5 cm Lokalisierungsgenauigkeit in der Realität. Entscheidend war nicht der Realismus einzelner Bilder, sondern die Anzahl einzigartiger Texturen und die Datensatzgröße. Tremblay et al. [4] bestätigten dies für Objektdetektion und zeigten, dass nach synthetischem Pre-Training 50-mal weniger reale Daten für die Feinanpassung benötigt wurden.
|
||||
|
||||
|
||||
|
||||
Im Eyetracking implementierte UnityEyes [5] dieses Prinzip, bevor der Begriff etabliert war. Sein PCA-basiertes Morphable-Eye-Region-Modell parametrisierte die Augenregion über Hauptkomponenten, wobei die erste Mode den Unterschied zwischen Schlupflid und hervorstehendem Auge erfasste. Durch Sampling im PCA-Raum konnten neuartige Augenregionen erzeugt werden. UnityEyes generierte eine Million Bilder 200-mal schneller als SynthesEyes und erzielte bei geringerer Rendering-Treue geringfügig bessere Gaze-Estimation-Ergebnisse auf MPIIGaze (9,95° vs. 10,09°) — Skalierung und Formdiversität kompensieren geringeren Fotorealismus. Byrne et al. [6] treiben dieses Prinzip mit LEyes weiter, indem sie vollständig auf 3D-Geometrie verzichten und nur Schlüsselmerkmale als randomisierte 2D-Gaußverteilungen modellieren. Sie identifizieren explizit Hardware-Unterschiede und biologische Diversität als die zentralen Generalisierungshürden.
|
||||
|
||||
|
||||
|
||||
**Periorbitale Formvariation — Epikanthusfalten, Lidformen, Kanthalgeometrien — lässt sich in diesem Rahmen als eine weitere, bisher fehlende Achse der Domain Randomization verstehen.** Bisherige Pipelines randomisieren Beleuchtung, Textur und Blickrichtung, während die morphologische Variation der Augenumgebung auf wenige diskrete Kopfmodelle beschränkt bleibt oder in PCA-Koeffizienten ohne semantische Zuordnung enthalten ist. Die Erweiterung der Synthesepipeline um explizit steuerbare periorbitale Formparameter fügt dem Randomisierungsraum eine anatomisch motivierte Dimension hinzu, die in realen Populationen systematisch auftritt, in keiner bestehenden Pipeline aber als unabhängig kontrollierbarer Faktor isoliert wurde.
|
||||
|
||||
|
||||
|
||||
### Verfeinerung und domänenspezifische Adaptation
|
||||
|
||||
|
||||
|
||||
Der alternative Ansatz besteht darin, synthetische Bilder so zu transformieren, dass sie realistischer wirken, ohne die Annotationsinformation zu verlieren. SimGAN [7] ist das prominenteste Beispiel: Ein adversarielles Refiner-Netzwerk transformiert UnityEyes-Ausgaben auf Pixelebene, wobei eine Self-Regularization-Loss verhindert, dass der Refiner Bildinhalte halluziniert und die Blickrichtungsannotation verfälscht. Ein lokaler Diskriminator klassifiziert Patches statt ganzer Bilder. SimGAN erzielte auf MPIIGaze eine relative Verbesserung von 21 %, und menschliche Probanden konnten verfeinerte von realen Bildern nicht unterscheiden (51,7 % bei 50 % Zufall). Seg2Eye [8] verfolgt einen komplementären Ansatz: Aus Segmentierungsmasken werden stilkonsistente, personenspezifische Augenbilder generiert, wobei SPADE die inhaltliche Steuerung und AdaIN die Stilinjektion aus Referenzbildern einer Zielperson übernimmt. CycleGAN-basierte Ansätze wie GazeGAN [9] nutzen ungepaarte Bild-zu-Bild-Translation mit zusätzlicher Gaze-Consistency-Loss; Fuhl et al. [10] zeigten, dass solches Refinement die Pupillendetektion auf dem LPW-Datensatz von 0,49 auf 0,71 verbesserte.
|
||||
|
||||
|
||||
|
||||
Gemeinsam ist allen Adaptationsansätzen, dass sie am *Erscheinungsbild* synthetischer Bilder arbeiten — an Texturen, Pixelstatistiken und Stil —, nicht an der zugrundeliegenden geometrischen Struktur. Sie schließen den Domain Gap auf der Oberfläche, lassen aber die anatomische Formdiskrepanz unberührt. Die vorliegende Arbeit adressiert den Gap komplementär: nicht durch stilistische Angleichung, sondern durch Erweiterung der synthetischen Trainingsverteilung um eine bisher unterrepräsentierte morphologische Variationsachse. Beide Strategien — Randomization und Adaptation — sind dabei nicht gegensätzlich, sondern operieren auf unterschiedlichen Ebenen. Formvariation der Periorbitalregion fügt eine biologisch motivierte Variationsdimension hinzu, die in keiner der bestehenden Arbeiten als Faktor isoliert wurde. Ob diese Erweiterung die Generalisierung tatsächlich verbessert oder durch zu breite Streuung erschwert, lässt sich nur experimentell beantworten.
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
### Quellenverzeichnis
|
||||
|
||||
|
||||
|
||||
[1] Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. — *Rendering of Eyes for Eye-Shape Registration and Gaze Estimation*, ICCV 2015
|
||||
|
||||
|
||||
|
||||
[2] Nair, N., Kothari, R. S., Chaudhary, A. K., Yang, Z., Diaz, G. J., Pelz, J. B., & Bailey, R. J. — *RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications*, SAP 2020
|
||||
|
||||
|
||||
|
||||
[3] Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., & Abbeel, P. — *Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World*, IROS 2017
|
||||
|
||||
|
||||
|
||||
[4] Tremblay, J., Prakash, A., Acuna, D., Brophy, M., Jampani, V., Anil, C., To, T., Cameracci, E., Boochoon, S., & Birchfield, S. — *Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization*, CVPR Workshops 2018
|
||||
|
||||
|
||||
|
||||
[5] Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. — *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images*, ETRA 2016
|
||||
|
||||
|
||||
|
||||
[6] Byrne, S. A., Maquiling, V., Nyström, M., Kasneci, E., & Niehorster, D. C. — *LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking Using Synthetic Eye Images*, Behavior Research Methods 2025
|
||||
|
||||
|
||||
|
||||
[7] Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. — *Learning from Simulated and Unsupervised Images through Adversarial Training*, CVPR 2017
|
||||
|
||||
|
||||
|
||||
[8] Bühler, M., Park, S., De Mello, S., Zhang, X., & Hilliges, O. — *Content-Consistent Generation of Realistic Eyes with Style*, ICCV Workshops 2019
|
||||
|
||||
|
||||
|
||||
[9] Sela, M., Xu, P., He, J., Navalpakkam, V., & Lagun, D. — *GazeGAN — Unpaired Adversarial Image Generation for Gaze Estimation*, arXiv 2017
|
||||
|
||||
|
||||
|
||||
[10] Fuhl, W., Geisler, D., Rosenstiel, W., & Kasneci, E. — *The Applicability of Cycle GANs for Pupil and Eyelid Segmentation, Data Generation and Image Refinement*, ICCV Workshops 2019
|
||||
|
||||
# Variante 2 von Gibbidy
|
||||
|
||||
## 3. Sim-to-Real-Transfer, Generalisierung und Domain Adaptation / Domain Randomization
|
||||
|
||||
|
||||
|
||||
Der Einsatz synthetischer Daten verspricht für das Eyetracking erhebliche praktische Vorteile, weil Annotationen automatisch verfügbar sind und sich seltene oder schwer kontrollierbare Blicksituationen gezielt erzeugen lassen. Dennoch zeigt sich in der Literatur konsistent, dass Modelle, die auf synthetischen Daten trainiert werden, auf realen Bildern typischerweise schlechter generalisieren. Dieses Problem wird als *Sim-to-Real-Gap* bezeichnet und beschreibt die Differenz zwischen der Verteilung synthetischer Trainingsdaten und jener realer Anwendungsdaten [1][4]. Im Eyetracking ist dieser Gap nicht nur ein abstraktes methodisches Problem, sondern empirisch klar sichtbar: Für die gaze estimation berichten Wood et al. auf MPIIGaze einen mittleren Fehler von 13.91° für ein auf SynthesEyes trainiertes Modell, während ein innerhalb derselben Zieldomäne trainiertes Modell einen praktischen unteren Referenzwert von 6.33° erreicht [1]. Auch im Bereich der Augensegmentierung zeigen Arbeiten im Umfeld von RIT-Eyes, OpenEDS und verwandten Datensätzen deutliche Leistungseinbrüche, sobald Bildqualität, Auflösung oder Aufnahmebedingungen zwischen Trainings- und Testdaten variieren; publizierte mIoU-Werte reichen dann nur noch in Bereiche von ungefähr 73 bis 86, während in kontrollierten In-Domain-Szenarien Werte von über 95 erreicht werden [7][8]. Der zentrale Grund dafür ist, dass synthetische und reale Daten sich in mehreren, für das Modell relevanten Dimensionen unterscheiden: Beleuchtung, Sensorrauschen, Reflexionen, Okklusionen, Hardwarecharakteristika und anatomische Variation der Augenregion sind in der Realität anders verteilt als in der Simulation [1][6].
|
||||
|
||||
|
||||
|
||||
Eine zentrale Strategie zur Verringerung dieses Sim-to-Real-Gaps ist *Domain Randomization*. Deren Grundidee besteht nicht darin, die Simulation möglichst perfekt an eine konkrete reale Zielwelt anzunähern, sondern die synthetische Datenverteilung so breit zu machen, dass die reale Welt für das Modell nur noch als ein Spezialfall innerhalb dieser Variabilität erscheint [2]. Tobin et al. formulieren dies als methodischen Rahmen für Sim-to-Real-Transfer: Wenn genügend relevante Faktoren randomisiert werden, kann Generalisierung gerade deshalb gelingen, weil das Modell nicht auf eine enge, künstliche Simulationswelt überfitten kann [2]. Für das Eyetracking ist diese Perspektive besonders anschlussfähig. UnityEyes verfolgt genau diese Logik, indem es große Mengen stark variierender Augenbilder effizient erzeugt und damit zeigt, dass Skalierung und Variationsbreite selbst dann nützlich sein können, wenn der Schwerpunkt weniger auf maximalem Photorealismus liegt [3]. Demgegenüber hebt SynthesEyes stärker die Bedeutung realistischer Beleuchtung und kontrollierter Formvariation hervor und zeigt ebenfalls, dass genau diese Faktoren für gaze estimation und Eye-Shape-Registration relevant sind [1]. Zusammengenommen legt diese Literatur nahe, dass nicht allein *mehr Realismus* entscheidend ist, sondern vor allem die Frage, welche Variationsachsen in synthetischen Daten überhaupt modelliert werden.
|
||||
|
||||
|
||||
|
||||
Für die vorliegende Arbeit ist genau an dieser Stelle die entscheidende argumentative Brücke zu schlagen: **Periorbitale Formvariation lässt sich als eine spezifische, biologisch motivierte Form von Domain Randomization verstehen.** Bisher werden in synthetischen Eyetracking-Daten vor allem Blickrichtung, Kopfpose, Beleuchtung, Textur oder Geräteeigenschaften variiert [1][3]. Weniger explizit untersucht ist dagegen, in welchem Maß interindividuelle anatomische Unterschiede der Periorbitalregion selbst – also Unterschiede in Lidform, Augenöffnung, Weichteilkontur oder umliegender Geometrie – eine eigenständige Generalisierungsachse darstellen. Gerade diese Frage ist jedoch plausibel, weil Generalisierungsprobleme im Eyetracking laut jüngerer Literatur nicht nur durch Hardwareunterschiede, sondern auch durch biologische Diversität zwischen Versuchspersonen verschärft werden [6]. Zusätzliche morphologische Variation könnte daher helfen, den Support der synthetischen Trainingsverteilung sinnvoll zu erweitern. Zugleich ist aber ebenso denkbar, dass solche Variation die Optimierungsaufgabe unnötig erschwert oder irrelevante Streuung einführt. Sie hilft also nicht automatisch, sondern nur dann, wenn sie reale anatomische Unterschiede hinreichend plausibel und labelkonsistent abbildet.
|
||||
|
||||
|
||||
|
||||
Neben Domain Randomization existiert eine zweite Strategiefamilie, die den Sim-to-Real-Gap nicht über mehr Variationsbreite, sondern über *Annäherung an reale Bildverteilungen* adressiert: *Domain Adaptation* beziehungsweise *Image Refinement*. Das prominenteste Beispiel hierfür ist SimGAN. Shrivastava et al. schlagen vor, synthetische Bilder mithilfe unlabelter realer Bilder adversariell zu verfeinern, sodass ihr Erscheinungsbild realistischer wird, ohne dass die ursprünglich verfügbaren Labels verloren gehen [4]. Für gaze estimation ist dies besonders relevant, weil SimGAN explizit auf UnityEyes-Bilder und reale MPIIGaze-Daten angewandt wird. Die Arbeit berichtet, dass auf diese Weise der mittlere gaze-Fehler gegenüber rein synthetischem Training um 2.1° reduziert wird, was einer relativen Verbesserung von 21 % gegenüber dem damaligen Stand der Technik entspricht [4]. Der methodische Kern dieses Ansatzes liegt also darin, den *visuellen* Gap zwischen synthetischen und realen Daten zu verkleinern: Hauttextur, Iriserscheinung, Sensorartefakte und andere Bildstatistiken werden realistischer, während die semantische Struktur des Trainingsbeispiels erhalten bleiben soll [4].
|
||||
|
||||
|
||||
|
||||
Ein verwandter, aber anders gelagerter Ansatz ist Seg2Eye. Bühler et al. generieren aus semantischen Segmentierungsmasken personenspezifische Augenbilder, die einer vorgegebenen inhaltlichen Struktur folgen, gleichzeitig aber stilistisch an eine Zielperson angepasst werden [5]. Auch hier steht damit nicht die Erweiterung der geometrischen Variabilität im Vordergrund, sondern die stilistische Konsistenz synthetischer Daten mit realen Personen. Solche Verfahren sind für das Eyetracking sehr relevant, weil sie zeigen, dass die Übertragbarkeit synthetischer Daten auch über die Erscheinungsebene verbessert werden kann. Zugleich markieren sie aber eine klare Grenze zu der hier verfolgten Forschungsfrage: Adaptations- und Refinement-Verfahren arbeiten primär an **Textur, Stil und Bildstatistik**, nicht an der zugrundeliegenden **morphologischen Variation** der Augenregion [4][5].
|
||||
|
||||
|
||||
|
||||
Damit lässt sich der Forschungsstand zu Sim-to-Real-Transfer im Eyetracking in zwei komplementäre Strategien gliedern. Domain Randomization versucht, robuste Modelle durch eine möglichst breite synthetische Datenverteilung zu trainieren [2][3]. Domain Adaptation und Refinement versuchen dagegen, synthetische Bilder nachträglich näher an reale Daten anzupassen [4][5]. Beide Strategien adressieren also denselben Sim-to-Real-Gap, jedoch auf unterschiedlichen Ebenen. Die vorliegende Arbeit ist in diesem Rahmen als Beitrag auf der **Geometrieseite** zu verorten: Sie untersucht nicht primär, ob synthetische Augenbilder realistischer aussehen, sondern ob eine zusätzliche, biologisch motivierte Variationsachse – die Formvariation der Periorbitalregion – die Generalisierung auf reale Daten verbessert oder verschlechtert. Genau darin liegt die Forschungslücke: Während Beleuchtung, Textur, Geräteeinflüsse und stilistische Anpassung bereits breit diskutiert werden, wurde morphologische Variation der Periorbitalregion bislang kaum explizit als isolierter Faktor des Sim-to-Real-Transfers untersucht [1][3][6]. Die Leitfrage lautet daher nicht nur, ob Augenformen synthetisch modellierbar sind, sondern ob diese zusätzliche anatomische Variation den Domain Gap tatsächlich reduziert – oder unter bestimmten Bedingungen sogar vergrößert.
|
||||
|
||||
|
||||
|
||||
## Quellenverzeichnis
|
||||
|
||||
|
||||
|
||||
[1] **Rendering of Eyes for Eye-Shape Registration and Gaze Estimation** — Erroll Wood, Tadas Baltrušaitis, Xucong Zhang, Yusuke Sugano, Peter Robinson, Andreas Bulling, 2015. ([CVF Open Access][1])
|
||||
|
||||
|
||||
|
||||
[2] **Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World** — Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel, 2017. ([Hugging Face][2])
|
||||
|
||||
|
||||
|
||||
[3] **Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images** — Erroll Wood, Tadas Baltrušaitis, Louis-Philippe Morency, Peter Robinson, Andreas Bulling, 2016. ([collaborative-ai.org][3])
|
||||
|
||||
|
||||
|
||||
[4] **Learning From Simulated and Unsupervised Images Through Adversarial Training** — Ashish Shrivastava, Tomas Pfister, Oncel Tuzel, Joshua Susskind, Wenda Wang, Russell Webb, 2017. ([CVF Open Access][4])
|
||||
|
||||
|
||||
|
||||
[5] **Content-Consistent Generation of Realistic Eyes with Style** — Marcel C. Bühler, Seonwook Park, Shalini De Mello, Xucong Zhang, Otmar Hilliges, 2019. ([AIT Lab][5])
|
||||
|
||||
|
||||
|
||||
[6] **LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking using Synthetic Eye Images** — Sean Anthony Byrne, Virmarie Maquiling, Marcus Nyström, Enkelejda Kasneci, Diederick C. Niehorster, 2025. ([Springer Nature Link][6])
|
||||
|
||||
|
||||
|
||||
[7] **RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking** — Aayush K. Chaudhary, Rakshit Kothari, Manoj Acharya, Shusil Dangi, Nitinraj Nair, Reynold Bailey, Christopher Kanan, Gabriel J. Diaz, Jeff B. Pelz, 2019. ([ResearchGate][7])
|
||||
|
||||
|
||||
|
||||
[8] **Shape Constrained Network for Eye Segmentation in the Wild** — Bingnan Luo, Jie Shen, Shiyang Cheng, Yujiang Wang, Maja Pantic, 2020. ([CVF Open Access][8])
|
||||
|
||||
|
||||
|
||||
[9] **A Theory of Learning from Different Domains** — Shai Ben-David, John Blitzer, Koby Crammer, Alex Kulesza, Fernando Pereira, Jennifer Wortman Vaughan, 2010. ([Springer Nature Link][9])
|
||||
|
||||
|
||||
|
||||
Ich kann dir das im nächsten Schritt auch noch auf **etwas kürzer, etwas formeller oder etwas „masterarbeitsdeutscher“** glätten.
|
||||
|
||||
|
||||
|
||||
[1]: https://openaccess.thecvf.com/content_iccv_2015/html/Wood_Rendering_of_Eyes_ICCV_2015_paper.html "ICCV 2015 Open Access Repository"
|
||||
|
||||
[2]: https://huggingface.co/papers/1703.06907 "Paper page - Domain Randomization for Transferring Deep Neural Networks from
|
||||
|
||||
Simulation to the Real World"
|
||||
|
||||
[3]: https://www.collaborative-ai.org/publications/wood16_etra/?utm_source=chatgpt.com "Learning an appearance-based gaze estimator from one million synthesised images | Collaborative Artificial Intelligence"
|
||||
|
||||
[4]: https://openaccess.thecvf.com/content_cvpr_2017/html/Shrivastava_Learning_From_Simulated_CVPR_2017_paper.html?utm_source=chatgpt.com "CVPR 2017 Open Access Repository"
|
||||
|
||||
[5]: https://ait.ethz.ch/seg2eye?utm_source=chatgpt.com "Content-Consistent Generation of Realistic Eyes with Style | AIT Lab"
|
||||
|
||||
[6]: https://link.springer.com/article/10.3758/s13428-025-02645-y?utm_source=chatgpt.com "LEyes: A lightweight framework for deep learning-based eye tracking using synthetic eye images | Behavior Research Methods | Springer Nature Link"
|
||||
|
||||
[7]: https://www.researchgate.net/publication/339762049_RITnet_Real-time_Semantic_Segmentation_of_the_Eye_for_Gaze_Tracking?utm_source=chatgpt.com "(PDF) RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking"
|
||||
|
||||
[8]: https://openaccess.thecvf.com/content_WACV_2020/papers/Luo_Shape_Constrained_Network_for_Eye_Segmentation_in_the_Wild_WACV_2020_paper.pdf "Shape Constrained Network for Eye Segmentation in the Wild"
|
||||
|
||||
[9]: https://link.springer.com/article/10.1007/s10994-009-5152-4?utm_source=chatgpt.com "A theory of learning from different domains | Machine Learning | Springer Nature Link"
|
||||
|
||||
# Variante 3 von Jammy
|
||||
|
||||
## 3\. Sim-to-Real-Transfer, Generalisierung und Domänenadaption
|
||||
|
||||
|
||||
|
||||
Der Übergang von kontrollierten, synthetischen Simulationsumgebungen hin zu den unvorhersehbaren Bedingungen der realen Welt stellt eine der signifikantesten Hürden in der Entwicklung robuster blickbasierter Schätzmodelle dar. Diese Diskrepanz, die als Simulation-to-Reality-Lücke oder kurz Sim-to-Real-Gap bezeichnet wird, manifestiert sich als eine multidimensionale Verteilungsschiebung (Distribution Shift), die sowohl visuelle als auch geometrische Abweichungen umfasst.1
|
||||
|
||||
|
||||
|
||||
### **3.1 Die Sim-to-Real-Lücke im Eyetracking**
|
||||
|
||||
|
||||
|
||||
In der blickbasierten Computer Vision ist das Problem des Domänenunterschieds besonders akut, da kleinste Abweichungen in der Darstellung der Augenregion zu signifikanten Vorhersagefehlern führen. Dass Modelle, die ausschließlich auf synthetischen Daten trainiert wurden, auf realen Datensätzen massiv an Genauigkeit verlieren, ist empirisch gut belegt. So berichtet die wegweisende Arbeit zu **SynthesEyes** von einem drastischen Anstieg des Fehlers bei der Blickrichtungsschätzung: Während das Modell innerhalb der synthetischen Domäne hochpräzise agiert, steigt der Winkelfehler beim Transfer auf den realen Datensatz MPIIGaze von 6,33° auf 13,91° an.
|
||||
|
||||
Diese Lücke betrifft nicht nur die Regression von Blickvektoren, sondern auch vorgelagerte Aufgaben wie die Merkmalssegmentierung. Der Datensatz **RIT-Eyes** zeigt hierzu eine deutliche Verschlechterung der Segmentierungsqualität (mIoU): Modelle, die auf synthetischen Daten eine mIoU von über 95 erreichen, fallen im Cross-Domain-Einsatz auf Werte zwischen 73 und 86 zurück. Diese Zahlen verdeutlichen, dass die bloße Verfügbarkeit großer synthetischer Datenmengen ohne spezifische Transferstrategien nicht ausreicht, um die Anforderungen realer Anwendungen zu erfüllen.
|
||||
|
||||
|
||||
|
||||
### **3.2 Strategie 1: Domain Randomization – Varianz vor Realismus**
|
||||
|
||||
|
||||
|
||||
Einen zentralen methodischen Rahmen zur Überwindung dieser Lücke bildet die von **Tobin et al. (2017)** formalisierte **Domain Randomization (DR)**. Die Kernidee der DR ist es, die Variabilität der synthetischen Trainingsumgebung so stark zu erhöhen, dass die reale Welt für das Modell lediglich als eine weitere Variation innerhalb des gelernten Raums erscheint.3 Tobin et al. konnten nachweisen, dass eine ausreichende Breite an Variationen (z. B. Texturen, Beleuchtung, Kamerapositionen) für die Generalisierung wichtiger ist als fotorealistische Präzision.4
|
||||
|
||||
Im Kontext des Eyetrackings lässt sich der Erfolg von **UnityEyes** gegenüber SynthesEyes primär durch dieses Argument erklären. Obwohl SynthesEyes auf fotorealistischen Scans basiert, ermöglicht UnityEyes durch seine prozedurale Natur eine massiv skalierbare Variation der Augenregion (bis zu 1 Million Bilder), was die Rendering-Treue in der Praxis schlägt. Der entscheidende Befund ist hierbei, dass die **Varietät der Subjekte** der kritischste Parameter für die Genauigkeit in der Zielregion ist.3
|
||||
|
||||
An dieser Stelle setzt die Argumentation der vorliegenden Arbeit an: Die **periorbitale Formvariation** wird konzeptionell als eine bisher vernachlässigte, biologisch motivierte Achse der Domain Randomization eingeordnet. Indem nicht nur Beleuchtung und Blickwinkel, sondern gezielt die morphologischen Parameter der Augenregion randomisiert werden, soll das Modell lernen, anatomische Unterschiede als aufgabenirrelevant zu behandeln.
|
||||
|
||||
|
||||
|
||||
### **3.3 Strategie 2: Verfeinerung und Domänenadaption**
|
||||
|
||||
|
||||
|
||||
Komplementär zur Domain Randomization stehen Ansätze der **Domain Adaptation (DA)**, die versuchen, den visuellen Abstand zwischen Simulation und Realität direkt zu minimieren. Ein prominentes Beispiel ist **SimGAN**, das mittels adversariellen Lernens synthetische Bilder (z. B. aus UnityEyes) verfeinert, um sie statistisch an reale Daten anzupassen.5 Durch spezifische Verlustfunktionen, wie den *Self-Regularization Loss*, wird sichergestellt, dass die visuellen Details zwar realistischer werden, die zugrunde liegende geometrische Information (die Blickrichtungs-Labels) jedoch erhalten bleibt.7
|
||||
|
||||
Ein weiterer spezialisierter Ansatz ist **Seg2Eye**, ein Framework zur personenspezifischen Generierung. Seg2Eye nutzt semantische Segmentierungsmasken als Inhalts-Vorgabe und kombiniert diese mit dem visuellen Stil einer realen Zielperson. Während Seg2Eye erfolgreich den visuellen (Pixel-Level) Gap durch Stiltransfer adressiert, bleibt es auf die geometrische Vielfalt der Eingangsmasken angewiesen.8
|
||||
|
||||
|
||||
|
||||
### **3.4 Zusammenfassende Positionierung**
|
||||
|
||||
|
||||
|
||||
Beide Strategien – Domain Randomization und Domain Adaptation – adressieren den Sim-to-Real Gap, tun dies jedoch auf unterschiedlichen Ebenen:
|
||||
|
||||
|
||||
|
||||
* **Domain Adaptation** (z. B. SimGAN, Seg2Eye) arbeitet primär an der visuellen Erscheinung und dem stilistischen Angleich auf Pixelebene.
|
||||
|
||||
* **Domain Randomization** (z. B. Tobin et al., UnityEyes) zielt auf die Robustheit durch schiere Breite des Parameterraums ab.
|
||||
|
||||
|
||||
|
||||
Die vorliegende Arbeit positioniert sich an der Schnittstelle dieser Konzepte, fokussiert jedoch die **Geometrieseite**. Die systematische Modellierung der interindividuellen Formvariation der Periorbitalregion fügt den bestehenden Ansätzen eine explizite biologische Variationsachse hinzu. Damit wird die Forschungslücke zwischen rein texturbasierter Adaptation und unspezifischer Randomisierung geschlossen, indem untersucht wird, ob die gezielte morphologische Varianz – als spezialisierte Form der Domain Randomization – die Generalisierungsfähigkeit blickbasierter Modelle entscheidend verbessert.
|
||||
|
||||
#### **Referenzen**
|
||||
|
||||
1. Sim-to-Real – Bridging the Reality Gap for AV Perception \- Chair of Automotive Technology, Zugriff am März 29, 2026, [https://www.mos.ed.tum.de/en/ftm/main-research/intelligent-vehicle-systems/sim-to-real-bridging-the-reality-gap-for-av-perception/](https://www.mos.ed.tum.de/en/ftm/main-research/intelligent-vehicle-systems/sim-to-real-bridging-the-reality-gap-for-av-perception/)
|
||||
|
||||
2. Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement \- arXiv, Zugriff am März 29, 2026, [https://arxiv.org/html/2305.16140v2](https://arxiv.org/html/2305.16140v2)
|
||||
|
||||
3. Domain randomization for neural network classification \- PMC, Zugriff am März 29, 2026, [https://pmc.ncbi.nlm.nih.gov/articles/PMC8570318/](https://pmc.ncbi.nlm.nih.gov/articles/PMC8570318/)
|
||||
|
||||
4. Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World | Request PDF \- ResearchGate, Zugriff am März 29, 2026, [https://www.researchgate.net/publication/315489711\_Domain\_Randomization\_for\_Transferring\_Deep\_Neural\_Networks\_from\_Simulation\_to\_the\_Real\_World](https://www.researchgate.net/publication/315489711_Domain_Randomization_for_Transferring_Deep_Neural_Networks_from_Simulation_to_the_Real_World)
|
||||
|
||||
5. Learning From Simulated and Unsupervised ... \- CVF Open Access, Zugriff am März 29, 2026, [https://openaccess.thecvf.com/content\_cvpr\_2017/papers/Shrivastava\_Learning\_From\_Simulated\_CVPR\_2017\_paper.pdf](https://openaccess.thecvf.com/content_cvpr_2017/papers/Shrivastava_Learning_From_Simulated_CVPR_2017_paper.pdf)
|
||||
|
||||
6. Pointing It Out\! Comparing Manual Segmentation of 3D Point Clouds between Desktop, Tablet, and Virtual Reality | Request PDF \- ResearchGate, Zugriff am März 29, 2026, [https://www.researchgate.net/publication/372774181\_Pointing\_It\_out\_Comparing\_Manual\_Segmentation\_of\_3D\_Point\_Clouds\_between\_Desktop\_Tablet\_and\_Virtual\_Reality](https://www.researchgate.net/publication/372774181_Pointing_It_out_Comparing_Manual_Segmentation_of_3D_Point_Clouds_between_Desktop_Tablet_and_Virtual_Reality)
|
||||
|
||||
7. Learning from Simulated and Unsupervised Images through Adversarial Training, Zugriff am März 29, 2026, [https://www.computer.org/csdl/proceedings-article/cvpr/2017/0457c242/12OmNBNM8Ux](https://www.computer.org/csdl/proceedings-article/cvpr/2017/0457c242/12OmNBNM8Ux)
|
||||
|
||||
8. Content-Consistent Generation of Realistic Eyes with Style, Zugriff am März 29, 2026, [https://research.nvidia.com/sites/default/files/pubs/2019-11\_Content-Consistent-Generation-of/openeds\_challenge\_iccv.pdf](https://research.nvidia.com/sites/default/files/pubs/2019-11_Content-Consistent-Generation-of/openeds_challenge_iccv.pdf)
|
||||
43
Paperung/Related Works/3.4 - Finale Version.md
Normal file
43
Paperung/Related Works/3.4 - Finale Version.md
Normal file
@@ -0,0 +1,43 @@
|
||||
## 3.4 Modellierung interindividueller anatomischer Variation der Periorbitalregion
|
||||
|
||||
Die in den vorangegangenen Abschnitten vorgestellten Synthesepipelines variieren fast ausschließlich *dynamische* Bildparameter: Blickrichtung, Kopfpose, Beleuchtung und Pupillendurchmesser ändern sich von Bild zu Bild und erzeugen die gewünschte Trainingsvarianz. Die *statische Grundform* der Augenregion -- Lidspaltengeometrie, Lidfaltentiefe, Epikanthuspräsenz, Kanthusneigung -- wird dagegen entweder gar nicht randomisiert oder nur implizit über eine kleine Menge diskreter 3D-Kopfmodelle abgedeckt. Damit bleibt eine zentrale Dimension natürlicher Erscheinungsvielfalt in den generierten Datensätzen unterrepräsentiert. Dieses Kapitel begründet, warum die periorbitale Morphologie eine eigenständige, biologisch fundierte Variationsachse darstellt, und zeigt, wie morphologische Variation in bestehenden Modellierungsansätzen parametrisch erfasst wird.
|
||||
|
||||
### 3.4.1 Periorbitale Morphologie als relevante Variationsachse
|
||||
|
||||
Dass sich die Periorbitalregion systematisch zwischen Individuen unterscheidet, ist in der anthropometrischen Literatur quantitativ gut belegt. Die umfassendste Referenz liefert die internationale Vergleichsstudie von Farkas, Katic und Forrest et al., die 1\,470 Personen aus 25 ethnischen Gruppen auf vier Kontinenten vermessen und signifikante Unterschiede in biokulärer Breite, Interkanthalabstand und Lidspaltenneigung dokumentiert hat [Farkas2005]. Auf Populationsebene zeigen sich die Unterschiede besonders deutlich in der Lidspaltengeometrie: Rhee, Woo und Kwon berichten für koreanische Gesichter eine mittlere Lidspaltenhöhe von ca. 8,6\,mm gegenüber ca. 10,7\,mm bei kaukasischen und ca. 10,8\,mm bei afrikanischen Gesichtern, während die Kanthusneigung in ostasiatischen Populationen mit 10--11° deutlich steiler ausfällt als in kaukasischen (ca. 7°) oder afrikanischen Gruppen (ca. 5°) [Rhee2012]. Ergänzende dreidimensionale Messstudien an weiteren Populationen bestätigen, dass Lidspaltenbreite, -höhe und -neigung signifikant mit ethnischem Hintergrund und Geschlecht variieren [Gao2025, Price2009].
|
||||
|
||||
Neben der Lidspalte selbst unterscheiden sich weitere Merkmale substanziell. Die *Supratarsalfalte* (Doppellidfalte) ist bei über 85\,\% der europäischen Bevölkerung sichtbar, aber je nach Studie nur bei 40--83\,\% der ostasiatischen Bevölkerung vorhanden; Lu, Kadir, Ngeow und Othman fanden eine Prävalenz von 100\,\% bei malaiischen gegenüber 70\,\% bei chinesischen Probanden, mit deutlich unterschiedlicher Faltenhöhe (8,3 vs. 4,9\,mm) [Lu2017]. Die *Epikanthalfalte* -- eine Hautfalte, die den medialen Kanthus überdeckt -- kommt bei 60--90\,\% der ost- und südostasiatischen Erwachsenen vor, aber bei weniger als 10\,\% der europäischen Bevölkerung. Anatomisch wird dieser Unterschied auf die tiefere Insertion des Orbitalseptums am Levator und die stärkere Ausprägung des präseptalen Orbicularis-oculi-Muskels zurückgeführt [Park2015].
|
||||
|
||||
Über die ethnische Variation hinaus sind auch geschlechts- und altersbedingte Unterschiede dokumentiert. Studien berichten signifikante Differenzen in Lidspaltenmaßen und Brauenpositionen zwischen Männern und Frauen [Gao2025, Price2009]. Mit zunehmendem Alter verändern sich Lidhautspannung und Lidkonturen; Erschlaffung, Ptosis und Verschiebungen der Orbitalfettverteilung führen nach dem 45. Lebensjahr zu messbaren Veränderungen der Lidspaltenmaße [Patil2011]. Darüber hinaus ist *natürliche bilaterale Asymmetrie* ein bekanntes Phänomen: Song et al. dokumentieren, dass bei 24--27\,\% der untersuchten Personen eine Seitendifferenz der Lidspaltenhöhe von $\geq$\,1\,mm und bei 22--36\,\% eine Neigungsdifferenz von $\geq$\,2° besteht [Song2007].
|
||||
|
||||
Zusammenfassend bilden Lidform, Lidfalte, Epikanthus und Kanthusneigung ein mehrdimensionales System biologisch fundierter, visuell wirksamer Formvariation, das sich systematisch entlang von Ethnie, Geschlecht und Alter unterscheidet. Ein synthetischer Generator, der diese Achsen nicht abbildet, erzeugt Trainingsdaten, die einen wesentlichen Teil der natürlichen Erscheinungsvielfalt ausblenden -- mit potenziellen Konsequenzen für die Generalisierungsfähigkeit trainierter Modelle.
|
||||
|
||||
### 3.4.2 Parametrische Modellierung morphologischer Variation
|
||||
|
||||
Die parametrische Modellierung von Gesichtsform hat eine lange Tradition in der Computer Vision. *3D Morphable Models* (3DMMs) repräsentieren Gesichtsgeometrie als Linearkombination von Basisformen, die durch Hauptkomponentenanalyse (PCA) aus registrierten 3D-Scans gewonnen werden. Das *Basel Face Model* (BFM) wurde aus 200 Laserscans überwiegend europäischer Probanden trainiert und erzeugt 199 Formkomponenten über einem Mesh von 53\,490 Vertices [Paysan2009]. *FLAME* erweitert das Prinzip um ein artikuliertes Kopfmodell mit 5\,023 Vertices, trainiert auf ca. 3\,800 Kopfscans, und stellt 300 Identitäts- sowie 100 Expressionsparameter bereit, ergänzt um vier Gelenke und poseabhängige Korrektur-Blendshapes [Li2017]. Das *Large Scale Facial Model* (LSFM) steigerte die Trainingsbasis auf 9\,663 Identitäten und zeigte, dass demographische Cluster auf der Formmannigfaltigkeit implizit kodiert werden [Booth2018].
|
||||
|
||||
Alle drei Modelle teilen jedoch eine strukturelle Einschränkung: Ihre Dimensionen sind *holistisch und semantisch nicht interpretierbar*. PCA maximiert erklärte Varianz, nicht anatomische Bedeutung -- eine einzelne Hauptkomponente verändert typischerweise gleichzeitig Nasenbreite, Wangenprominenz, Brauenform und Orbitaltiefe. Es gibt keinen Parameter, der gezielt die Tiefe der Lidfalte oder die Ausprägung einer Epikanthalfalte steuert. Dasselbe gilt für das *3D Morphable Eye Region Model* von Wood et al., das erstmals ein PCA-basiertes Formmodell speziell für die Augenregion entwickelte: Acht Formkoeffizienten erfassen 90\,\% der Varianz über 22 Kopfscans, und die erste Hauptkomponente unterscheidet grob zwischen *hooded* und *protruding* Augen [Wood2016b]. Die Koeffizienten sind jedoch weder benannt noch anatomisch zuweisbar, und die Trainingsbasis von 22 Scans ist zu klein, um die in Abschnitt 3.4.1 dokumentierte globale Variationsbreite abzubilden. UnityEyes nutzt genau dieses Modell als Formgenerator [Wood2016], steht aber vor demselben Problem: Die PCA-Achsen erlauben keine gezielte Steuerung einzelner anatomischer Merkmale. Für den vorliegenden Kontext ist genau das die zentrale Einschränkung -- Variation ist zwar modelliert, aber nicht in Form lokal benennbarer, anatomisch plausibler Parameter.
|
||||
|
||||
Einen grundlegend anderen Ansatz verfolgt Wisetchat in ihrer Dissertation *Description-based Visualisation of Ethnic Facial Types* mit anschließender Validierung in Wisetchat, Stevens und Frost [Wisetchat2018, Wisetchat2024]. Statt holistische PCA-Dimensionen zu verwenden, definiert das dort vorgestellte *Topographical Face Model* (TFM) 71 semantisch interpretierbare, lokale Formattribute über 36 anatomische Merkmale in sechs Gesichtsregionen. Jedes Attribut ist als unabhängiger Blendshape-Deformer auf einer Catmull-Clark-Subdivisionsfläche implementiert, mit einem linearen Interpolationskoeffizienten $\alpha \in [0, 1]$ zwischen einer Basisform und einer Zielform. Quasi-Orthogonalität wird dadurch erzielt, dass jeder Blendshape nur entlang einer der drei anatomischen Achsen -- mediolateral, superoinferior oder anteroposterior -- deformiert. Die *Periorbitalregion* ist mit 12 Features und 14 Attributen die reichste Einzelregion des Modells und erfasst genau jene Merkmale, deren Variabilität in Abschnitt 3.4.1 dokumentiert wurde: Endokanthion- und Exokanthionposition (steuern Kanthusneigung und Lidspaltenbreite), Lidspaltenhöhe, obere und untere Lidkonvexität, Tiefenparameter für die periorbitale Fossa, die Tiefe des Supratarsalsulkus, ein Attribut für die Supratarsalfalte sowie ein eigenes Attribut für die Epikanthalfalte. Der entscheidende Kontrast zu klassischen 3DMMs liegt darin, dass jeder dieser Parameter semantisch benennbar, anatomisch zuweisbar und unabhängig von den anderen steuerbar ist. In einer Validierung an 80 stereophotogrammetrisch erfassten Gesichtern lagen über 80\,\% der Oberflächenpunkte innerhalb von 1\,mm der Originalscans, und eine MANOVA bestätigte, dass die TFM-Attribute geographische Herkunft und Geschlecht signifikant trennen (jeweils $p < 0{,}0001$) [Wisetchat2024].
|
||||
|
||||
Wisetchats Arbeit zielt jedoch auf die *menschliche visuelle Wahrnehmung* ethnischer Gesichtsvariation -- das TFM ist ein interaktives Explorationswerkzeug, nicht ein Datengenerator für maschinelles Lernen. Die vorliegende Arbeit übernimmt denselben Grundgedanken -- explizite, semantisch interpretierbare, quasi-orthogonale Formparameter für die Periorbitalregion --, wendet ihn aber in einem anderen Kontext an: als Randomisierungsachsen innerhalb einer Blender-basierten Synthesepipeline, mit dem Ziel, Trainingsdaten für ein Pupillensegmentierungsmodell zu erzeugen. Die Parameter werden nicht interaktiv exploriert, sondern stochastisch gesampelt, um die in Abschnitt 3.4.1 belegte natürliche Variationsbreite systematisch abzudecken. Gleiche Modellierungsphilosophie, anderer Anwendungskontext -- eine Kombination, die in der bisherigen Literatur zur synthetischen Eye-Tracking-Datengenerierung nicht realisiert wurde. Kapitel 3.5 positioniert diese Lücke explizit und formuliert den Beitrag der eigenen Arbeit.
|
||||
|
||||
---
|
||||
|
||||
### Quellenverzeichnis
|
||||
|
||||
- **[Farkas2005]** Farkas, L. G., Katic, M. J., Forrest, C. R. et al. -- *International Anthropometric Study of Facial Morphology in Various Ethnic Groups/Races.* Journal of Craniofacial Surgery, 16(4), 615--646, 2005.
|
||||
- **[Rhee2012]** Rhee, S. C., Woo, K. S. & Kwon, B. -- *Biometric Study of Eyelid Shape and Dimensions of Different Races with References to Beauty.* Aesthetic Plastic Surgery, 36(5), 1236--1245, 2012.
|
||||
- **[Gao2025]** Gao, T., Guo, Y., Rokohl, A. C., Fan, W., Lin, M., Ju, S., Li, X., Hou, X., Rosenkranz, T. A., Zhang, G., Bai, H., Ni, K., Yao, K. & Heindl, L. M. -- *Racial and Sexual Differences of Eyebrow and Eyelid Morphology: Three-dimensional Analysis in Young Caucasian and Chinese Populations.* 2025.
|
||||
- **[Price2009]** Price, K. M., Gupta, P. K., Woodward, J. A., Stinnett, S. S. & Murchison, A. P. -- *Eyebrow and Eyelid Dimensions: An Anthropometric Analysis of African Americans and Caucasians.* Plastic and Reconstructive Surgery, 124(2), 615--623, 2009.
|
||||
- **[Lu2017]** Lu, T. Y., Kadir, K., Ngeow, W. C. & Othman, S. A. -- *The Prevalence of Double Eyelid and the 3D Measurement of Orbital Soft Tissue in Malays and Chinese.* Scientific Reports, 7, 14885, 2017.
|
||||
- **[Park2015]** Park, D. H. & Woo, K. J. -- *The Asian Eyelid: Relevant Anatomy.* Seminars in Plastic Surgery, 29(3), 158--164, 2015.
|
||||
- **[Song2007]** Song, W. C., Kim, S. J., Kim, S. H., Hu, K. S., Kim, H. J. & Koh, K. S. -- *Asymmetry of the Palpebral Fissure and Upper Eyelid Crease in Koreans.* Journal of Plastic, Reconstructive & Aesthetic Surgery, 60(3), 251--255, 2007.
|
||||
- **[Patil2011]** Patil, S. B. et al. -- *Age-related Changes in Palpebral Fissure Dimensions.* Journal of Clinical and Diagnostic Research, 5(3), 600--604, 2011.
|
||||
- **[Paysan2009]** Paysan, P., Knothe, R., Amberg, B., Romdhani, S. & Vetter, T. -- *A 3D Face Model for Pose and Illumination Invariant Face Recognition.* Proc. IEEE AVSS, 296--301, 2009.
|
||||
- **[Li2017]** Li, T., Bolkart, T., Black, M. J., Li, H. & Romero, J. -- *Learning a Model of Facial Shape and Expression from 4D Scans.* ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 36(6), 194, 2017.
|
||||
- **[Booth2018]** Booth, J., Roussos, A., Zafeiriou, S., Ponniah, A. & Dunaway, D. -- *Large Scale 3D Morphable Models.* International Journal of Computer Vision, 126(2--4), 233--254, 2018.
|
||||
- **[Wood2016b]** Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P. & Bulling, A. -- *A 3D Morphable Eye Region Model for Gaze Estimation.* Proc. ECCV, 297--313, 2016.
|
||||
- **[Wood2016]** Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P. & Bulling, A. -- *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images.* Proc. ETRA, 131--138, 2016.
|
||||
- **[Wisetchat2018]** Wisetchat, K. -- *Description-based Visualisation of Ethnic Facial Types.* Dissertation, Glasgow School of Art, 2018.
|
||||
- **[Wisetchat2024]** Wisetchat, K., Stevens, R. & Frost, A. -- *Facial Modeling and Measurement Based upon Homologous Topographical Features.* PLOS ONE, 19(6), e0304561, 2024.
|
||||
@@ -0,0 +1,277 @@
|
||||
# Genereller Aufbau:
|
||||
Das Kapitel soll ja nur so 3 Seiten haben, also muss es kompakt und fokussiert sein.
|
||||
Ich würde es so aufbauen:
|
||||
**4.1 Periorbitale Morphologie als relevante Variationsachse** (ca. 1 Seite)
|
||||
Der Einstieg sollte kurz motivieren, warum man überhaupt über Augenformvariation sprechen muss – nämlich weil die Pipelines aus Kapitel 1 fast ausschließlich dynamische Parameter variieren (Blick, Pose, Beleuchtung, Pupillengröße), aber die statische Grundform der Augenregion entweder gar nicht oder nur implizit über diskrete Kopfmodelle abdecken. Dann die anthropometrische Evidenz: Dass sich die Periorbitalregion systematisch unterscheidet, ist keine Vermutung, sondern gut belegt. Hier 3–5 Quellen, die Variation entlang verschiedener Achsen zeigen – ethnischer Hintergrund (Epikanthus-Prävalenz, Lidfaltenausprägung, Lidspaltengeometrie), Geschlecht, Alter (Lidhauterschlaffung, Ptosis), und natürliche Asymmetrien. Du musst das nicht enzyklopädisch abhandeln – es reicht, überzeugend zu zeigen, dass diese Variation real, systematisch und visuell relevant ist. Der Absatz endet mit der Schlussfolgerung: Wenn diese Variation in der Realität existiert, dann sollte ein synthetischer Generator sie auch abbilden können.
|
||||
**4.2 Parametrische Modellierung morphologischer Variation** (ca. 1.5–2 Seiten)
|
||||
Hier würde ich vom Allgemeinen zum Speziellen vorgehen, in drei Schritten:
|
||||
|
||||
Zuerst die **klassischen 3D Morphable Models** – BFM und FLAME als etablierte Ansätze. Kurz gehalten, 1–2 Absätze. Der Punkt ist nicht, diese Modelle im Detail zu erklären, sondern eine zentrale Eigenschaft herauszuarbeiten: Ihre Dimensionen sind PCA-basiert, holistisch und typischerweise nicht semantisch interpretierbar. Man kann nicht sagen "dreh an Dimension 47 und die Lidfalte wird tiefer". UnityEyes' Morphable Eye Region Model hat dasselbe Problem – die erste Hauptkomponente erfasst zwar grob "hooded vs. protruding", aber das sind keine benennbaren anatomischen Features.
|
||||
|
||||
Dann **Wisetchat 2018** als Gegenentwurf und methodisches Kernstück des Unterkapitels. Hier ausführlicher, vielleicht ein guter Absatz. Der entscheidende Kontrast: Statt holistische PCA-Dimensionen zu verwenden, definiert Wisetchat explizite lokale Formmerkmale – Falten, Wölbungen, Neigungen – mit kontinuierlichen Attributen, die quasi-orthogonal zueinander stehen. Die Augenregion ist eine von sechs Gesichtsregionen. Die Attribute sind semantisch benennbar und visuell nachvollziehbar. Das Modell wurde für die menschliche Wahrnehmung ethnischer Variation entwickelt, nicht für maschinelles Lernen – aber der Modellierungsansatz ist genau das, was einer Synthesepipeline fehlt.
|
||||
|
||||
Abschließend die **Abgrenzung zur eigenen Arbeit**, als Überleitung zu Kapitel 5. Wisetchat modelliert das ganze Gesicht für Visualisierungszwecke; deine Arbeit nimmt denselben Grundgedanken – explizite, semantische, unabhängig steuerbare Formparameter – und wendet ihn spezifisch auf die Periorbitalregion in einer Blender-Pipeline an, mit dem Ziel, Trainingsdaten für Pupillensegmentierung zu erzeugen. Gleiche Philosophie, anderer Kontext und Zweck.
|
||||
|
||||
Die argumentative Linie des ganzen Kapitels ist also: **Variation existiert** (4.1) → **andere haben Variation parametrisch modelliert, aber entweder holistisch-unsemantisch oder nicht für Eyetracking** (4.2) → **diese Lücke adressiert die eigene Arbeit** (→ Kapitel 5).
|
||||
|
||||
|
||||
# Variante 1 von Claudibum
|
||||
## 4 Modellierung interindividueller anatomischer Variation der Periorbitalregion
|
||||
|
||||
|
||||
|
||||
### 4.1 Periorbitale Morphologie als relevante Variationsachse
|
||||
|
||||
|
||||
|
||||
Die in Kapitel 1 vorgestellten Synthesepipelines variieren fast ausschließlich *dynamische* Bildparameter: Blickrichtung, Kopfpose, Beleuchtung und Pupillendurchmesser ändern sich von Bild zu Bild und erzeugen die gewünschte Trainingsvarianz. Die *statische Grundform* der Augenregion – Lidspaltengeometrie, Lidfaltentiefe, Epikanthuspräsenz, Kanthusneigung – wird dagegen entweder gar nicht randomisiert oder nur implizit über eine kleine Menge diskreter 3D-Kopfmodelle abgedeckt (zehn bei SynthesEyes und NVGaze, 24 bei RIT-Eyes). Damit fehlt den generierten Datensätzen eine wesentliche Dimension natürlicher Erscheinungsvielfalt, die in der anthropometrischen Literatur gut dokumentiert ist.
|
||||
|
||||
|
||||
|
||||
Dass sich die Periorbitalregion systematisch zwischen Individuen unterscheidet, ist keine Vermutung, sondern quantitativ belegt. Die umfassendste Referenz liefert die internationale Vergleichsstudie von **Farkas, Katic und Forrest et al.** [1], die 1 470 Personen aus 25 ethnischen Gruppen auf vier Kontinenten vermessen und signifikante Unterschiede in biokulärer Breite, Interkanthalabstand und Lidspaltenneigung dokumentiert hat. Auf Populationsebene zeigen sich die Unterschiede besonders deutlich in der Lidspaltengeometrie: **Rhee, Woo und Kwon** [2] berichten für koreanische Gesichter eine mittlere Lidspaltenhöhe von ca. 8,6 mm gegenüber ca. 10,7 mm bei kaukasischen und ca. 10,8 mm bei afrikanischen Gesichtern, während die Kanthusneigung in ostasiatischen Populationen mit 10–11° deutlich steiler ausfällt als in kaukasischen (ca. 7°) oder afrikanischen Gruppen (ca. 5°). Ergänzende Studien an südindischen [3], malaysischen [4] und serbischen Kohorten [5] bestätigen, dass Lidspaltenbreite, -höhe und -neigung signifikant mit ethnischem Hintergrund und Geschlecht variieren.
|
||||
|
||||
|
||||
|
||||
Neben der Lidspalte selbst unterscheiden sich weitere Merkmale substanziell. Die *Supratarsalfalte* (Doppellidfalte) ist bei über 85 % der Europäer\*innen sichtbar, aber je nach Studie nur bei 40–83 % der ostasiatischen Bevölkerung vorhanden; **Lu, Kadir, Ngeow und Othman** [6] fanden eine Prävalenz von 100 % bei malaiischen gegenüber 70 % bei chinesischen Proband\*innen, mit deutlich unterschiedlicher Faltenhöhe (8,3 vs. 4,9 mm). Die Epikanthalfalte – eine Hautfalte, die den medialen Kanthus überdeckt – kommt bei 60–90 % der ost- und südostasiatischen Erwachsenen vor, aber bei weniger als 10 % der europäischen Bevölkerung. Anatomisch wird dieser Unterschied auf die tiefere Insertion des Orbitalseptums am Levator und die stärkere Ausprägung des präseptalen Orbicularis-oculi-Muskels zurückgeführt [7]. Zusätzlich belegen Studien zur *natürlichen bilateralen Asymmetrie* [8], dass bei 24–27 % der untersuchten Personen (594 koreanische Erwachsene) eine Seitendifferenz der Lidspaltenhöhe von ≥1 mm und bei 22–36 % eine Neigungsdifferenz von ≥2° besteht. Schließlich verändert das Alter die periorbitale Geometrie: Lidhauterschlaffung, Ptosis und Veränderungen der Orbitalfettverteilung führen nach dem 45. Lebensjahr zu messbaren Verschiebungen der Lidspaltenmaße [9]. Auf skelettaler Ebene unterscheidet sich der Orbitalindex zwischen Populationen – megaseme (runde) Orbita dominieren in Ostasien, mikroseme (rechteckige) in Afrika –, was die darüberliegende Weichteilgeometrie mit beeinflusst.
|
||||
|
||||
|
||||
|
||||
Die Schlussfolgerung ist direkt: Lidform, Lidfalte, Epikanthus und Kanthusneigung bilden ein mehrdimensionales System biologisch fundierter, visuell wirksamer Formvariation, das sich systematisch entlang von Ethnie, Geschlecht und Alter unterscheidet. Ein synthetischer Generator, der diese Achsen nicht abbildet, erzeugt Trainingsdaten, die einen wesentlichen Teil der natürlichen Erscheinungsvielfalt ausblenden – mit potenziellen Konsequenzen für die Generalisierungsfähigkeit trainierter Modelle.
|
||||
|
||||
|
||||
|
||||
### 4.2 Parametrische Modellierung morphologischer Variation
|
||||
|
||||
|
||||
|
||||
Die parametrische Modellierung von Gesichtsform hat eine lange Tradition in der Computer Vision. **3D Morphable Models (3DMMs)** repräsentieren Gesichtsgeometrie als Linearkombination von Basisformen, die durch Hauptkomponentenanalyse (PCA) aus registrierten 3D-Scans gewonnen werden. Das **Basel Face Model (BFM)** [10] wurde aus 200 Laserscans überwiegend europäischer Proband\*innen trainiert und erzeugt 199 Formkomponenten über einem Mesh von 53 490 Vertices. **FLAME** [11] erweitert das Prinzip um ein artikuliertes Kopfmodell mit 5 023 Vertices, trainiert auf ca. 3 800 Kopfscans, und stellt 300 Identitäts- sowie 100 Expressionsparameter bereit, ergänzt um vier Gelenke (Hals, Kiefer, zwei Augäpfel) und poseabhängige Korrektur-Blendshapes. Das **Large Scale Facial Model (LSFM)** [12] steigerte die Trainingsbasis auf 9 663 Identitäten und zeigte durch t-SNE-Visualisierungen, dass demographische Cluster auf der Formmannigfaltigkeit implizit kodiert werden.
|
||||
|
||||
|
||||
|
||||
Alle drei Modelle teilen jedoch eine strukturelle Einschränkung: Ihre Dimensionen sind *holistisch und semantisch nicht interpretierbar*. PCA maximiert erklärte Varianz, nicht anatomische Bedeutung – eine einzelne Hauptkomponente verändert typischerweise gleichzeitig Nasenbreite, Wangenprominenz, Brauenform und Orbitaltiefe. Es gibt keinen Parameter, der gezielt die Tiefe der Lidfalte, die Breite der Lidspalte oder die Ausprägung einer Epikanthalfalte steuert. Dasselbe gilt für das **3D Morphable Eye Region Model** von **Wood, Baltrušaitis, Morency, Robinson und Bulling** [13], das erstmals ein PCA-basiertes Formmodell speziell für die Augenregion entwickelte: Acht Formkoeffizienten erfassen 90 % der Varianz über 22 Kopfscans, und die erste Hauptkomponente unterscheidet grob zwischen „hooded" und „protruding" Augen. Die Koeffizienten sind jedoch weder benannt noch anatomisch zuweisbar, und die Trainingsbasis von 22 Scans ist zu klein, um die in Abschnitt 4.1 dokumentierte globale Variationsbreite abzubilden. UnityEyes [14] nutzt genau dieses Modell als Formgenerator, steht aber vor demselben Problem: Die PCA-Achsen erlauben keine gezielte Steuerung einzelner anatomischer Merkmale.
|
||||
|
||||
|
||||
|
||||
Einen grundlegend anderen Ansatz verfolgt **Wisetchat** [15] in ihrer Dissertation *Description-based Visualisation of Ethnic Facial Types* (Glasgow School of Art), mit anschließender Validierung in Wisetchat, Stevens und Frost [16]. Statt holistische PCA-Dimensionen zu verwenden, definiert das dort vorgestellte **Topographical Face Model (TFM)** 71 semantisch interpretierbare, lokale Formattribute über 36 anatomische Merkmale in sechs Gesichtsregionen. Jedes Attribut ist als unabhängiger Blendshape-Deformer auf einer Catmull-Clark-Subdivisionsfläche implementiert, mit einem linearen Interpolationskoeffizienten α ∈ [0, 1] zwischen einer Basisform und einer Zielform. Quasi-Orthogonalität wird dadurch erzielt, dass jeder Blendshape nur entlang einer der drei anatomischen Achsen – mediolateral, superoinferior oder anteroposterior – deformiert.
|
||||
|
||||
|
||||
|
||||
Die *Periorbitalregion* ist mit 12 Features und 14 Attributen die reichste Einzelregion des Modells und erfasst genau jene Merkmale, deren Variabilität in Abschnitt 4.1 dokumentiert wurde: Endokanthion- und Exokanthionposition (steuern Kanthusneigung und Lidspaltenbreite), Lidspaltenhöhe, obere und untere Lidkonvexität als kontinuierliche Gewichte, mehrere Tiefenparameter für die periorbitale Fossa, die Tiefe des Supratarsalsulkus, ein Attribut für die *Supratarsalfalte* (STF_weight, das die Faltenausprägung von abwesend bis stark ausgeprägt steuert) sowie ein eigenes Attribut für die *Epikanthalfalte* (ECF_weight, das den Überdeckungsgrad des medialen Kanthus und die Bogenform der Falte kontrolliert). Der entscheidende Kontrast zu klassischen 3DMMs ist, dass jeder dieser Parameter semantisch benennbar, anatomisch zuweisbar und unabhängig von den anderen steuerbar ist. In einer Validierung an 80 stereophotogrammetrisch erfassten Gesichtern (40 ostasiatisch, 40 europäisch) lagen über 80 % der Oberflächenpunkte innerhalb von 1 mm der Originalscans, und eine MANOVA bestätigte, dass die 71 TFM-Attribute geographische Herkunft und Geschlecht signifikant trennen (jeweils p < 0,0001) [16].
|
||||
|
||||
|
||||
|
||||
Wisetchats Arbeit zielt jedoch auf die *menschliche visuelle Wahrnehmung* ethnischer Gesichtsvariation – das TFM ist ein interaktives Explorationswerkzeug, implementiert in Autodesk Maya, nicht ein Datengenerator für maschinelles Lernen. Die vorliegende Arbeit übernimmt denselben Grundgedanken – explizite, semantisch interpretierbare, quasi-orthogonale Formparameter für die Periorbitalregion –, wendet ihn aber in einem anderen Kontext an: als Randomisierungsachsen innerhalb einer Blender-basierten Synthesepipeline, mit dem Ziel, Trainingsdaten für ein Pupillensegmentierungsmodell zu erzeugen. Die Parameter werden nicht interaktiv exploriert, sondern stochastisch gesampelt, um die in Abschnitt 4.1 belegte natürliche Variationsbreite systematisch abzudecken. Gleiche Modellierungsphilosophie, anderer Anwendungskontext und Zweck – eine Kombination, die in der bisherigen Literatur zur synthetischen Eye-Tracking-Datengenerierung nicht realisiert wurde. Kapitel 5 positioniert diese Lücke explizit und formuliert den Beitrag der eigenen Arbeit.
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
### Quellenverzeichnis
|
||||
|
||||
|
||||
|
||||
[1] Farkas, L. G., Katic, M. J., Forrest, C. R. et al. — *International Anthropometric Study of Facial Morphology in Various Ethnic Groups/Races.* Journal of Craniofacial Surgery, 16(4), 615–646, 2005.
|
||||
|
||||
|
||||
|
||||
[2] Rhee, S. C., Woo, K. S. & Kwon, B. — *Biometric Study of Eyelid Shape and Dimensions of Different Races with References to Beauty.* Aesthetic Plastic Surgery, 36(5), 1236–1245, 2012.
|
||||
|
||||
|
||||
|
||||
[3] Vasanthakumar, P., Kumar, P. & Rao, M. — *Anthropometric Analysis of Palpebral Fissure Dimensions and its Position in South Indian Ethnic Adults.* Oman Medical Journal, 28(1), 26–32, 2013.
|
||||
|
||||
|
||||
|
||||
[4] Packirisamy, V. & Kumar, P. D. — *Photogrammetric Analysis of Palpebral Fissure Dimensions and its Position in Malaysian South Indian Ethnic Adults by Gender.* North American Journal of Medical Sciences, 4(10), 458–462, 2012.
|
||||
|
||||
|
||||
|
||||
[5] Knezi, N. et al. — *Morphometric Analysis of the Palpebral Fissure and Orbital Region in Young Adults.* International Journal of Morphology, 38(5), 1381–1386, 2020.
|
||||
|
||||
|
||||
|
||||
[6] Lu, T. Y., Kadir, K., Ngeow, W. C. & Othman, S. A. — *The Prevalence of Double Eyelid and the 3D Measurement of Orbital Soft Tissue in Malays and Chinese.* Scientific Reports, 7, 14885, 2017.
|
||||
|
||||
|
||||
|
||||
[7] Park, D. H. & Woo, K. J. — *The Asian Eyelid: Relevant Anatomy.* Seminars in Plastic Surgery, 29(3), 158–164, 2015.
|
||||
|
||||
|
||||
|
||||
[8] Song, W. C., Kim, S. J., Kim, S. H., Hu, K. S., Kim, H. J. & Koh, K. S. — *Asymmetry of the Palpebral Fissure and Upper Eyelid Crease in Koreans.* Journal of Plastic, Reconstructive & Aesthetic Surgery, 60(3), 251–255, 2007.
|
||||
|
||||
|
||||
|
||||
[9] Patil, S. B. et al. — *Age-related Changes in Palpebral Fissure Dimensions.* Journal of Clinical and Diagnostic Research, 5(3), 600–604, 2011.
|
||||
|
||||
|
||||
|
||||
[10] Paysan, P., Knothe, R., Amberg, B., Romdhani, S. & Vetter, T. — *A 3D Face Model for Pose and Illumination Invariant Face Recognition.* Proc. IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 296–301, 2009.
|
||||
|
||||
|
||||
|
||||
[11] Li, T., Bolkart, T., Black, M. J., Li, H. & Romero, J. — *Learning a Model of Facial Shape and Expression from 4D Scans.* ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 36(6), 194, 2017.
|
||||
|
||||
|
||||
|
||||
[12] Booth, J., Roussos, A., Zafeiriou, S., Ponniah, A. & Dunaway, D. — *A 3D Morphable Model Learnt from 10,000 Faces.* Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 5543–5552, 2016. — Erweiterte Fassung: *Large Scale 3D Morphable Models.* International Journal of Computer Vision, 126(2–4), 233–254, 2018.
|
||||
|
||||
|
||||
|
||||
[13] Wood, E., Baltrušaitis, T., Morency, L.-P., Robinson, P. & Bulling, A. — *A 3D Morphable Eye Region Model for Gaze Estimation.* Proc. European Conference on Computer Vision (ECCV), 297–313, 2016.
|
||||
|
||||
|
||||
|
||||
[14] Wood, E., Baltrušaitis, T., Zhang, X., Sugano, Y., Robinson, P. & Bulling, A. — *Rendering of Eyes for Eye-Shape Registration and Gaze Estimation.* Proc. IEEE International Conference on Computer Vision (ICCV), 3756–3764, 2015. — UnityEyes: Wood, E., Baltrušaitis, T., Morency, L.-P., Robinson, P. & Bulling, A. — *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images.* Proc. ACM Symposium on Eye Tracking Research & Applications (ETRA), 131–138, 2016.
|
||||
|
||||
|
||||
|
||||
[15] Wisetchat, K. — *Description-based Visualisation of Ethnic Facial Types.* Dissertation, Glasgow School of Art, 2018.
|
||||
|
||||
|
||||
|
||||
[16] Wisetchat, K., Stevens, R. & Frost, A. — *Facial Modeling and Measurement Based upon Homologous Topographical Features.* PLOS ONE, 19(6), e0304561, 2024.
|
||||
|
||||
# Variante 2 von Gibbidy
|
||||
## 4. Modellierung interindividueller anatomischer Variation der Periorbitalregion
|
||||
|
||||
|
||||
|
||||
### 4.1 Periorbitale Morphologie als relevante Variationsachse
|
||||
|
||||
|
||||
|
||||
Die meisten synthetischen Eye-Tracking-Pipelines variieren primär dynamische oder extrinsische Faktoren wie Blickrichtung, Kopfpose, Beleuchtung, Kameraparameter oder Pupillendurchmesser. Die statische Grundform der Augenregion – also die anatomische Ausprägung von Lidern, Kanthusgeometrie oder periorbitalem Weichgewebe – wird dagegen häufig konstant gehalten oder nur implizit über eine kleine Zahl diskreter Kopfmodelle abgebildet. Damit bleibt eine zentrale Formdimension realer Gesichter weitgehend unberücksichtigt: die interindividuelle Variation der periorbitalen Morphologie.
|
||||
|
||||
|
||||
|
||||
Anthropometrische und klinische Studien zeigen jedoch eindeutig, dass die Augenregion systematisch entlang mehrerer Achsen variiert. Besonders gut dokumentiert sind Unterschiede in Abhängigkeit vom ethnischen Hintergrund. Dreidimensionale Messstudien berichten signifikante Differenzen in Lidspaltenhöhe, Lidspaltenbreite, Irisdurchmesser, Kanthuswinkeln sowie in der Ausprägung der supratarsalen Lidfalte zwischen verschiedenen Bevölkerungsgruppen. So weisen beispielsweise ostasiatische Populationen eine hohe Prävalenz der Epikanthus-Falte auf, während sie in kaukasischen Stichproben praktisch nicht vorkommt. Auch Mischpopulationen, etwa lateinamerikanische Probandengruppen, zeigen intermediäre oder heterogene Merkmalsverteilungen. Diese Befunde verdeutlichen, dass Merkmale wie Epikanthus, Lidfaltenhöhe oder Kanthusneigung populationsspezifisch variieren und konsistente morphologische Muster bilden. [01][02][03] ([PubMed][1])
|
||||
|
||||
|
||||
|
||||
Neben ethnischer Variation sind auch geschlechtsspezifische Unterschiede dokumentiert. Studien berichten signifikante Differenzen in Lidspaltenmaßen, Brauenpositionen und Lidproportionen zwischen Männern und Frauen. Ebenso beeinflusst das Alter die periorbitale Region deutlich: Mit zunehmendem Alter verändern sich Lidhautspannung, Kanthuspositionen und Lidkonturen; zugleich verschieben sich bestimmte Proportionen der Augenregion systematisch. Darüber hinaus ist periokuläre Asymmetrie ein bekanntes Phänomen, das in der klinischen Literatur regelmäßig beschrieben wird. [01][02][04][05] ([PubMed][1])
|
||||
|
||||
|
||||
|
||||
Diese empirischen Befunde belegen, dass die periorbitale Morphologie keine marginale Detailvariation darstellt, sondern eine eigenständige, biologisch fundierte Variationsachse menschlicher Gesichter. Lidform, Lidfalte, Kanthusgeometrie oder Epikanthus sind systematisch verteilt, demographisch geprägt und visuell relevant. Wenn synthetische Trainingsdaten reale Populationen adäquat repräsentieren sollen, muss ein Generator daher nicht nur Blick und Beleuchtung variieren, sondern auch die statische Grundform der Augenregion modellierbar machen. [01][02][03][04][05] ([PubMed][1])
|
||||
|
||||
|
||||
|
||||
### 4.2 Parametrische Modellierung morphologischer Variation
|
||||
|
||||
|
||||
|
||||
Die parametrische Modellierung von Gesichtsvariation ist in der Computergrafik und Computer Vision seit langem etabliert. Klassische 3D Morphable Models wie das Basel Face Model (BFM) oder FLAME repräsentieren Gesichtsform in einem linearen Unterraum, der aus 3D-Scandaten gelernt wird. Neue Gesichter entstehen dabei durch lineare Kombination weniger globaler Formdimensionen. [06][07] ([edoc.unibas.ch][2])
|
||||
|
||||
|
||||
|
||||
Diese Modelle sind leistungsfähig und erlauben realistische Rekonstruktionen sowie statistisch konsistente Variationen. Ihre Parameter besitzen jedoch in der Regel keine direkte semantische Interpretierbarkeit. Die Hauptkomponenten beschreiben holistische Formachsen, die gleichzeitig mehrere Gesichtsregionen beeinflussen. Eine einzelne Dimension kann somit Veränderungen an Stirn, Wangen und Augenpartie zugleich enthalten. Eine gezielte Steuerung isolierter Merkmale – etwa „größere Lidfaltenhöhe“ oder „stärker ausgeprägter Epikanthus“ – ist damit nicht explizit vorgesehen. Für den vorliegenden Kontext ist genau das die zentrale Einschränkung: Variation ist zwar modelliert, aber nicht in Form lokal benennbarer, anatomisch plausibler Parameter. [06][07] ([edoc.unibas.ch][2])
|
||||
|
||||
|
||||
|
||||
Einen konzeptionell anderen Ansatz verfolgt Wisetchat mit Arbeiten zur beschreibungsbasierten Modellierung ethnischer Gesichtsvariation. Statt latenter, statistischer Hauptkomponenten definiert dieser Ansatz explizite, semantisch benennbare Formattribute, die auf anatomischer Terminologie basieren und als Blendshapes umgesetzt werden. Die Gesichtsform wird dabei durch lokal interpretierbare Parameter gesteuert, die jeweils klar abgegrenzte topographische Veränderungen repräsentieren. Für die Augenregion umfasst dies beispielsweise Attribute zur Ausprägung der Epikanthus-Falte, zur Form der supratarsalen Lidfalte oder zu spezifischen Wölbungen und Neigungen. Die Parameter sind kontinuierlich skalierbar und weitgehend unabhängig voneinander kombinierbar, wodurch sich beschreibbare morphologische Zustände systematisch variieren lassen. [08][09] ([radar.gsa.ac.uk][3])
|
||||
|
||||
|
||||
|
||||
Der zentrale Unterschied zu klassischen 3DMMs liegt damit weniger in der technischen Grundidee deformierbarer 3D-Modelle als in der Struktur des Parameterraums. Während PCA-basierte Modelle statistische Varianz maximieren, strukturiert Wisetchats Ansatz den Formraum entlang semantischer, regionenspezifischer Merkmale. Dadurch wird Variation nicht nur erzeugt, sondern auch sprachlich beschreibbar und gezielt steuerbar. Genau das ist für eine Synthesepipeline mit kontrollierbaren Augenformparametern methodisch besonders relevant. [08][09] ([radar.gsa.ac.uk][3])
|
||||
|
||||
|
||||
|
||||
Für die vorliegende Arbeit ist dies vor allem als Nachbarliteratur wichtig. Wisetchat modelliert das gesamte Gesicht und verfolgt primär ein Ziel der Visualisierung und Analyse wahrgenommener ethnischer Variation, nicht die Erzeugung synthetischer Trainingsdaten für Eye-Tracking oder Pupillensegmentierung. Die eigene Arbeit übernimmt dagegen denselben Grundgedanken – explizite, semantisch interpretierbare und lokal steuerbare Formparameter –, beschränkt ihn jedoch gezielt auf die Periorbitalregion und integriert ihn in eine Blender-basierte Synthesepipeline zur Datengenerierung. [08][09] ([radar.gsa.ac.uk][3])
|
||||
|
||||
|
||||
|
||||
Zusammenfassend ergibt sich folgende Argumentationslinie: Die interindividuelle Variation der periorbitalen Morphologie ist empirisch gut belegt. Parametrische Gesichtsmodelle existieren bereits, modellieren Variation jedoch entweder holistisch und latent oder mit einem anderen Anwendungsziel. Daraus ergibt sich als Schlussfolgerung, dass eine explizit semantische, lokal fokussierte und für Eye-Tracking-Datensynthese konzipierte Modellierung der periorbitalen Formvariation bislang nur unzureichend adressiert ist. Diese Lücke bildet den Ausgangspunkt für die Positionierung der eigenen Arbeit in Kapitel 5. [01][02][03][04][05][06][07][08][09] ([PubMed][1])
|
||||
|
||||
|
||||
|
||||
## Quellenverzeichnis
|
||||
|
||||
|
||||
|
||||
* **[01]** Gao, Tao; Guo, Yongwei; Rokohl, Alexander C.; Fan, Wanlin; Lin, Ming; Ju, Sitong; Li, Xueting; Hou, Xincen; Rosenkranz, Till A.; Zhang, Guosheng; Bai, Haixia; Ni, Kaiwen; Yao, Ke; Heindl, Ludwig M. (2025). *Racial and sexual differences of eyebrow and eyelid morphology: three-dimensional analysis in young Caucasian and Chinese populations*. [Link](https://pubmed.ncbi.nlm.nih.gov/39839011/) ([PubMed][1])
|
||||
|
||||
|
||||
|
||||
* **[02]** Price, Kelly M.; Gupta, Pravin K.; Woodward, Julie A.; Stinnett, Sandra S.; Murchison, Andrew P. (2009). *Eyebrow and eyelid dimensions: an anthropometric analysis of African Americans and Caucasians*. [Link](https://pubmed.ncbi.nlm.nih.gov/19644282/) ([PubMed][1])
|
||||
|
||||
|
||||
|
||||
* **[03]** Cai, Xianxian; Chen, Ying; Li, Qian; Ma, Huan; Tang, Zhixin; Nie, Cong; Lu, Rong (2019). *Anthropometric Analysis on the Ocular Region Morphology of Children and Young Adults in Chinese Han Population*. [Link](https://pubmed.ncbi.nlm.nih.gov/30365477/) ([PubMed][4])
|
||||
|
||||
|
||||
|
||||
* **[04]** Liu, Jinhua; Rokohl, Alexander C.; Liu, Honglei; Fan, Wanlin; Li, Senmao; Hou, Xiaoyi; Ju, Sitong; Guo, Yongwei; Heindl, Ludwig M. (2022/2023). *Age-related changes of the periocular morphology: a two- and three-dimensional anthropometry study in Caucasians*. [Link](https://pubmed.ncbi.nlm.nih.gov/35969325/) ([PubMed][5])
|
||||
|
||||
|
||||
|
||||
* **[05]** Tower, Robert N.; Soparkar, Charles N. S.; Patrinely, James R. (2007). *Perspectives on Periocular Asymmetry*. [Link](https://pmc.ncbi.nlm.nih.gov/articles/PMC2884825/) ([PMC][6])
|
||||
|
||||
|
||||
|
||||
* **[06]** Paysan, Pascal; Knothe, Reinhard; Amberg, Brian; Romdhani, Sami; Vetter, Thomas (2009). *A 3D Face Model for Pose and Illumination Invariant Face Recognition*. [Link](https://edoc.unibas.ch/entities/publication/aaccd257-0d00-4447-94e8-11a5ff796a9f) ([edoc.unibas.ch][2])
|
||||
|
||||
|
||||
|
||||
* **[07]** Li, Tianye; Bolkart, Timo; Black, Michael J.; Li, Hao; Romero, Javier (2017). *Learning a model of facial shape and expression from 4D scans*. [Link](https://is.mpg.de/publications/flame-2017) ([is.mpg.de][7])
|
||||
|
||||
|
||||
|
||||
* **[08]** Wisetchat, Sawitree; DeBruine, Lisa; Livingstone, Daniel (2018). *Digital Exploration of Ethnic Facial Variation*. [Link](https://radar.gsa.ac.uk/6090/1/ilrn_2018_paper_14.pdf) ([radar.gsa.ac.uk][3])
|
||||
|
||||
|
||||
|
||||
* **[09]** Wisetchat, Sawitree; Stevens, Kent A.; Frost, Stephen R. (2024). *Facial modeling and measurement based upon homologous topographical features*. [Link](https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0304561) ([PMC][8])
|
||||
|
||||
|
||||
# Variante 3 von Jammy
|
||||
|
||||
## 4\. Modellierung interindividueller anatomischer Variation der Periorbitalregion
|
||||
|
||||
Die Generierung synthetischer Trainingsdaten für das Eye-Tracking hat in den letzten Jahren enorme Fortschritte erzielt. Bestehende Pipelines konzentrieren sich jedoch primär auf die Variation extrinsischer oder dynamischer Parameter wie Blickrichtung (Gaze), Kopfpose, Beleuchtung und Pupillengröße. Die statische Grundform der Augenregion – die individuelle Anatomie – wird dabei oft vernachlässigt oder nur oberflächlich durch eine begrenzte Anzahl diskreter Kopfmodelle abgedeckt. Dieses Kapitel begründet, warum die periorbitale Morphologie eine eigenständige Variationsachse darstellt und wie diese parametrisch modelliert werden kann.
|
||||
### **4.1 Periorbitale Morphologie als relevante Variationsachse**
|
||||
|
||||
Die wissenschaftliche Notwendigkeit, Augenformvariationen explizit zu modellieren, ergibt sich aus der anthropometrischen Evidenz, die zeigt, dass die periorbitale Region zwischen Individuen systematisch variiert. Diese Variation ist nicht zufällig, sondern folgt klaren biologischen Achsen wie Ethnie, Geschlecht und Alter.1
|
||||
|
||||
**Ethnische Variation und Epicanthus:** Der markanteste Unterschied liegt in der Ausprägung der Lidfalte und des Epicanthus (Mongolenfalte). Während der Epicanthus in kaukasischen Populationen selten ist, weisen etwa 40 % bis 90 % der ostasiatischen Bevölkerung einen *Epicanthus tarsalis* auf.1 Studien zeigen signifikante Unterschiede in der Lidspaltenbreite (PFW) und \-höhe (PFH) sowie im *Canthal Tilt* (Neigungswinkel zwischen den Augenwinkeln).1 Ein synthetischer Datensatz, der diese Merkmale ignoriert, erzeugt einen systematischen Bias, da die Verdeckungsmuster der Iris durch das Lid bei asiatischen Probanden fundamental anders ausfallen.4
|
||||
|
||||
**Geschlecht und Alter:** Sexueller Dimorphismus äußert sich unter anderem in einer signifikant größeren Interpupillardistanz (IPD) und vertikalen Lidspaltenhöhe bei Männern.6 Der Alterungsprozess führt ab dem 40\. Lebensjahr zu einer Erschlaffung des Gewebes (Ptosis), wodurch die vertikale Augenöffnung sinkt und sich die Tiefe der Lidfalte verändert.2
|
||||
|
||||
**Asymmetrien:** Natürliche Gesichtsasymmetrien, etwa geringfügige Unterschiede in der Lidhöhe oder vertikale Verschiebungen der Augenposition, sind in der Realität die Norm. Für biometrische Systeme sind diese Abweichungen kritisch, da sie die Annahme einer idealen Symmetrie verletzen.8
|
||||
|
||||
Zusammenfassend lässt sich festhalten: Wenn diese Variationen in der Realität existieren und die Leistung von Eye-Tracking-Algorithmen beeinflussen, muss ein robuster synthetischer Generator in der Lage sein, diese Achsen kontinuierlich abzubilden, anstatt nur zwischen wenigen Standardmodellen zu wählen.
|
||||
|
||||
### **4.2 Parametrische Modellierung morphologischer Variation**
|
||||
|
||||
Um diese anatomische Vielfalt technisch nutzbar zu machen, ist eine kontrollierbare, parametrische Beschreibung der Geometrie erforderlich. Die Literatur bietet hierfür verschiedene Ansätze, die sich in ihrer Granularität und Interpretierbarkeit unterscheiden.
|
||||
|
||||
#### **Statistische und holistische Modelle (BFM & FLAME)**
|
||||
Klassische *3D Morphable Models* (3DMMs) wie das Basel Face Model (BFM) oder FLAME basieren auf der Hauptkomponentenanalyse (PCA) großer Scan-Datenbanken.9 Diese Modelle beschreiben ein Gesicht als Linearkombination statistischer Basen.11 Der entscheidende Nachteil für die Eye-Tracking-Synthese ist der **holistische Charakter**: Die PCA-Dimensionen sind mathematisch orthogonal, aber semantisch nicht interpretierbar.12 Eine Änderung an einem Koeffizienten kann zwar die Augenform beeinflussen, gleichzeitig aber auch die Wangenknochen oder die Kieferlinie verändern. Es fehlt die Möglichkeit, gezielt Parameter wie die „Lidfalten-Tiefe“ anzusteuern.12 Auch spezialisierte Modelle wie das in *UnityEyes* verwendete *Morphable Eye Region Model* leiden unter dieser Einschränkung. Zwar erfasst die erste Hauptkomponente grob den Gegensatz zwischen „hooded“ (verdeckt) und „protruding“ (hervorstehend), doch handelt es sich um eine implizite Variation ohne benennbare anatomische Features.
|
||||
|
||||
#### **Semantische Modellierung (Wisetchat 2018\)**
|
||||
|
||||
Einen Gegenentwurf stellt das *Topographical Face Model* (TFM) von Sawitree Wisetchat dar. Anstatt auf abstrakte PCA-Räume setzt Wisetchat auf ein semantisches Lexikon von 71 bis 77 Attributen, die direkt auf anatomischen Fachbegriffen basieren.13 Lokale Merkmale wie Falten, Wölbungen und Neigungen werden über kontinuierliche, quasi-orthogonale Formparameter gesteuert.14 Für die Augenregion definiert Wisetchat explizite Parameter wie *Superior Palpebral Sulcus depth* (Tiefe der Lidfalte) oder *Epicanthal Fold weight*.13 Dieses Modell wurde primär für die „human visual appreciation“ entwickelt – also um menschlichen Betrachtern ethnische Unterschiede visuell begreifbar zu machen.14 Es bietet jedoch genau die lokale Geometrie-Kontrolle, die statistischen Modellen fehlt.
|
||||
#### **Abgrenzung und Positionierung der eigenen Arbeit**
|
||||
|
||||
Die vorliegende Arbeit übernimmt die Kernphilosophie von Wisetchat – die explizite, semantische und unabhängige Steuerung lokaler Formparameter – und überträgt sie in einen neuen Anwendungskontext.
|
||||
|
||||
Während Wisetchat das gesamte Gesicht für Visualisierungszwecke modelliert, konzentriert sich dieser Ansatz exklusiv auf die **Periorbitalregion innerhalb einer Blender-Synthesepipeline**. Der entscheidende Unterschied liegt im Zweck: Es geht nicht um die menschliche Wahrnehmung, sondern um die Erzeugung massiver Mengen an Ground-Truth-Daten für die maschinelle Pupillensegmentierung. Durch die Implementierung semantischer Parameter (wie Epicanthus-Stärke oder Lidform) direkt im Rig des 3D-Modells wird die Anatomie von einem statischen Hintergrundfaktor zu einer aktiv steuerbaren Variationsachse. Dies schließt die Lücke zwischen den hochflexiblen, aber unsemantischen PCA-Modellen und den statischen, wenig diversen Modellen klassischer Synthesepipelines.
|
||||
|
||||
##### **Referenzen**
|
||||
1. Racial and sexual differences of eyebrow and eyelid morphology: three-dimensional analysis in young Caucasian and Chinese populations \- PMC, Zugriff am März 29, 2026, [https://pmc.ncbi.nlm.nih.gov/articles/PMC11744102/](https://pmc.ncbi.nlm.nih.gov/articles/PMC11744102/)
|
||||
2. Orbital and periorbital anthropometric variations and effect of age and gender on these variables \- ResearchGate, Zugriff am März 29, 2026, [https://www.researchgate.net/publication/363884192\_Orbital\_and\_periorbital\_anthropometric\_variations\_and\_effect\_of\_age\_and\_gender\_on\_these\_variables](https://www.researchgate.net/publication/363884192_Orbital_and_periorbital_anthropometric_variations_and_effect_of_age_and_gender_on_these_variables)
|
||||
3. Cosmetic outcomes of epicanthoplasty for epicanthus tarsalis \- PMC \- NIH, Zugriff am März 29, 2026, [https://pmc.ncbi.nlm.nih.gov/articles/PMC10365251/](https://pmc.ncbi.nlm.nih.gov/articles/PMC10365251/)
|
||||
4. The Influence of Eye Model Parameter Variations on Simulated Eye-Tracking Outcomes, Zugriff am März 29, 2026, [https://www.mdpi.com/1995-8692/16/3/13](https://www.mdpi.com/1995-8692/16/3/13)
|
||||
5. In the eye of the beholder? Gaze perception and the external morphology of the human eye | JOV | ARVO Journals, Zugriff am März 29, 2026, [https://jov.arvojournals.org/article.aspx?articleid=2811007](https://jov.arvojournals.org/article.aspx?articleid=2811007)
|
||||
6. Orbital and periorbital anthropometric variations and effect of age and gender on these variables \- Via Medica Journals, Zugriff am März 29, 2026, [https://journals.viamedica.pl/ophthalmology\_journal/article/viewFile/88021/66810](https://journals.viamedica.pl/ophthalmology_journal/article/viewFile/88021/66810)
|
||||
7. Upper eyelid morphology and age‐related changes in Japanese and Chinese females, Zugriff am März 29, 2026, [https://www.researchgate.net/publication/381313975\_Upper\_eyelid\_morphology\_and\_age-related\_changes\_in\_Japanese\_and\_Chinese\_females](https://www.researchgate.net/publication/381313975_Upper_eyelid_morphology_and_age-related_changes_in_Japanese_and_Chinese_females)
|
||||
8. Determining Asymmetry Thresholds in Anophthalmia/Microphthalmia Using a Three-dimensional Animated Model \- PMC, Zugriff am März 29, 2026, [https://pmc.ncbi.nlm.nih.gov/articles/PMC11692783/](https://pmc.ncbi.nlm.nih.gov/articles/PMC11692783/)
|
||||
9. Learning a model of facial shape and expression from 4D scans, Zugriff am März 29, 2026, [https://is.mpg.de/uploads/publication\_attachment/attachment/400/paper.pdf](https://is.mpg.de/uploads/publication_attachment/attachment/400/paper.pdf)
|
||||
10. 3D Face Modeling and Reconstruction \- ECSE, Zugriff am März 29, 2026, [https://sites.ecse.rpi.edu/\~cvrl/3DFace\_Eye/3DFace.html](https://sites.ecse.rpi.edu/~cvrl/3DFace_Eye/3DFace.html)
|
||||
11. 3D Morphable Model \- Wikipedia, Zugriff am März 29, 2026, [https://en.wikipedia.org/wiki/3D\_Morphable\_Model](https://en.wikipedia.org/wiki/3D_Morphable_Model)
|
||||
12. Part-Based 3D Face Morphable Model with Anthropometric Local Control \- OpenReview, Zugriff am März 29, 2026, [https://openreview.net/forum?id=Q7Cy\_qHg6Y](https://openreview.net/forum?id=Q7Cy_qHg6Y)
|
||||
13. Facial modeling and measurement based upon homologous topographical features \- PMC, Zugriff am März 29, 2026, [https://pmc.ncbi.nlm.nih.gov/articles/PMC11142440/](https://pmc.ncbi.nlm.nih.gov/articles/PMC11142440/)
|
||||
14. Digital Exploration of Ethnic Facial Variation \- RADAR \- The Glasgow School of Art, Zugriff am März 29, 2026, [https://radar.gsa.ac.uk/6090/1/ilrn\_2018\_paper\_14.pdf](https://radar.gsa.ac.uk/6090/1/ilrn_2018_paper_14.pdf)
|
||||
15. (a) We attempt to mimic the "Jack Nicholson" expression of partially... \- ResearchGate, Zugriff am März 29, 2026, [https://www.researchgate.net/figure/a-We-attempt-to-mimic-the-Jack-Nicholson-expression-of-partially-closed-eyes-with-an\_fig1\_220791980](https://www.researchgate.net/figure/a-We-attempt-to-mimic-the-Jack-Nicholson-expression-of-partially-closed-eyes-with-an_fig1_220791980)
|
||||
41
Paperung/Related Works/claude_research_kapitel3-1.md
Normal file
41
Paperung/Related Works/claude_research_kapitel3-1.md
Normal file
@@ -0,0 +1,41 @@
|
||||
# Synthetic data generation pipelines for eye tracking
|
||||
|
||||
**The generation of synthetic eye images has evolved from single-model path-traced renderers into a diverse ecosystem of pipelines spanning photorealistic 3D rendering, real-time rasterization, and deliberately abstract 2D image synthesis.** Each pipeline navigates a fundamental tension between anatomical fidelity, rendering speed, and controllability — and none yet offers explicit, independent parameterization of stable inter-individual eye shape features such as orbital bone structure or palpebral fissure geometry. This report provides a detailed technical comparison of seven major generators, covering their rendering methods, randomization axes, label outputs, and acknowledged limitations, structured to support a thesis chapter on the synthesis/generation perspective.
|
||||
|
||||
## From single scans to morphable models: the photorealistic lineage
|
||||
|
||||
The modern pipeline lineage begins with **Świrski & Dodgson (2014)**, who first applied physically-based rendering to generate synthetic eye images for eye tracker evaluation. Their system used **Blender's Cycles path tracer** with a single public-domain head model, rendering corneal refraction, adjustable LED glints, and eyelid/pupil variation. Ground truth included pupil contour ellipses, glint locations, and gaze vectors. Though limited to one head model (white male), a spherical cornea, and no bright-pupil imaging, this work established the template — Blender-based path tracing with scripted parameter variation — that all subsequent photorealistic pipelines would follow.
|
||||
|
||||
**SynthesEyes** (Wood et al., ICCV 2015) expanded this approach to **10 high-quality head scans** from Ten24's 3D Scan Store (0.1 mm geometry, 10K diffuse textures), each manually retopologized in ZBrush to ~9,005 polygons with edge loops following exterior eye muscles. The two-part eyeball model used a transparent refractive outer shell (corneal index n = 1.376) over an opaque inner surface carrying iris and sclera textures. Skin used physically-based subsurface scattering. Rendering at **150 rays per pixel** produced photorealistic output at **120 × 80 px** in **5.26 seconds per image** on an NVIDIA GTX 660. Randomization covered gaze direction (constrained to ±25° pitch, ±35° yaw per MIL-STD-1472G), head pose (40° total via spherical camera placement), four HDR environment maps with random rotation and intensity scaling, four iris colors, three sclera tints, and blend-shape-driven pupil dilation and eyelid pose. The pipeline produced **28 eye-region landmarks** (12 eyelid, 8 iris, 8 pupil) in both 2D and 3D, plus gaze vectors and head pose matrices — targeting eye-shape registration and appearance-based gaze estimation. Key limitations included the labor-intensive per-model manual preparation, slow rendering (approximately two months for one million images), only 10 identity models, and no modeling of glasses, makeup, or emotion-related deformations. Cross-dataset evaluation revealed a substantial **domain gap** (13.91° vs. 6.33° on MPIIGaze).
|
||||
|
||||
**UnityEyes** (Wood et al., ETRA 2016) was explicitly designed to overcome three SynthesEyes bottlenecks: slow rendering, limited identity variation, and manual per-model rigging. By switching to **Unity 5.2's real-time rasterizer**, it achieved **23 ms per image** (3.6 ms rendering, remainder I/O) — a **200× speedup** — at a higher resolution of **400 × 300 px**. The central innovation was a **PCA-based generative morphable eye region model**: all 20 head scans were registered to a single 229-vertex topology, and principal component analysis yielded a continuous shape space from which infinite novel eye regions could be sampled (s(α) = μ + U·diag(σ)·αᵀ, α ∼ N(0, I)). The first principal component captured the hooded-versus-protruding eye axis. Eyelid animation became fully procedural — anatomically-inspired geometric rotations with pivot interpolation and shrinkwrapping to the eyeball surface — eliminating manual blend shapes. Corneal refraction was approximated via a fragment shader texture offset rather than true ray tracing, and skin used a pre-integrated scattering shader. UnityEyes randomized eye region shape (PCA), 20 skin textures, iris photo-textures, iris width, pupil size, gaze (±30° default, user-configurable), head pose (±30°), **20 HDR panoramas** (vs. 4 in SynthesEyes) with random rotation and exposure, plus a random directional light. Labels included interior margin, caruncle, and iris landmarks, gaze vectors, pupil/iris size, and head pose in JSON format. Over **one million images** were generated in under 12 hours. Despite lower per-image photorealism, UnityEyes achieved marginally **better gaze estimation** than SynthesEyes (9.95° vs. 10.09° on MPIIGaze with k-NN) because dataset scale and shape diversity compensated for rendering fidelity — a result that shaped subsequent thinking about the photorealism-versus-scale trade-off.
|
||||
|
||||
## Anatomical depth: NVGaze and RIT-Eyes push biological fidelity
|
||||
|
||||
**NVGaze** (Kim et al., CHI 2019) from NVIDIA extended the SynthesEyes Blender pipeline with several anatomically critical corrections. The eye model was updated to a **24 mm diameter eyeball** with a **7.8 mm corneal apex radius**, and crucially introduced the **~5° visual-pupillary axis disparity** and a nasal-superior **pupil constriction shift** (up to 0.25 mm) that occur in real eyes. Materials were calibrated for **monochromatic 950 nm infrared** imaging, including corneal index n = 1.38. Eyelid kinematics followed the empirical 4:1 upper-to-lower lid travel ratio. Four simulated IR LEDs produced corneal glints, and random camera slip modeled headset movement. Using 10 face models (diverse in gender, age, ethnicity), the pipeline randomized gaze, pupil diameter (2–8 mm), eyelid positions, iris rotation, and skin tone augmentation. At **1280 × 960 px** with full path tracing, each image required approximately **30 seconds**, making the full **2 million-image dataset** equivalent to roughly **3.8 GPU-years** — rendered in about one week on an NVIDIA multi-GPU cluster. NVGaze produced two segmentation maps (one standard with skin/pupil/iris/sclera/glints, one without face geometry for pixel-accurate labels under eyelid occlusion), 2D and 3D gaze and pupil coordinates, and blink labels. Ablation studies confirmed measurable improvements from the anatomical corrections: the eye model geometry fix, IR texture adjustment, and pupil center shift each contributed to reducing gaze estimation error (achieving **2.06° ± 0.44°** on held-out real subjects with mixed training). Limitations included no myopic eyeball elongation, no crystalline lens, and no Listing's Law compliance for eyeball rotation.
|
||||
|
||||
**RIT-Eyes** (Nair, Kothari et al., SAP 2020; earlier ETRA 2020 abstract) pursued the most comprehensive anatomical modeling of any open pipeline. Built on **Blender 2.8 Cycles** at **200 rays per pixel**, it used **24 head models** from 3DScanStore with 8K color maps. Its eye model introduced several features absent from all predecessors: an **aspherical cornea** parameterized as a spheroid with asphericity Q drawn from three values (−0.130, −0.250, −0.370, spanning the population distribution around the mean of −0.250); a **deformable iris** with actual pupil aperture (not an opaque disc) causing realistic iris texture deformation during dilation; **retinal retroreflection** following a Beckmann distribution to simulate the bright-pupil effect when IR source and camera axis are within ~2.25°; an explicit **lacrimal caruncle**; a **tear film** with glossy and transparent shader properties; and gaze-coordinated **eyelid deformation** via Blender's wrapping function with closure approximated as a linear function of vertical eye rotation. Half of all images included **reflective eyeglasses** (though without refraction — only reflection). Randomization covered gaze (±30° in azimuth and elevation), pupil aperture radius (1–4 mm uniform), corneal asphericity, 9 IR iris textures with random rotation, 25 HDR environment maps (9 indoor, 16 outdoor from HDRI Haven) with ±50% intensity variation and multi-axis rotation, camera distance (2.5–4.5 cm), and eyelid state (including fully closed images). Three dataset variants were rendered (S-NVGaze, S-OpenEDS, S-General) totaling **154,800 images** at 640 × 480 or 400 × 640 px, mimicking different real hardware configurations. Labels comprised **pixel-level segmentation masks** (pupil, iris, sclera, background), 2D/3D eye feature centers, and eye pose. The feature comparison table in the paper shows RIT-Eyes as the only pipeline simultaneously offering aspherical cornea, retroreflection, segmentation masks, both IR and RGB rendering, reflective eyewear, lacrimal caruncle, and variable eyelids — at the cost of real-time capability. Notable limitations include only **one sclera texture** (causing poor sclera segmentation generalization), no refraction through eyeglasses, no eye makeup, and a persistent sim-to-real gap (mIoU dropping from >95 within synthetic to 73–86 cross-domain). A follow-up, **Temporal RIT-Eyes** (Chaudhary et al., IEEE TVCG 2022), extended the pipeline to generate temporally contiguous gaze behavior sequences rather than i.i.d. frames.
|
||||
|
||||
## Departing from photorealism: LEyes and the efficiency argument
|
||||
|
||||
**LEyes** (Byrne et al., Behavior Research Methods 2025) represents a deliberate paradigm shift. Its core hypothesis is that a model localizing pupils and corneal reflections is "nothing more than a model that is good at finding relatively dark or light pupil- or CR-shaped blobs in an image" — rendering photorealistic skin, sclera vasculature, and eyelashes is unnecessary overhead. Built on **DeepTrack 2.1**, a modular Python library originally developed for digital microscopy, LEyes models image features as **2D Gaussian light distributions** without any 3D geometry. The pupil is a randomly oriented dark Gaussian with slight ellipticity (major-to-minor axis ratio 1.0–1.3) and exponentially distributed amplitude. Corneal reflections are bright Gaussians with luminance fixed at 255, truncated to create realistic saturation cores. The iris-pupil boundary emerges from a two-section background of different luminance values, with a randomly placed and oriented dividing line. Images are composited mathematically and discretized to 8-bit output.
|
||||
|
||||
The key innovation is **on-the-fly generation during training**: each epoch produces 1,000 unique images that are shown to the network once and then discarded, eliminating storage requirements entirely. Randomization covers Gaussian amplitude, axis radii, feature positions, orientations, background luminance, noise levels, and spurious reflections. A two-stage training regime tightens parameters in the second stage. Labels include **pupil center, CR center, CR-to-illuminator matching**, and segmentation masks. At **13 ms inference** on a standard CPU, with training feasible on **free Google Colab**, LEyes targets **P-CR (Pupil-Corneal Reflection) eye tracking** specifically. The authors contrast their approach against NVGaze's ~3.8 GPU-years for dataset generation and demonstrate competitive or superior performance on OpenEDS 2019/2020 and other real datasets. Limitations include restriction to feature-level P-CR tracking (not appearance-based gaze estimation) and the need to analyze target hardware images to set appropriate parameter distributions.
|
||||
|
||||
## UnityEyes 2 brings configurability and multi-camera support
|
||||
|
||||
**UnityEyes 2** (Smith et al., ETRA 2025) is an open-source successor (MIT license, GitHub) to the original UnityEyes, rebuilt for modern eye-tracking hardware diversity. The core advance is **full camera model configurability**: pinhole perspective cameras with user-specified intrinsics (f_x, f_y, c_x, c_y, w, h) and 6-DOF extrinsics, calibratable from real hardware using standard OpenCV toolboxes. A novel **camera array motion center** allows multiple cameras to be defined as child transforms of a shared reference point with 6-DOF noise, simulating realistic head-device relative motion. Multi-camera setups generate **synchronized views** of the same eye state. Configuration is managed through **JSON files** for reproducible batch generation, with a GUI for rapid prototyping. Rendering speed reaches **85.7 images per second** on an M3 Max MacBook Pro (comparable to the original UnityEyes' 82.0 img/s). Labels include 2D pupil center, normalized optical axis vector, and 3D eye globe center. In a demonstrated robotic eye-alignment application with three cameras, UnityEyes 2's camera-specific training reduced mean pixel error by **76%** compared to generic UnityEyes training (7.4 ± 5.0 vs. 30.8 ± 38.4 pixels). The system remains a work in progress: custom face/environment distributions, a Python API, and advanced light types are planned but not yet implemented.
|
||||
|
||||
## The absent axis: inter-individual eye shape as uncontrolled variation
|
||||
|
||||
A critical finding across all surveyed pipelines is that **no generator explicitly parameterizes stable inter-individual eye shape variation** — orbital bone structure, palpebral fissure geometry, eye socket depth, or eyeball size — as independently controllable axes. SynthesEyes and NVGaze select from **10 discrete head scans**; RIT-Eyes uses **24 scans**; Meta's recent Digital Eye Tracker Prototyper (2025) captures 195 identities via NeRF but cannot generate truly novel shapes. In all cases, anatomical variation is **implicitly entangled** within discrete 3D head models, making systematic exploration of how specific shape features affect downstream performance impossible. UnityEyes' PCA morphable model comes closest to continuous parameterization — its first principal component captures the hooded-versus-protruding eye distinction — but the shape coefficients **lack semantic labels** for individual anatomical features.
|
||||
|
||||
This gap has been explicitly identified in the literature. Fischer et al. (2023, Journal of Eye Movement Research) demonstrated that **corneal asphericity alone** significantly influences simulated eye-tracking outcomes, yet most pipelines use a fixed spherical cornea (only RIT-Eyes varies asphericity, and only across three values). The biometrically parameterized **SyntEyes** model (Rozema et al., 2011/2016) provides population-level distributions for corneal Zernike coefficients and intraocular distances but has never been integrated into an image generation pipeline. Wood et al.'s **3D Morphable Eye Region Model** (ECCV 2016) and the more recent **DREAM** model (2025) offer PCA or tensor-decomposed identity dimensions, but both were designed for analysis-by-synthesis fitting rather than controlled synthetic data generation. The field thus faces a structural limitation: inter-individual shape diversity remains either discretely sampled or entangled, preventing controlled ablation of how specific anatomical features impact model training.
|
||||
|
||||
## Bridging approaches: GAN refinement and neural rendering
|
||||
|
||||
Beyond the core generator pipelines, two complementary paradigms deserve mention. **SimGAN** (Shrivastava et al., Apple, CVPR 2017) introduced adversarial refinement of UnityEyes output: a refiner network transforms synthetic images to look more realistic while a self-regularization L1 loss preserves annotation fidelity (pupil center shift verified at only ~1.1 ± 0.8 px). This achieved a **21% relative improvement** on MPIIGaze over raw synthetic training, with humans unable to distinguish refined from real images (51.7% accuracy in a visual Turing test). Follow-ups including GazeGAN (CycleGAN-inspired) and EyeGAN (segmentation-mask-conditioned) further developed this approach. Meta's **Digital Eye Tracker Prototyper** (March 2025) represents the cutting edge: NeRF-mesh hybrid representations from 195 real identities captured in a light-dome setup enable novel view synthesis with simulated optical effects (sensor noise, blur, glasses slippage), though diversity is bounded by the captured identity pool.
|
||||
|
||||
## Conclusion
|
||||
|
||||
The evolution from Świrski & Dodgson's single-head renderer to today's ecosystem reveals two competing trajectories. The **fidelity trajectory** (SynthesEyes → NVGaze → RIT-Eyes) progressively adds anatomical structures — aspherical cornea, pupillary axis disparity, retinal retroreflection — but at escalating computational cost and with persistent sim-to-real gaps. The **efficiency trajectory** (UnityEyes → UnityEyes 2, LEyes) sacrifices anatomical detail for speed, configurability, and accessibility, achieving competitive or superior downstream performance through dataset scale and hardware-specific adaptation. LEyes' success with purely abstract 2D Gaussians challenges the assumption that photorealism is necessary for feature-level eye tracking. The most consequential open problem across all pipelines is the lack of controlled, semantically labeled inter-individual anatomical variation: without it, the field cannot systematically study how eye shape diversity affects model robustness, nor generate targeted training data for underrepresented morphologies. Integrating biometric eye models like SyntEyes into rendering pipelines — creating generators that can independently dial orbital depth, palpebral fissure width, or corneal asphericity — remains an unrealized but clearly identified next step.
|
||||
99
Prewrite/3. Stand der Forschung (Related Work).md
Normal file
99
Prewrite/3. Stand der Forschung (Related Work).md
Normal file
@@ -0,0 +1,99 @@
|
||||
Ziel: ca. 12 Seiten
|
||||
## 1. Synthetische Datengenerierung für Eyetracking
|
||||
**Ziel: ca. 4 Seiten**
|
||||
|
||||
Der Kernblock. Vorgestellt werden die bekannten Generatoren und Pipelines: SynthesEyes, UnityEyes, RIT-Eyes, LEyes, und bei Bedarf UnityEyes 2 als neuerer Ausblick. Der Fokus liegt auf der Pipeline-/Generator-Perspektive: Was wird jeweils randomisiert, welche Labels entstehen, wie realistisch bzw. kontrollierbar ist die Synthese, und wo liegen die Grenzen? Dabei die Unterschiede herausarbeiten – photorealistisch vs. vereinfachte Generierung, welche Downstream-Aufgaben adressiert werden. SynthesEyes betont photorealistische, kontrollierbare Variation von Kopfpose, Blickrichtung und Beleuchtung; UnityEyes zielt auf schnelle Synthese großer Mengen variabler Augenregionen; RIT-Eyes ergänzt deformierbare Iris, gaze-koordinierte Lidbewegung und Blinzeln; LEyes geht bewusst weg vom Photorealismus und modelliert nur die für Video-Eye-Tracking nötigen Schlüsselmerkmale. Bei jedem Generator kurz mitdiskutieren, für welche Aufgabe die Daten gedacht waren – aber noch nicht ausführlich in Sim-to-Real oder Segmentierungsmodelle abrutschen, das kommt in Kapitel 2 und 3.
|
||||
|
||||
Das bleibt dein **Kernblock**. Hier geht es um bestehende Generatoren und Pipelines wie **SynthesEyes, UnityEyes, RIT-Eyes, LEyes** und ggf. neuere Weiterentwicklungen. Der Fokus liegt auf der **Erzeugungsseite**: Welche Arten synthetischer Augenbilder werden erzeugt, welche Parameter werden variiert, welche Annotationen entstehen, wie realistisch oder abstrahiert ist die Darstellung, und welche Grenzen haben die jeweiligen Ansätze?
|
||||
|
||||
Wichtig ist, dass du dieses Kapitel konsequent aus der **Pipeline-/Generator-Perspektive** schreibst. Also nicht ausführlich: „Wie gut funktioniert das für Segmentierung?“ oder „Welche Architektur wurde danach verwendet?“, sondern:
|
||||
Welche Form von Variation wird überhaupt modelliert? Blickrichtung, Pose, Beleuchtung, Lidbewegung, Irisform, Bildrauschen, Hardwareeffekte, Augenregionsform usw.
|
||||
|
||||
Hier kannst du am Ende schon vorsichtig die Brücke schlagen: Einige Arbeiten variieren durchaus Merkmale der Augenregion, aber die **gezielte Modellierung stabiler interindividueller Augenformmerkmale** ist dort nicht der zentrale Untersuchungsgegenstand.
|
||||
|
||||
**Kurzform des Kapitels:**
|
||||
Bestehende Eye-Tracking-Synthesepipelines, ihre Variationsachsen, ihre Annotationen und ihre methodischen Grenzen.
|
||||
|
||||
|
||||
## 2. Synthetische Daten für gaze estimation, Feature-Lokalisierung und Pupillensegmentierung
|
||||
**Ziel: 1 bis 2 Seiten**
|
||||
|
||||
Dieses Kapitel verortet die Arbeit in den nachgelagerten Lernaufgaben. Die Leitfrage ist nicht "welche Modelle gibt es", sondern: Wie wurden synthetische Daten in Downstream-Aufgaben verwendet? Dafür eine kurze Einordnung der drei Hauptstränge – Gaze Estimation, Eye-Shape/Landmark Localization, semantische Segmentierung (Pupil/Iris Parsing) – und dann der Fokus auf die Segmentierungsseite. RITnet und EllSeg gehören hier hinein, aber rein datenbezogen: Welche Datensätze wurden genutzt, wie wichtig waren synthetische Labels? RITnet ist stark an OpenEDS gekoppelt; EllSeg evaluiert auf mehreren synthetischen Segmentierungsdatensätzen. Um Redundanz mit Kapitel 1 zu vermeiden: Die Generatoren werden in Kapitel 1 vorgestellt, hier geht es nur darum, wie ihre Outputs in der Segmentierungsforschung aufgegriffen wurden.
|
||||
|
||||
Dieses Kapitel solltest du **schmaler und schärfer** halten, damit es sich nicht mit Kapitel 1 doppelt. Es ist **keine allgemeine Modellübersicht**, sondern beantwortet eine andere Frage:
|
||||
**Wie wurden synthetische Augendaten in nachgelagerten Lernaufgaben verwendet?**
|
||||
|
||||
Damit verschiebt sich die Perspektive weg vom Generator und hin zur **Verwendung der Daten**. Du kannst hier knapp zeigen, dass synthetische Augendaten bereits für verschiedene Aufgaben eingesetzt wurden, etwa für:
|
||||
|
||||
- Gaze Estimation,
|
||||
- Landmarken- bzw. Augenform-Lokalisierung,
|
||||
- Pupillen-/Iris-Erkennung bzw. Segmentierung.
|
||||
|
||||
Der entscheidende Punkt ist dabei:
|
||||
Nicht die Architekturen selbst stehen im Vordergrund, sondern **welche Rolle synthetische Daten für diese Aufgaben gespielt haben**. Also zum Beispiel:
|
||||
Wurden synthetische Daten zum Vortraining genutzt? Zur Ergänzung kleiner realer Datensätze? Für bestimmte Labelarten, die real nur schwer zu annotieren sind?
|
||||
|
||||
Damit wird Kapitel 2 zu einer Art **Anwendungsbrücke**: Es zeigt, dass synthetische Daten im Eye-Tracking-Feld etabliert sind, aber je nach Zielaufgabe unterschiedlich eingesetzt werden — und dass gerade für die Pupillensegmentierung die Zusammensetzung des Trainingsdatensatzes besonders relevant ist.
|
||||
|
||||
**Kurzform des Kapitels:**
|
||||
Nicht: „Welche Modelle gibt es?“
|
||||
Sondern: „Wie und wofür wurden synthetische Augendaten bereits eingesetzt?“
|
||||
|
||||
## 3. Sim-to-Real-Transfer, Generalisierung und Domain Adaptation / Domain Randomization
|
||||
**Ziel: ca. 2 Seiten**
|
||||
|
||||
Die zentrale Frage der Arbeit ist nicht nur "Kann ich Augenformen modellieren?", sondern "Hilft diese zusätzliche Variation beim Training auf reale Daten – oder schadet sie?" Dafür braucht es den Forschungsstrang zu Domain Gap und Übertragbarkeit. Innerer Aufbau als Dreischnitt: Zuerst das Problem (Sim-to-Real Gap), dann Strategie 1 (mehr Variation / Domain Randomization, Tobin et al. als allgemeiner Rahmen), dann Strategie 2 (Verfeinerung / Adaptation, z.B. SimGAN für synthetische UnityEyes-Bilder, Seg2Eye als stilkonsistente personenspezifische Generierung). Wichtig ist weniger Breite als die Argumentation: Formvariation als eine Art von Domain Randomization einzuordnen. Spezifischer Bezug zum Eyetracking über SynthesEyes (Bedeutung realistischer Beleuchtung und Formvariation) und LEyes (Hardwareunterschiede und biologische Unterschiede als Generalisierungshürden).
|
||||
|
||||
Dieses Kapitel ist logisch sehr wichtig und in sich schon recht sauber. Hier geht es nicht mehr primär um konkrete Generatoren, sondern um den **übergeordneten methodischen Rahmen**, in den deine Arbeit gehört.
|
||||
|
||||
Die Leitfrage lautet hier:
|
||||
Warum sollte zusätzliche Variation in synthetischen Daten überhaupt helfen — und unter welchen Bedingungen hilft sie vielleicht nicht?
|
||||
|
||||
Inhaltlich würde ich das Kapitel intern in drei gedankliche Teile gliedern:
|
||||
|
||||
1. **Das Problem:** synthetische und reale Daten unterscheiden sich, wodurch ein Sim-to-Real-Gap entsteht.
|
||||
2. **Eine Strategie:** mehr Variation durch Domain Randomization, um robustere Modelle zu trainieren.
|
||||
3. **Weitere Strategien:** Domain Adaptation, Verfeinerung synthetischer Bilder oder stilistische Angleichung an reale Daten.
|
||||
|
||||
Für deine Arbeit ist dabei der wichtigste argumentative Punkt:
|
||||
**Augenformvariation kann als eine spezielle Form von Domain Randomization verstanden werden.**
|
||||
Du testest also nicht einfach „noch einen Parameter“, sondern konkret, ob zusätzliche morphologische Variation die Generalisierung verbessert oder verschlechtert.
|
||||
|
||||
**Kurzform des Kapitels:**
|
||||
Der theoretische Rahmen dafür, warum zusätzliche Variation in synthetischen Daten für reale Anwendungen relevant sein kann.
|
||||
|
||||
## 4. Modellierung interindividueller anatomischer Variation der Periorbitalregion
|
||||
**Ziel: 2 bis 3 Seiten**
|
||||
Das ist das Kapitel, das die Arbeit am stärksten von klassischer Syntheseliteratur abhebt 👁️✨
|
||||
Hier sollte klar werden, warum Augenformmerkmale wie Lidform, Lidfalte, Kanthusform oder Epikanthus **keine bloßen Details** sind, sondern eine eigenständige, biologisch plausible Variationsachse. Dafür passt eine Zweiteilung sehr gut:
|
||||
### 4.1 Periorbitale Morphologie als relevante Variationsachse
|
||||
Anthropometrische Literatur, die zeigt, dass sich die periorbitale Morphologie zwischen Personen systematisch unterscheidet (Ethnie, Geschlecht, Alter, natürliche Asymmetrien). Damit begründen, warum Merkmale wie Lidform, Lidfalte, Kanthusform oder Epikanthus nicht bloß kosmetische Details sind, sondern eine relevante Variationsachse für Trainingsdaten. Dieses Teilkapitel liefert die **inhaltliche Rechtfertigung**, warum die Variation überhaupt sinnvoll ist.
|
||||
### 4.2 Parametrische Modellierung morphologischer Variation
|
||||
|
||||
Hier ordnest du angrenzende Arbeiten ein, die Gesichtsvariation parametrisch modellieren, etwa über Morphable Models oder ähnliche 3D-Ansätze. Wichtig ist die Einordnung: Das sind **angrenzende Arbeiten**, aber keine direkten Eye-Tracking-Synthesepipelines mit Fokus auf die Periorbitalregion. Genau dadurch kannst du zeigen, dass parametrisierte Formvariation grundsätzlich ein etablierter Gedanke ist, aber in deinem spezifischen Anwendungskontext noch nicht in dieser Form ausformuliert wurde.
|
||||
|
||||
**Holistische 3D Morphable Models** wie FLAME, das Basel Face Mode, eventuell weitere 3DMMs. Diese Modelle sind Nachbarliteratur, keine direkten Eye-Tracking-Generatoren. FLAME als artikuliertes Ganzkopfmodell, BFM als klassisches Morphable-Face-Model. Das zeigt, dass parametrisierte Gesichtsvariation grundsätzlich etabliert ist – aber die Dimensionen dieser Modelle sind typischerweise holistisch und nicht in Bezug auf lokale Gesichtsmerkmale interpretierbar.
|
||||
|
||||
**Wisetchat 2018 ("Description-based visualisation of ethnic facial types")** nimmt hier eine Sonderstellung ein und ist das methodisch engste Vorbild für die eigene Arbeit. Im Gegensatz zu klassischen 3DMMs definiert Wisetchat explizite, semantisch interpretierbare und quasi-orthogonale Formparameter für einzelne Gesichtsregionen – darunter die Augenregion. Lokale Merkmale wie Falten, Wölbungen, Neigungen etc. werden als kontinuierliche Attribute modelliert, die ein morphbares Modell steuern und ethnische Formvariation sichtbar machen. Der entscheidende Punkt: Wisetchat zeigt, dass lokale, beschreibbare Formparameter ethnische Variation oft besser erfassen als reine Landmark-Abstände. Die Arbeit zielt dabei auf die menschliche Wahrnehmung und Visualisierung ethnischer Gesichtsvariation ("human visual appreciation"), **nicht** auf die Erzeugung synthetischer Trainingsdaten.
|
||||
|
||||
Genau hier liegt die Abgrenzung: Die eigene Arbeit übernimmt dieselbe Grundidee – explizite, semantische Formparameter für die Periorbitalregion – setzt sie aber in einer Blender-Synthesepipeline ein, um damit Trainingsdaten für ein Segmentierungsmodell zu erzeugen. Gleicher Modellierungsansatz, anderer Zweck. Das baut direkt die Brücke zu Kapitel 5, weil sich zeigen lässt: Die Idee parametrischer, semantischer Formvariation existiert und ist tragfähig, wurde aber im Kontext synthetischer Eye-Tracking-Daten noch nicht in dieser Form eingesetzt und als eigenständiger Faktor untersucht.
|
||||
|
||||
Das ist thematisch deutlich besser hier aufgehoben als in Kapitel 1, weil es direkt auf die **Forschungslücke** vorbereitet.
|
||||
## 5. Forschungslücke und Positionierung der eigenen Arbeit
|
||||
|
||||
**Ziel: ca. 1 Seite**
|
||||
|
||||
Die rote Linie: Es gibt starke Arbeiten zur synthetischen Erzeugung von Augenbildern, die erfolgreich Blickrichtung, Pose, Beleuchtung und teils dynamische Lidbewegungen variieren. Vorsicht bei der Formulierung der Lücke – UnityEyes wird ausdrücklich mit Variation der Eye Region Shape beschrieben. Die Lücke ist also nicht "niemand hat Augenform variiert", sondern: Die explizite, parametrisierbare und als eigener Faktor untersuchte Modellierung stabiler periorbitaler Augenformmerkmale steht nicht im Zentrum der bisherigen Arbeiten. Die Arbeit erweitert eine bestehende Blender-Pipeline um diese Formvariation und prüft experimentell, ob das für ein Segmentierungsmodell Nutzen oder Nachteil hat.
|
||||
|
||||
Dieses Kapitel ist dann die **saubere Synthese** aus 1 bis 4.
|
||||
|
||||
Die Argumentation sollte ungefähr so verlaufen:
|
||||
|
||||
Bestehende Arbeiten zur synthetischen Erzeugung von Augenbildern zeigen, dass kontrollierte Variation für Eye-Tracking-Aufgaben grundsätzlich sehr wertvoll ist. Dabei werden bereits verschiedene Einflussfaktoren wie Blickrichtung, Kopfpose, Beleuchtung, Lidbewegung oder bildgebende Effekte berücksichtigt. Auch der Einsatz synthetischer Daten für nachgelagerte Lernaufgaben ist etabliert, und im weiteren Sinn lässt sich zusätzliche Variation als Beitrag zur Verbesserung der Generalisierung verstehen.
|
||||
|
||||
Was jedoch nicht im Zentrum der bisherigen Arbeiten steht, ist die **explizite, parametrisierbare und gezielt untersuchte Modellierung stabiler interindividueller Augenformmerkmale der Periorbitalregion** als eigener Faktor für die Generalisierung segmentierungsbasierter Eye-Tracking-Modelle.
|
||||
|
||||
Genau dort setzt deine Arbeit an:
|
||||
Du erweiterst eine bestehende Blender-basierte Synthesepipeline um diese Formvariation und untersuchst experimentell, welchen Einfluss sie auf die Leistung eines Segmentierungsmodells hat.
|
||||
|
||||
Das ist die präziseste und zugleich vorsichtige Formulierung deiner Lücke.
|
||||
223
Prewrite/Gliederung Kapitel 4-7.md
Normal file
223
Prewrite/Gliederung Kapitel 4-7.md
Normal file
@@ -0,0 +1,223 @@
|
||||
# Gliederung Kapitel 4-7 (Methodik, Implementierung, Versuchsaufbau, Ergebnisse)
|
||||
|
||||
## Leitprinzip
|
||||
|
||||
| Kapitel | Funktion |
|
||||
|---------|----------|
|
||||
| 4 Methodik | WAS und WARUM (Konzept, Designentscheidungen) |
|
||||
| 5 Implementierung | WIE (technische Umsetzung, Blender-Details, Code) |
|
||||
| 6 Versuchsaufbau | Womit und wie getestet (Parameter, Datensatze, Metriken) |
|
||||
| 7 Ergebnisse | Was rauskam (Daten, unmittelbare Schlussfolgerungen) |
|
||||
|
||||
## Entscheidungen
|
||||
|
||||
- Augenlid-Inhalt (Problemanalyse + Losung) bleibt komplett in Implementierung, da zu technisch fur Methodik
|
||||
- Methodik beschreibt nur das Gesamtkonzept auf hoherer Ebene, keine Blender-spezifischen Details
|
||||
- Szenenarchitektur (ViewLayer-Umbau) und Augenbrauen/Wimpern sind technische Entscheidungen, gehoren in Implementierung, nicht Methodik
|
||||
- Methodik bekommt einen kurzen Abschnitt "Evaluationslogik" (max 0,5-1 Seite)
|
||||
- Konfigurationskonzept in Methodik abstrakt halten (keine JSON-Details), konkretes Schema nach Implementierung
|
||||
- 5.3 (Augenlid + Periorbital) aufteilen in zwei Abschnitte: Augenlid und Periorbitalregion sind eigenstandige Beitrage
|
||||
- Versuchsaufbau bekommt einen Abschnitt "Gemeinsame Auswertungsprinzipien" (allgemein), experiment-spezifische Inferenzstatistik in den jeweiligen Experiment-Abschnitten
|
||||
- Exp 1.1 explizit als faktorielles Design (Pipeline x Blender-Version) rahmen, aber vorsichtig formulieren (keine perfekte kausale Trennung behaupten)
|
||||
- Exp 2 (6.5) intern untergliedern: Datensatzquellen, Trainings-/Validierungssplit, Vorverarbeitung, Metriken (mit Primarmetrik)
|
||||
- 5.10 Experimentwerkzeuge: hart priorisieren, UI-Komfortfeatures nur kurz
|
||||
- `0X_PerformanceVerbesserung.tex` wird aufgelost in drei Ziele (siehe Kap. 5.9, 6.4, 7.2)
|
||||
- Reihenfolge: Methodik -> Implementierung -> Versuchsaufbau -> Ergebnisse
|
||||
|
||||
---
|
||||
|
||||
## Kapitel 4: Methodik -- Konzeption der parametrisierbaren Augenmodell-Pipeline
|
||||
|
||||
Dieses Kapitel beschreibt auf konzeptueller Ebene, WAS gemacht wird und WARUM. Keine Blender-spezifischen Details, keine Code-Details. Bewusst knapp halten: ca. 4-8 Seiten. Bei zu viel Umfang droht Wiederholung von Einleitung (4.1) und Versuchsaufbau (4.4).
|
||||
|
||||
### 4.1 Gesamtkonzept und Anforderungen
|
||||
- Was soll die erweiterte Pipeline leisten: parametrische periorbital Formvariation in HEyes
|
||||
- Anforderungen (abgeleitet aus Forschungsfrage): plausible Augenformen, kompatibel mit bestehender Pipeline, konfigurierbar, randomisierbar, keine inakzeptable Laufzeitverschlechterung
|
||||
- Architekturubersicht: Figur, die den Weg von Config -> zufallige Parameter -> Rendering zeigt, mit Markierung wo die Formvariation eingreift
|
||||
|
||||
### 4.2 Konzept der periorbitalen Formvariation
|
||||
- Warum Shape-Keys als Mechanismus gewahlt wurden (vs. Alternativen: separate Meshes, Skelett-Rigs, prozedurale Generierung)
|
||||
- Grundidee: lineare Kombination von Shape-Keys fur Augenlid-Schliessung + periorbital Formvariation
|
||||
- Kurze Erwahnung: Augenbrauen und Wimpern mussen deformierbar angebunden sein (feste Geometrie ungeeignet), daher haarbasierter Ansatz. Kein eigener Abschnitt, nur kurze Erwahnung im Kontext der Formvariation
|
||||
- Kurze Erwahnung der Herausforderungen (Clipping, Korrektur-Shape-Keys), die in der Implementierung gelost werden
|
||||
- NICHT: die detaillierte technische Problemanalyse (Krummungsruck, Normalen etc.) -- das bleibt in Kap. 5
|
||||
|
||||
### 4.3 Konzept der Parametrisierung und Randomisierung
|
||||
- Abstrakt: Welche Parameter kontrollierbar sind, wie sie randomisiert werden, Rolle der Reproduzierbarkeit
|
||||
- Formulierung auf Methodenebene, z.B.: "Die Formvariation wird uber parametrisierbare Bereiche gesteuert, aus denen pro Bild Zufallswerte gezogen werden. Zur Reproduzierbarkeit konnen identische Zufallsinitialisierungen verwendet werden."
|
||||
- NICHT: JSON-Schema, konkrete Datenstrukturen, Config-Datei-Aufbau (das kommt in 5.7)
|
||||
|
||||
### 4.4 Ubergeordnete Evaluationslogik
|
||||
- Sehr kurz (max 0,5-1 Seite)
|
||||
- Welche ubergeordneten Fragen beantwortet werden sollen
|
||||
- Warum dafur drei Experimente notig sind:
|
||||
- Exp 1.1: Hat die Erweiterung die Laufzeit verschlechtert?
|
||||
- Exp 1.2: Wo liegen Bottlenecks, und was bringen gezielte Optimierungen?
|
||||
- Exp 2: Verbessert die Formvariation die Segmentierung auf echten Daten?
|
||||
- NICHT: konkrete Begrundungen pro Experiment (die stehen in Kap. 6)
|
||||
|
||||
---
|
||||
|
||||
## Kapitel 5: Implementierung
|
||||
|
||||
Technische Umsetzung. Zeigt konkrete Probleme und Losungen. Hier stehen die Blender-Details, Modifier-Einstellungen, Code-Architektur. Ca. 15-20 Seiten.
|
||||
|
||||
### 5.1 Projektstruktur
|
||||
- Kurzer Uberblick (max 0,5-1 Seite): Code-Organisation, Modul-Verantwortlichkeiten
|
||||
- Nur Module, die fur das Verstandnis notig sind. Keine Repository-Fuhrung
|
||||
|
||||
### 5.2 Allgemeine technische Anpassungen
|
||||
- Blender 5 Upgrade (API-Anderungen, Compositing-Graph: eine Output-Node pro Textur) -- wichtigster Punkt
|
||||
- Seed-Konfiguration fur Reproduzierbarkeit -- sinnvoll
|
||||
- Debug-Szenen-Speicherung -- sinnvoll
|
||||
- Type-Annotations -- nur kurz erwahnen als Nebenaspekt
|
||||
|
||||
### 5.3 Umsetzung des Augenlidmodells
|
||||
- **Probleme des bisherigen Modells** (der bestehende Text aus `3_AugenlidUndHaut.tex`): Krummungsruck, Texturkoordinaten-Sprunge, unvollstandige Schliessung, Clipping
|
||||
- **Shape-Key-basiertes Augenlid**: Zusammenfuhrung in ein Mesh, Catmull-Clark-Subdivision, Shape-Key-Animation
|
||||
- **Shrinkwrap Modifier**: Lösung des Clipping-Problems, Aufliegen auf dem Auge
|
||||
|
||||
### 5.4 Umsetzung der periorbitalen Formvariation
|
||||
- Modellierte Shape-Keys, Deformationsbereiche
|
||||
- Grenzen der heuristischen Modellierung (sachlich formulieren, siehe Schreibhinweise)
|
||||
- Korrektur-Shape-Keys mit Drivern: welche Kombinationen kollidieren, wie Driver das losen
|
||||
|
||||
### 5.5 Anpassung der Segmentierungsausgabe
|
||||
- Problem: Cryptomatte funktioniert nicht mehr fur Augenlid nach Mesh-Zusammenfuhrung
|
||||
- Erster Versuch: Geometry Nodes -> Vertex-Group-Gewichte -> Shader-Output (umstandlich, unprazise)
|
||||
- Losung: Zweite Haut-Textur (weiss fur Augenlid, schwarz fur Rest), direkt uber Texturkoordinate im Shader
|
||||
|
||||
### 5.6 Augenbrauen und Wimpern
|
||||
- Warum feste Geometrie nicht funktioniert (kurz, Verweis auf Erwahnung in 4.2)
|
||||
- Gescheiterter Versuch mit Hair-Particles
|
||||
- Funktionierender Hair-Modifier-Ansatz: konkrete Umsetzung
|
||||
- Verbleibende Limitierungen und Verbesserungsmoglichkeiten
|
||||
|
||||
### 5.7 Technische Umsetzung der Parametrisierung und Randomisierung
|
||||
- JSON-Schema-Eintrage fur Shape-Keys (das konkrete Schema, das in 4.3 nur abstrakt beschrieben wurde)
|
||||
- min/max-Range-Implementierung
|
||||
- Automatisches Sampling und Anwendung auf die Szene
|
||||
|
||||
### 5.8 Szenenumbau und View-Layer-Architektur
|
||||
- Warum der Umbau notig war (kurze Motivierung)
|
||||
- Technische Schritte: 3 Szenen -> 1 Szene mit 3 ViewLayern
|
||||
- Konkrete Anderungen am Compositing-Graph, Material-Zuweisungen, Render-Einstellungen
|
||||
|
||||
### 5.9 Performance-Optimierungen
|
||||
- **Hierhin kommt der Implementierungsteil aus `0X_PerformanceVerbesserung.tex`**
|
||||
- Luminanz-Caching fur Haut-Textur: was im Code geandert wurde
|
||||
- Compositing-Graph-Wiederverwendung
|
||||
- Anpassung an Sklera-Generierung
|
||||
- NUR die Code-Anderungen, nicht die Profiling-Analyse (die ist in 7.2)
|
||||
|
||||
### 5.10 Implementierung der Experimentwerkzeuge
|
||||
- Benchmark-Runner (Worktree-Setup, Commit-basierte Benchmarks, CSV-Logging) -- wichtig fur Reproduzierbarkeit
|
||||
- Detail-Logging fur Experiment 1.2
|
||||
- Datenextraktions- und Vorbereitungstools -- wichtig fur Datensatzqualitat
|
||||
- Erweiterungen am Parameter-Picker -- nur kurz erwahnen, UI-Komfortfeatures nicht breittreten. Nur Features, die echten Einfluss auf die Luminanz-Kalibrierung hatten, ausfuhrlicher
|
||||
|
||||
---
|
||||
|
||||
## Kapitel 6: Versuchsaufbau
|
||||
|
||||
Beschreibt die konkreten Experimente: warum, womit, wie ausgewertet. Ca. 8-12 Seiten. In Kap. 6 keine Skriptnamen oder Tool-Details (die stehen in 5.10), sondern methodische Beschreibungen (was wurde gefiltert, nach welchen Kriterien).
|
||||
|
||||
### 6.1 Hardware und Testumgebung
|
||||
- Hardware-Specs, Software-Versionen
|
||||
- Gilt fur alle Experimente
|
||||
|
||||
### 6.2 Gemeinsame Auswertungsprinzipien
|
||||
- Wiederholungen / Seeds
|
||||
- Deskriptive Statistik (Lage- und Streuungsmasse)
|
||||
- Reproduzierbarkeit
|
||||
- Allgemeine Prinzipien der statistischen Auswertung
|
||||
- Experiment-spezifische Inferenzstatistik (BCa Bootstrap, Wilcoxon etc.) jeweils in den Experiment-Abschnitten, NICHT hier
|
||||
|
||||
### 6.3 Experiment 1.1: Globaler Laufzeitvergleich
|
||||
- Ziel und Begrundung
|
||||
- **Explizit als faktorielles 2x2-Design rahmen:**
|
||||
- Faktor A: Implementierungsstand (Baseline vs. Current)
|
||||
- Faktor B: Blender-Version (4.5 vs. 5.0)
|
||||
- Vorsichtig formulieren: "Damit konnen Effekte des Implementierungsstands und der Blender-Version systematisch gegenubergestellt und potenzielle Interaktionen sichtbar gemacht werden." (Keine perfekte kausale Trennung behaupten, da Codepfade nicht perfekt orthogonal.)
|
||||
- Gemessene Timing-Metriken und warum diese
|
||||
- Anzahl Durchlaufe, Bilder pro Durchlauf, Auflosung
|
||||
- Erwartete Ergebnisse / Hypothesen
|
||||
|
||||
### 6.4 Experiment 1.2: Detaillierte Laufzeitanalyse und Optimierungsevaluation
|
||||
- **6.4.1 Instrumentierung und gemessene Phasen**
|
||||
- Hierhin kommt die Phasenbeschreibung aus `0X_PerformanceVerbesserung.tex` (t_camera, t_tex_init, t_skin_lum, t_sclera etc.)
|
||||
- **6.4.2 Auswahl der Optimierungsziele**
|
||||
- Nach welchen Kriterien wurde entschieden, was optimiert wird
|
||||
- **6.4.3 Versuchsaufbau des Vorher-Nachher-Vergleichs**
|
||||
- Zwei Konfigurationen: unoptimiert vs. optimiert (beide Blender 5)
|
||||
- Durchlauf-Parameter
|
||||
|
||||
### 6.5 Experiment 2: YOLO-Training
|
||||
- Ziel und Begrundung: Verbessert periorbital Formvariation die Segmentierung auf echten Daten?
|
||||
- Hypothese
|
||||
- **6.5.1 Datensatzquellen**
|
||||
- Synthetische Trainingsdaten: Baseline vs. Current, je 5000 Bilder, Generierungsparameter
|
||||
- Externer Testdatensatz: 500k-Dataset, Reduktionsverfahren (SSIM + Diversity-Ranking)
|
||||
- Glasklar machen: Testdatensatz ist komplett separat von den Trainingsdaten
|
||||
- **6.5.2 Trainings-/Validierungsaufteilung**
|
||||
- 80/20-Split auf synthetischen Daten, 15 Seeds pro Bedingung
|
||||
- YOLO-Modell und Trainingsparameter
|
||||
- **6.5.3 Vorverarbeitung und Filterung**
|
||||
- Luminanz-Kalibrierung: Workflow, Quantil-basierte Grenzen
|
||||
- Okklusionsschwelle und Filterungskriterien
|
||||
- **6.5.4 Metriken**
|
||||
- Primarmetrik festlegen (z.B. Dice oder IoU) -- methodisch starker als alle Metriken gleichwertig zu berichten
|
||||
- Sekundarmetriken: geometrische Fehlermasse (Centroid-Error, Ellipsen-Fit-Error)
|
||||
- Experiment-spezifische Inferenzstatistik (Wilcoxon, BCa Bootstrap CI) hier statt in 6.2
|
||||
|
||||
---
|
||||
|
||||
## Kapitel 7: Ergebnisse (weitgehend unverandert)
|
||||
|
||||
Faustregel: Kap. 7 zeigt, was die Daten zeigen und welche unmittelbaren Schlusse sich ergeben. Kap. 8 (Diskussion) bewertet das wissenschaftlich und zeigt Grenzen auf.
|
||||
|
||||
### 7.1 Experiment 1.1: Untersuchung der Laufzeit
|
||||
(bereits gut geschrieben)
|
||||
|
||||
### 7.2 Experiment 1.2: Detaillierte Konfigurationszeit-Analyse
|
||||
- **Hierhin kommt die Profiling-Analyse aus `0X_PerformanceVerbesserung.tex`**: Bottleneck-Identifikation, Beurteilung des Optimierungspotenzials
|
||||
- Vorher/Nachher-Vergleich der Optimierungen
|
||||
- Story: Exp 1.1 zeigte hohe Config-Zeit -> detailliertes Profiling -> Bottlenecks identifiziert -> Optimierungen implementiert (Verweis auf 5.9) -> Exp 1.2 misst den Effekt
|
||||
|
||||
### 7.3 Experiment 2: YOLO-Training
|
||||
(bereits gut geschrieben)
|
||||
|
||||
---
|
||||
|
||||
## Auflosung von `0X_PerformanceVerbesserung.tex`
|
||||
|
||||
Der Inhalt verteilt sich auf drei Stellen:
|
||||
|
||||
| Inhalt | Ziel |
|
||||
|--------|------|
|
||||
| Phasenbeschreibungen (was jede Timing-Phase misst) | -> **6.4.1** Versuchsaufbau Exp 1.2 |
|
||||
| Profiling-Analyse, Bottleneck-Identifikation | -> **7.2** Ergebnisse Exp 1.2 |
|
||||
| Code-Anderungen (Luminanz-Caching, Sklera etc.) | -> **5.9** Implementierung |
|
||||
|
||||
---
|
||||
|
||||
## Zusammenfassung
|
||||
|
||||
| Nr. | Kapitel | Status | Geschatzter Umfang |
|
||||
|-----|---------|--------|--------------------|
|
||||
| 4 | Methodik | **NEU zu schreiben** | 4-8 Seiten |
|
||||
| 5 | Implementierung | Teilweise geschrieben, umstrukturieren | 15-20 Seiten |
|
||||
| 6 | Versuchsaufbau | Teilweise geschrieben, erweitern | 8-12 Seiten |
|
||||
| 7 | Ergebnisse | Gut geschrieben, kaum Anderungen | ~30 Seiten |
|
||||
|
||||
---
|
||||
|
||||
## Schreibhinweise
|
||||
|
||||
1. **Exp 1.2 als iterative Folgeanalyse einordnen:** Im Fliesstext explizit machen, dass Exp 1.2 aus den Befunden von Exp 1.1 hervorgegangen ist. Sonst fragt sich der Leser, warum es zwei Performance-Experimente gibt.
|
||||
|
||||
2. **"Keine medizinische Grundlage" in 5.4 sachlich formulieren:** Statt "keine medizinische Grundlage" besser: "Die modellierten periorbitalen Formvariationen wurden heuristisch und anhand visueller Plausibilitat entwickelt. Sie beanspruchen keine anthropometrisch oder medizinisch validierte Abbildung realer Populationen."
|
||||
|
||||
3. **Kap. 7 Titel:** Ob "Ergebnisse" oder "Ergebnisse und Analyse" ist Geschmackssache. Bei separatem Diskussionskapitel (Kap. 8) ist "Ergebnisse" allein etwas sauberer, da "Analyse" schnell zur Interpretation einladt, die eigentlich in die Diskussion gehort.
|
||||
|
||||
4. **Kap. 7 vs. Kap. 8 Grenze:** Kap. 7 zeigt, was die Daten zeigen und welche unmittelbaren Schlusse sich ergeben. Kap. 8 (Diskussion) bewertet das wissenschaftlich, ordnet es in den Forschungskontext ein und zeigt Grenzen auf.
|
||||
84
Prewrite/Implementierung.md
Normal file
84
Prewrite/Implementierung.md
Normal file
@@ -0,0 +1,84 @@
|
||||
1. Projektstruktur
|
||||
1. (Wie ist das Repository aufgebaut)
|
||||
2. Ablauf der bestehenden Pipeline?
|
||||
3. Allgemeine Änderungen an den bestehenden Scripts:
|
||||
1. Upgrade auf Blender 5
|
||||
- Eigentlich nur eine Änderung nötig: im Blender Compositing-Graph ist pro Output-Textur eine Output-Node nötig (statt vorher einer Node für alle)
|
||||
2. unwichtige Änderung: konsequente Type-Annotations im gesamten Projekt
|
||||
3. Möglichkeit einen bestimmten Seed in Config-Datei einzutragen
|
||||
4. Möglichkeit, dass die modifizierte Szene abgespeichert wird (für Debugging)
|
||||
4. Umbau der Pipeline
|
||||
1. Augenlid mit Shape-Key implementieren
|
||||
1. Probleme mit dem alten Ansatz
|
||||
- Hat ein getrennten Modell für Augenlid
|
||||
- -> Kann nicht vollständig geschlossen werden
|
||||
- -> passt sich nicht an Auge / periorbitale Haut an
|
||||
2. Lösung: Modell weg -> mit Shape-Key umsetzen
|
||||
- Script muss angepasst werden um statt objekt-Rotation festzulegen den Shape-Key zu steuern
|
||||
- Vorteile:
|
||||
- Erlaubt es das Auge vollständig zu schließen
|
||||
- Mit Wrap-Modifier an das Auge angeschmiegt
|
||||
2. Problem: Augenlid-Segmentierungsmaske funktioniert jetzt nicht mehr mit Cryptomattes
|
||||
1. erster Versuch: Kompliziert Gewichte für Augenlid-Vertex-Group mit GEometry Nodes an Haut-Shader reichen und mit extra Shader-Output ausgeben
|
||||
- Umständlich und unpräzise (sind an Geometrie-Detail gebunden)
|
||||
2. bessere Lösung: Verwenden eine zweite Haut-Textur, in der Pixel des Augenlids weiß und der Rest schwarz ist
|
||||
- Vorteil: Viel einfacher, kann direkt mit Texturkoordinate im Haut-Shader ausgelesen und direkt an den extra Shader-Output übergeben werden
|
||||
3. Wimpern und Augenbrauen
|
||||
1. Probleme mit dem alten Ansatz
|
||||
- War vorher feste Geometrie -> kann nicht an Shapekeys angepasst werden
|
||||
2. erster Versuch mit Hair-Particles
|
||||
- funktioniert nicht gut -> Die Wimpern gehen kaputt, wenn man das Augenlid bewegt
|
||||
3. zweiter Versuch mit Hair-Modifier (gut)
|
||||
- funktioniert deutlich besser
|
||||
- aber nicht perfekt
|
||||
- Ansätze für zukünftige Verbesserung anreißen (z. B. Variation in Länge/Dicke und Winkel durch Geometrie Nodes möglich)
|
||||
4. Periorbitalregion
|
||||
1. Umsetzung mit Shape-Keys
|
||||
- TODO: Es so klingen lassen, als hätte ich das nicht in zwei Stunden hingeklatscht
|
||||
- TODO: Irgendwie klar machen, dass die absolut keiner medizinischen Grundlage folgen, sondern einfach nach Gefühl gebastelt sind 😅
|
||||
2. Problem: Bestimmte Kombinationen von Shape-Keys kollidieren, weil sie doch nicht quasi-Orthogonal sind (z. B. kollidieren einige mit dem geschlossenen Augenlid)
|
||||
- Lösung: Korrektur-Shape-Keys mit Driver ansteuern
|
||||
3. Änderung an Script:
|
||||
- Konfiguration: In Json-Config kann einfach für jeden Shape-Key den man steuern möchte der Name des Keys mit min- und max-Wert eingetragen werden
|
||||
- Anwendung: Für alle in der Json eingetragenen Shape-Keys wird automatisch ein zufälliger Wert innerhalb der konfigurierten Range gezogen und für den Shapekey angewendet.
|
||||
5. Implementierung für die Tests:
|
||||
1. Experiment 1.1: Performance Benchmarks
|
||||
1. (wahrscheinlich nicht so interessant): Zeit wird mit time.perf_counter_ns() gemessen und als CSV-Datei gespeichert
|
||||
2. Benchmark-Runner-Script:
|
||||
1. In Config-Json kann eingetragen werden:
|
||||
- Welche Benchmarks laufen. Für jeden Benchmark:
|
||||
- Name,
|
||||
- Git-Commit im Repo
|
||||
- Ob mit Blender 4 oder 5 ausgeführt werden muss
|
||||
- Wie viele (X) Bilder pro Durchlauf
|
||||
- Wie viele (Y) Durchläufe
|
||||
- Output-Verzeichnis
|
||||
2. Benchmark Runner macht dann für jeden konfigurierten Benchmark:
|
||||
1. in einem Git-Worktree das Repo mit dem jeweiligen Commit auschecken
|
||||
2. Passt config im Worktree an, sodass X viele Bilder generiert werden und diese als Unterordner im konfigurierten Benchmark-Output landen
|
||||
3. Führt Y Durchläufe durch
|
||||
3. Auswertung mit Jupyter Notebook
|
||||
2. Experiment 1.2: Detaillierte Performance Auswertung
|
||||
- ??? wie viel hiervon in der Methodik?
|
||||
- zusätzlich erfasste Werte
|
||||
- ggf. für das eine Ding Mikrobenchmarks
|
||||
- konkrete Änderungen
|
||||
- Haut-Luminanzwerte und Compositing-Graph cachen
|
||||
- Anpassung an Sklera-Generierung nach den Mikrobenchmarks
|
||||
- Das ist sehr technisch und der Effekt am Ende praktisch irrelevant
|
||||
3. Experiment 2: Yolo Training
|
||||
1. 500k-Datenextraktor? Oder reicht es, dass in Methodik beschrieben ist, wie die Daten extrahiert wurden
|
||||
2. Verbesserungen/Änderungen an LEyes Parameter Picker (nur ein bisschen, nicht zu sehr ins Detail gehen)
|
||||
1. Output Median percentiles 5, 10, 90 and 95
|
||||
2. Fixed metrics changing when switching to different image
|
||||
3. Add mask overlay controls for alpha transparency and bounding box display
|
||||
4. Add dirty-state and ask for confirmation on image change
|
||||
5. Don't continuously Refresh stats while drawing, only on release
|
||||
6. Add deadzone functionality with adjustable borders
|
||||
|
||||
|
||||
Was mir gerade noch zur Implementierung eingefallen ist: Es gab einen Umbau der Blender-Datei von drei Szenen auf eine Szene mit drei Viewlayers.
|
||||
|
||||
Ich habe noch etwas, das irgendwie in der Arbeit einsortiert werden muss: Der erste Performance benchmark hat veranlasst, dass die versuchete die Performance weiter zu verbessern. Dementsprechend wurde der zweite detailliertere Benchmark gemacht, dann Optimiert, dann nochmal Benchmark für vorher nacher vergleich der optimierung. Wie soll ich das einordnen. Die Finalen Ergebnisse sind klar, die gehören ins Auswertungskapitel, aber der vorherige Detaillierte benchmark um zu entscheiden, was optimiert werden soll. Ist das ein eigener Abschnitt/Kapitel oder so? Ich habe jetzt gerade eine Rohschrift (unfertig) in "@MasterLatex/content/0X_PerformanceVerbesserung.tex". Das muss irgendwie einsortiert werden.
|
||||
|
||||
Ich Grunde möchte ich eine gute Struktur haben, was kommt in Methodik, was kommt in Versuchsplanung (und Versuchsauswertungsplanung), was ist Implementierung. Wie soll ich diese Kapitel strukturieren.
|
||||
@@ -203,4 +203,7 @@ Abbildung CYC demonstriert die Effekte von Kantenglättung und verschiedenen Tex
|
||||
|
||||
Der Code für das Generieren des Compositing Graphen (`nodetree.py`) wurde so angepasst, dass diese Schwellwert-Berechnung angewandt wird. Außerdem wurden alle Verbindungen mit der alten Cryptomatte-Maske des Augenlid-Objekts durch die Schwellwert-Node binärisierte "Eyelid Mask" ersetzt. (TODO: vielleicht ei
|
||||
|
||||
![[final_compositing_tree.png]]
|
||||
![[final_compositing_tree.png]]
|
||||
|
||||
# Pupille verkürzen
|
||||
Da nur noch ein Modell für alle Ansichten verwendet wird, und dieses einen langen Zylinder am Ende hat, kam es manchmal vor, dass eine Maske generiert wurde, bei der hinten dieser Pimmel sichtbar ist. In der alten Implementierung war er nur in der Hauptszene lang und die anderen hatten ein kurzen. Er wurde in der neuen verkürzt. Es ist nicht wichtig für uns, dass er lang ist.
|
||||
@@ -10,6 +10,3 @@ Um die Sclera-Textur zu erzeugen wird in der alten Implementierung zunächst ein
|
||||
|
||||
Die ersten beiden Schritte lassen sich zusammenfassen. Statt erst eine weiße Textur zu erzeugen (`np.ones`) und die Pixel dann grau (`tex[::3] = grau`) zu machen, kann in einem einzigen Schritt ein Array mit den korrekten Grauwerten erzeugt werden (`np.full(size, [grau,grau,grau,1])`). Tatsächlich kommt der meiste Performance-Vorteil durch das ersetzen von `tex[::3]`
|
||||
|
||||
|
||||
# Pupille verkürzen
|
||||
Da nur noch ein Modell für alle Ansichten verwendet wird, und dieses einen langen Zylinder am Ende hat, kam es manchmal vor, dass eine Maske generiert wurde, bei der hinten dieser Pimmel sichtbar ist. In der alten Implementierung war er nur in der Hauptszene lang und die anderen hatten ein kurzen. Er wurde in der neuen verkürzt. Es ist nicht wichtig für uns, dass er lang ist.
|
||||
@@ -0,0 +1,3 @@
|
||||
views:
|
||||
- type: table
|
||||
name: Tabelle
|
||||
|
||||
649
fact_check_report.md
Normal file
649
fact_check_report.md
Normal file
@@ -0,0 +1,649 @@
|
||||
# Fact-Check: Kapitel 3 -- Stand der Forschung
|
||||
|
||||
Systematische Satz-fuer-Satz-Pruefung aller zitierten und unzitierten Aussagen.
|
||||
|
||||
**Legende:**
|
||||
- BESTAETIGT = Aussage durch Paper gedeckt
|
||||
- TEILWEISE = Kernaussage korrekt, aber Nuancen/Details weichen ab
|
||||
- NICHT GEFUNDEN = Aussage im zitierten Paper nicht auffindbar
|
||||
- FALSCH = Aussage widerspricht dem Paper
|
||||
|
||||
---
|
||||
|
||||
## Sektion 3.1: Synthetische Datengenerierung fuer Eye-Tracking
|
||||
|
||||
### Zitierte Saetze
|
||||
|
||||
#### Swirski und Dodgson (2014) -- `swirskiRenderingSyntheticGround2014`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| ------------------------------------------------------------------------------------------------------------------------------- | ---------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "als Erste physikalisch basiertes Rendering zur Erzeugung synthetischer Augenbilder fuer die Eye-Tracker-Evaluation einsetzten" | TEILWEISE | Paper impliziert Erstmaligkeit durch Positionierung gegenueber Vorarbeiten (Bohme, Morimoto), sagt aber nicht explizit "first" |
|
||||
| "Blenders Cycles-Path-Tracer mit einem einzelnen, oeffentlich verfuegbaren Kopfmodell" | BESTAETIGT | "we use Blender [...] GPU implementation of path-tracing"; Modell: "existing public domain head model [Holmberg 2012]" von blendswap.com |
|
||||
| "Hornhautbrechung, einstellbare LED-Glints sowie Lid- und Pupillenvariation" | BESTAETIGT | "improved the realism of the cornea, complete with refraction and glints"; LED-Lichter als direktionale Kugeln; "control of the position of the eyes, the eyelids, the radius of the pupil" |
|
||||
| "Pupillenkontur-Ellipsen, Glint-Positionen und Blickvektoren" | BESTAETIGT | "ground truth image coordinates for the pupil contour and glints"; "3D gaze vectors, eyeball centre" |
|
||||
| "Generierung eines Bildes unter einer Minute" | BESTAETIGT | "no image in this paper took longer to render than one minute" |
|
||||
| "nur ein Kopfmodell einer hellhaeutigen maennlichen Person" | BESTAETIGT | "our model is limited to one head shape, with the facial structure of a white male" |
|
||||
| "Hornhaut nur als Sphaere modelliert" | BESTAETIGT | "we use a perfectly spherical cornea, while a real cornea is slightly ellipsoidal" |
|
||||
| "keine Simulation des Bright-Pupil-Effekts" | BESTAETIGT | "We also do not model the inside of the eye, and therefore cannot synthesise bright-pupil images" |
|
||||
|
||||
#### Qian et al. (2025) -- `qianWhyWeNeed2025`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| ------------------------------------------------------------------------------------------------ | -------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
|
||||
| "begrenzte Verfuegbarkeit realer Augenaufnahmen unter vollstaendig standardisierten Bedingungen" | BESTAETIGT | Paper dokumentiert Mangel an Standardisierung bei Eyetracking-Daten |
|
||||
| "hohe manuelle Annotierungsaufwand fuer pixelgenaue Segmentierungen und Landmarks" | NICHT GEFUNDEN | **Qian et al. behandelt synthetische Augenbewegungssignale (Gaze Traces), NICHT Augenbilder. Annotationsaufwand fuer Bildsegmentierung wird nicht diskutiert.** ❌ |
|
||||
| "datenschutzrechtliche Einschraenkungen bei sensiblen Probandengruppen" | BESTAETIGT | "Privacy concerns [...] eye movement traces can reveal sensitive personal biometric and cognitive information, leading to legal restrictions under frameworks like GDPR" |
|
||||
|
||||
> **Handlungsbedarf:** Qian et al. ist ein Paper ueber synthetische Augenbewegungsdaten, nicht ueber Augenbilder. Der Annotationsaufwand-Claim braucht eine andere oder zusaetzliche Quelle (z.B. Garbin/OpenEDS 2019, Nair/RIT-Eyes 2020).
|
||||
|
||||
#### Bao et al. / GazeGene (2025) -- `baoGazeGeneLargescaleSynthetic2025a`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "Millionen perfekt annotierter Bilder erzeugen" | BESTAETIGT | "over 1 million full-face images" mit "accurate gaze annotations" + "3D annotations of vital eye structures" |
|
||||
| "exakte Position des Augapfelzentrums" | BESTAETIGT | "eyeball center, eyeball radius, eyeball mesh, pupil, iris" |
|
||||
| "Geometrie der visuellen Achse" | BESTAETIGT | "optical axis, visual axis [...] GazeGene is the first large scale remote gaze dataset providing such labels" |
|
||||
|
||||
#### SynthesEyes -- `woodRenderingEyesEyeShape2015`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| ------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "zehn hochaufloesende 3D-Kopfscans" | BESTAETIGT | 10 Modelle (f1-f5, m1-m5), "10K diffuse color textures, 0.1mm resolution geometry" (Sec. 3.2) |
|
||||
| "physikalisch basierten Materialien und HDR-Umgebungsbeleuchtung in Blenders Cycles-Path-Tracer" | BESTAETIGT | Sec. 3.3: "physically-based materials, including subsurface scattering"; Sec. 4.2: "high dynamic range panoramic images"; Sec. 4.4: "Blender's inbuilt Cycles path-tracing engine" |
|
||||
| "Randomisierung: Blickrichtung, Kopfpose, Irisfarbe, Skleratoenung, Pupillendilatation, Lidpose, vier HDR-Umgebungen mit Rotation und Intensitaetsskalierung" | BESTAETIGT | Alle Elemente einzeln im Paper belegt |
|
||||
| "28 Eye-Region-Landmarks in 2D und 3D" | BESTAETIGT | "28 landmarks, corresponding to the eyelids (12), iris boundary (8), and pupil boundary (8)" (Sec. 4.3) |
|
||||
| "Blickvektoren" | BESTAETIGT | Gaze vectors als Labels bestaetigt |
|
||||
| "Kopfpose-Matrizen" | TEILWEISE | **Paper beschreibt Kopfpose ueber Kugelkoordinaten (theta, phi) bei der Kamerapositionierung. Der Begriff "Kopfpose-Matrizen" als expliziter Output-Label wird nicht verwendet.**❌ |
|
||||
| "Renderzeit von etwa 5,26 Sekunden pro Bild" | BESTAETIGT | "Each 120x80px rendering took 5.26s on average using a commodity GPU (Nvidia GTX660)" (Sec. 4.4) |
|
||||
| "fehlende Modellierung von Brillen" | BESTAETIGT | Fig. 10: "failure cases, including [...] glasses" |
|
||||
| "fehlende Modellierung von Make-up" | NICHT GEFUNDEN | **Make-up wird im Paper weder als modelliert noch als fehlend erwaehnt** |
|
||||
| "fehlende Modellierung von Gesichtsdeformationen" | BESTAETIGT | "our models do not exhibit emotion-related shape deformation" (Sec. 5.1) |
|
||||
| "gezielt synthetisierte Daten ein vergleichbares reales Cross-Dataset-Subset signifikant uebertrafen" | BESTAETIGT | "statistically significant performance improvement over the UT dataset of 0.74 degrees (Wilcoxon signed-rank test: p < 0.0001)" (Sec. 5.2) |
|
||||
| "Training mit bestimmten Augenmodellen zu deutlich schlechterer Generalisierung [...] Unterschiede in Hautton und Augenform" | BESTAETIGT | "training with certain eye models lead to poor generalization [...] **perhaps** due to differences in skin-tone and eye-shape" (Sec. 5.2). **Hinweis:** Paper sagt "perhaps", Thesis formuliert es als gesicherte Attribution.❌ |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 10 Kopfscans | 10 (f1-f5, m1-m5) | Sec. 3.2, Fig. 3 |
|
||||
| 28 Landmarks | 28 (12 + 8 + 8) | Sec. 4.3 |
|
||||
| ~5,26 Sekunden/Bild | 5.26s on average | Sec. 4.4 |
|
||||
|
||||
#### UnityEyes -- `woodLearningAppearancebasedGaze2016a`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| --------------------------------------------------------------------------------------------------------------------------- | ---------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "drei zentrale Engpaesse: langsame Rendergeschwindigkeit, begrenzte Identitaetsvariation, aufwendiges manuelles Rigging" | BESTAETIGT | Intro: "limited appearance variation from only ten separate participant models", "manual animation for each participant", "renderer was not real-time" |
|
||||
| "Renderzeit von 23 ms pro Bild (davon 3,6 ms reines Rendering, der Rest I/O)" | BESTAETIGT | "400 x 300px images at 23ms/image [...] image rendering itself takes only 3.6ms" |
|
||||
| "Faktor 200 schneller als SynthesEyes" | BESTAETIGT | "a 200x speedup" |
|
||||
| "Ueber eine Million Bilder in weniger als zwoelf Stunden" | BESTAETIGT | "over a million training images in less than 12 hours" |
|
||||
| "PCA-basiertes generatives Morphable Model der Augenregion" | BESTAETIGT | "linear model M_s using principal component analysis (PCA)" (Sec. 4) |
|
||||
| "Zwanzig Kopfscans in einheitliche Topologie" | BESTAETIGT | "20 scans (5 female)"; "registered eye regions of varying shape with a single generic eye region topology" |
|
||||
| "Lidanimation prozedural realisiert" | BESTAETIGT | "procedural methods for eyelid movement"; "avoiding manual animation" |
|
||||
| "vereinfachte Echtzeit-Shader approximierten Refraktion durch die Hornhaut" | BESTAETIGT | "physically correct refractive effects using a fragment shader"; "pre-integrated skin shader" |
|
||||
| "Randomisierung: Augenregionsform, Hauttexturen, Iristexturen, Pupillengroesse, Blickrichtung, Kopfpose, 20 HDR-Umgebungen" | BESTAETIGT | Alle Elemente einzeln belegt |
|
||||
| "marginal bessere Blickrichtungsschaetzung auf MPIIGaze als SynthesEyes" | BESTAETIGT | 9.95 vs. 10.09 Grad (k-NN); statistisch signifikant (p < 0.001) |
|
||||
| "Datensatzgroesse und Formdiversitaet die geringere Renderqualitaet kompensierten" | TEILWEISE | **Ergebnisverbesserung ist belegt. Die kausale Erklaerung (Groesse+Diversitaet kompensiert Qualitaet) ist die Interpretation des Thesis-Autors, nicht ein explizites Statement im Paper.**❌ |
|
||||
| "ohne das Morphable-Eye-Region-Modell geringfuegig schlechtere Ergebnisse" | BESTAETIGT | "0.456 vs 0.477 [...] 9.95 vs 10.62 [...] statistically significant (p < 0.001)" |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 23 ms/Bild | 23ms/image | Rendering section |
|
||||
| 3,6 ms reines Rendering | 3.6ms | Rendering section |
|
||||
| Faktor 200 | 200x speedup | Rendering section |
|
||||
| >1 Mio. Bilder in <12h | "over a million [...] less than 12 hours" | Rendering section |
|
||||
| 20 Kopfscans | "20 scans (5 female)" | Sec. 4 |
|
||||
| 20 HDR-Umgebungen | "20 HDR panoramic photographs" | Sec. 5 |
|
||||
|
||||
#### UnityEyes Website -- `UnityEyesWebsite`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| -------------------------------------------------------------------------------------------------------------- | ---------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "Labels: 2D-Landmarks, Blickvektor, Kopfpose, Pupillen-/Irisgroesse" | BESTAETIGT | Tutorial-Seite listet interior_margin_2d, caruncle_2d, iris_2d, look_vec, head_pose, pupil_size, iris_size |
|
||||
| "PCA-Parameter nicht als klar interpretierbare, unabhaengig steuerbare Regler fuer einzelne Augenformmerkmale" | TEILWEISE | **Website nennt nur "Shape PCA details" ohne Erlaeuterung. Die Interpretations-Aussage ist analytisch korrekt aber wird besser dem Paper wood3DMorphableEye2016 zugeschrieben.**❌ |
|
||||
|
||||
> **Hinweis:** Der Citation-Key in Zotero ist `UnityEyes`, nicht `UnityEyesWebsite`. In der Forschungsluecke wird `UnityEyesWebsize` (Tippfehler?) verwendet.
|
||||
|
||||
#### NVGaze -- `kimNVGazeAnatomicallyInformedDataset2019`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| ------------------------------------------------------------------ | ---------- | --------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "erstmals die Abweichung zwischen visueller und pupillaerer Achse" | TEILWEISE | Paper modelliert die ~5-Grad-Disparitaet, behauptet aber nicht explizit "erstmals". Ist eine plausible Interpretation des Related-Work-Vergleichs.❌ |
|
||||
| "auf Infrarot kalibrierte Materialien" | BESTAETIGT | "modified the skin and iris textures [...] to match [...] monochromatic (lambda = 950 nm) infrared imaging" |
|
||||
| "Pupillenverschiebung bei Konstriktion" | BESTAETIGT | "nasal-superior shift of the pupil under constriction" mit konkreten mm-Werten |
|
||||
| "zwei Millionen Near-Eye-Bilder" | BESTAETIGT | "2M images at 1280x960" |
|
||||
| "Segmentierungsmasken und Blickkoordinaten" | BESTAETIGT | "segmentation of pupil, iris, and sclera, skin and glints"; "2D gaze vector, 3D eye location" |
|
||||
| "etwa 30 Sekunden pro Bild" | BESTAETIGT | "each image took about 30 seconds to ray trace" |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 2 Millionen Bilder | 2M images at 1280x960 | Dataset section |
|
||||
| ~30 Sekunden/Bild | "about 30 seconds" | Dataset section |
|
||||
|
||||
#### RIT-Eyes -- `nairRITEyesRenderingNeareye2020`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| ------------------------------------------------------------------------------------------------ | -------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "24 Kopfmodelle mit hochaufloesenden Texturen" | BESTAETIGT | "24 head models"; "8K color maps" (Sec. 2) |
|
||||
| "asphaerische Hornhaut mit variablen Kruemmungsradien" | TEILWEISE | **Asphaerische Hornhaut ist bestaetigt. Aber es variiert die Aspharizitaet Q (-0.130, -0.250, -0.370), NICHT der Kruemmungsradius R (fest bei 7.8mm). "Variable Kruemmungsradien" ist unpraezise -- korrekt waere "variable Aspharizitaet".**❌ |
|
||||
| "als physische Oeffnung in der Iris modellierte Pupille mit realistischer Iristexturdeformation" | BESTAETIGT | "active deformable iris" (Abstract) |
|
||||
| "Simulation des Bright-Pupil-Effekts" | BESTAETIGT | "retinal retro-reflection"; "bright pupil solutions" (Sec. 1) |
|
||||
| "explizite Karunkelgeometrie" | BESTAETIGT | "lacrimal caruncle (the small pink nodule...)" (Sec. 1, Table 1) |
|
||||
| "Traenenfilm mit realistischen Umgebungsreflexionen" | BESTAETIGT | "tear film [...] with glossy and transparent properties to produce plausible environmental reflections" (Sec. 3) |
|
||||
| "Lidschluss als lineare Funktion der vertikalen Augenrotation" | BESTAETIGT | "eyelid closure was approximated by a linear function of eye rotation in the vertical axis" (Sec. 3) |
|
||||
| "HDR-Umgebungskarten" in der Randomisierung | NICHT GEFUNDEN | **Das Conference-Paper erwaehnt Punktlichtquellen (16 fuer OpenEDS, 1 fuer NVGaze), KEINE HDR-Umgebungskarten. Moeglicherweise in der Journal-Version (nairRITEyesRenderingEye).**❌ |
|
||||
| "die Haelfte aller Bilder enthielt reflektierende Brillenglaeser" | NICHT GEFUNDEN | **Brillen werden erwaehnt, aber kein Anteil ("Haelfte") wird genannt. Moeglicherweise in der Journal-Version.**❌ |
|
||||
| "pixelgenaue Segmentierungsmasken fuer Pupille, Iris, Sklera und Hintergrund" | BESTAETIGT | Fig. 1: "Red = pupil, green = iris, blue = sclera"; "with and without skin" |
|
||||
| "2D- und 3D-Augenmerkmalskoordinaten" | NICHT GEFUNDEN | **Conference-Paper beschreibt Segmentierungsmasken ausfuehrlich, erwaehnt aber keine 2D/3D-Landmark-Koordinaten als Output. Moeglicherweise in der Journal-Version.**❌ |
|
||||
| "nur eine einzige Skleratextur" | BESTAETIGT | "we only have one scleral texture" (Sec. 6) |
|
||||
| "fehlende Brillenrefraktion" | BESTAETIGT | "simulated glasses [...] did not refract light" (Sec. 7) |
|
||||
| "fehlendes Make-up" | BESTAETIGT | "makeup [...] is not accounted for" (Sec. 7) |
|
||||
| "persistenter Sim-to-Real Gap" | BESTAETIGT | "gap between synthetic and real image distributions" (Sec. 7) |
|
||||
|
||||
> **Handlungsbedarf:** Drei Claims (HDR-Maps, Haelfte Brillen, 2D/3D-Landmarks) sind im zitierten Conference-Paper nicht belegt. Pruefen, ob die Journal-Version (`nairRITEyesRenderingEye`) diese Informationen enthaelt, und ggf. Cite-Key anpassen.
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 24 Kopfmodelle | "24 head models" | Sec. 2 |
|
||||
|
||||
#### Temporal RIT-Eyes -- `chaudharyRealInfraredEyeimages2022a`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "zeitlich kohaerente Blickverhaltenssequenzen mit realistischen Blinzelvorgaengen" | BESTAETIGT | "rendering of synthetic imagery depicting natural gaze dynamics"; "gaze-dependent eyelid pose and blink behavior" |
|
||||
|
||||
#### LEyes -- `byrneLEyesLightweightFramework2025`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| --------------------------------------------------------------------------------------------------------- | ---------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "Kernhypothese: dunkle/helle Intensitaetsregionen finden reicht" | BESTAETIGT | "capitalize on the inherent simplicity of eye images [...] focus on modeling the light distributions of the key features" |
|
||||
| "2D-Gausssche Lichtverteilungen ohne 3D-Geometrie" | BESTAETIGT | "Blob-like features [...] modeled as 2D Gaussian distributions" |
|
||||
| "Pupille als dunkler elliptischer Gausskern, Hornhautreflexe als helle Lichtflecken" | BESTAETIGT | "subtracting dark features (such as pupils) [...] adding bright features"; "CR [...] always set to full white" |
|
||||
| "Randomisierung: Amplitude, Achsenradien, Positionen, Orientierungen, Hintergrundluminanz, Rauschniveaus" | BESTAETIGT | Alle Parameter im Paper belegt |
|
||||
| "Parameterbereiche bewusst breiter als empirisch beobachtete Bereiche" | BESTAETIGT | "use a larger parameter range than is derived from the distributions" |
|
||||
| "Labels: Pupillenzentrum, Hornhautreflexe, Segmentierungsmasken" | BESTAETIGT | Alle Label-Typen belegt |
|
||||
| "On-the-fly-Generierung; Bilder nach einem Pass verworfen" | BESTAETIGT | "discard images after one pass to prevent over-training" |
|
||||
| "zielt spezifisch auf P-CR-Eye-Tracking" | TEILWEISE | **Primaerer Fokus ist P-CR, aber LEyes kann auch reine Pupillensegmentierung (z.B. OpenEDS 2019 Task). Paper sagt "diverse gaze-estimation tasks".**❌ |
|
||||
| "kompetitive oder ueberlegene Leistung gegenueber fotorealistischen Modellen" | BESTAETIGT | "LEyes framework consistently outperforms other publicly available models that use only synthetic data" |
|
||||
| "Beschraenkung auf Feature-Level-P-CR-Tracking" als Grenze | TEILWEISE | **Paper benennt dies NICHT als Limitation. Das Paper sieht Feature-Level-Modellierung als Staerke. Die Thesis-Formulierung als "Grenze" ist Eigeninterpretation.**❌ |
|
||||
| "Notwendigkeit, Intensitaetsverteilungen der Ziel-Hardware vorab zu analysieren" | BESTAETIGT | "luminance attributes are derived by calculating the distributions of recorded data on a given device setup" |
|
||||
|
||||
#### UnityEyes 2 -- `smithUnityEyes2Open2025`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
| ------------------------------------------------------------------------------------------------------------- | -------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- |
|
||||
| "spezifische Anforderungen moderner Eye-Tracking-Hardware, insbesondere HMDs mit Off-Axis-Kameraperspektiven" | TEILWEISE | Paper adressiert diverse Hardware (AR-Brillen, Telekonferenz, optometrische Geraete), nicht speziell HMDs. Off-Axis ist aber bestaetigt.❌ |
|
||||
| "vollstaendige Konfigurierbarkeit des Kameramodells aus realer Kalibrierung" | BESTAETIGT | "Camera intrinsics [...] can be calibrated from hardware using standard toolboxes" |
|
||||
| "Simulation relativer Kopf-Geraet-Bewegungen, synchronisierte Multi-Kamera-Ansichten" | TEILWEISE | Multi-Kamera bestaetigt. "Kopf-Geraet-Bewegungen" wird nicht explizit so formuliert -- Kamera-Extrinsik-Verteilungen modellieren dies implizit. |
|
||||
| "Labels: 2D-Pupillenzentrum, normalisierter optischer Achsenvektor, 3D-Augapfelzentrum" | BESTAETIGT | "ground-truth locations of the pupil center, a normalized vector representing the optical axis, the center of the globe of the eye" |
|
||||
| "erweiterte Lichttypen geplant" | NICHT GEFUNDEN | **Paper erwaehnt "environment augmentations" in Future Work, aber nicht explizit "erweiterte Lichttypen".**❌ |
|
||||
| "Python-API geplant" | BESTAETIGT | "Future work: [...] a Python API" |
|
||||
| "Benutzerdefinierte Gesichts-/Umgebungsverteilungen geplant" | BESTAETIGT | "Features in development include the ability to customize the distributions of face and environment parameters" |
|
||||
|
||||
#### HEyes -- `jan` / `kaminskiBestimmungPupillendurchmessersUnabhaengig2025`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| Gesamte HEyes-Beschreibung (Zeilen 66-70) | NICHT GEPRUEFT | Interne Masterarbeit am Fachgebiet CHI. Citation Key in Bib-Datei ist `jan`, in Zotero `kaminskiBestimmungPupillendurchmessersUnabhaengig2025`. |
|
||||
|
||||
> **Hinweis:** Zeile 66 hat einen `\todo{Quelle}` fuer den Wechsel von Cycles zu Eevee.
|
||||
|
||||
### Saetze ohne Zitat -- Sektion 3.1
|
||||
|
||||
| Satz/Stelle | Einschaetzung | Empfehlung |
|
||||
| -------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ---------------------------------------------------------------------------------------------------------- |
|
||||
| Z.6: "Die im Folgenden vorgestellten Pipelines werden konsequent aus der Syntheseperspektive behandelt" | Struktureller Meta-Satz | Kein Zitat noetig |
|
||||
| Z.11 Ende: "Dennoch etablierte diese Arbeit das Grundmuster, dem alle nachfolgenden fotorealistischen Pipelines folgen sollten." | Interpretation des Autors | Akzeptabel ohne Zitat, aber `\cite{swirskiRenderingSyntheticGround2014}` wuerde nicht schaden |
|
||||
| Z.24: "Durch den Wechsel auf Unitys Echtzeit-Rasterisierer erreichte die Pipeline eine Renderzeit von 23 ms..." | Numerische Faktenaussage | Gedeckt durch `\cite{woodLearningAppearancebasedGaze2016a}` am Satzende -- OK |
|
||||
| Z.56: "Aus Generatorperspektive steht LEyes damit fuer kontrollierbare, statistische Feature-Simulation" | Eigene Synthese | Kein Zitat noetig |
|
||||
| Z.66: Eevee-Wechsel | Fehlende Quelle | **`\todo{Quelle}` steht bereits -- braucht Quelle** |
|
||||
| Z.68-69: Variationsachsen und Labels von HEyes | Technische Fakten | Sollten mit `\cite{jan}` oder `\cite{kaminskiBestimmungPupillendurchmessersUnabhaengig2025}` belegt werden |
|
||||
| Z.70: "Eine wesentliche Einschraenkung der bisherigen Pipeline..." | Eigenbeobachtung | Kein Zitat noetig (eigene Arbeit) |
|
||||
| Z.72-74: "Zusammenfassende Einordnung" (Fidelity- und Effizienz-Trajektorie) | Eigene Synthese des gesamten Abschnitts | Kein Zitat noetig |
|
||||
|
||||
---
|
||||
|
||||
## Sektion 3.2: Synthetische Daten fuer Segmentierung
|
||||
|
||||
### Zitierte Saetze
|
||||
|
||||
#### OpenEDS -- `garbinOpenEDSOpenEye2019`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "12.759 Infrarotbilder" | BESTAETIGT | "12,759 images with pixel-level annotations" |
|
||||
| "400 x 640 Pixel" | BESTAETIGT | Table 1: "400x640" |
|
||||
| "152 Probanden" | BESTAETIGT | "152 individual participants" |
|
||||
| "VR-Headset bei 200 Hz" | BESTAETIGT | "virtual-reality head mounted display [...] at a frame rate of 200 Hz" |
|
||||
| "manuell in vier Klassen annotiert: Pupille, Iris, Sklera, Hintergrund" | BESTAETIGT | "semantic segmentation of pupil, iris, sclera and background" |
|
||||
| "mehrstufige Handannotation mit Ellipsenanpassung und Schluesselpunktplatzierung" | BESTAETIGT | Secs. 4.1-4.3: Ellipse-Fitting + Polygon-Keypoints + Eyelid-Keypoints |
|
||||
| "ICCV 2019 Wettbewerb mit kombinierter Genauigkeits-Effizienz-Metrik" | BESTAETIGT | RITnet-Paper: "overall score = (mIoU + min(1/S, 1)) / 2" |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 12.759 Bilder | 12,759 | Abstract |
|
||||
| 400 x 640 Pixel | 400x640 | Table 1 |
|
||||
| 152 Probanden | 152 | Abstract |
|
||||
| 200 Hz | 200 Hz | Abstract |
|
||||
| 4 Klassen | 4 (pupil, iris, sclera, bg) | Abstract |
|
||||
|
||||
#### RITnet -- `chaudharyRITnetRealtimeSemantic2019` + `nairRITEyesRenderingNeareye2020`
|
||||
|
||||
| Aussage im Text | Befund | Quelle |
|
||||
|---|---|---|
|
||||
| "mIoU von 95,3%" | BESTAETIGT | RITnet-Paper: "achieves 95.3% accuracy" (Abstract) |
|
||||
| "248.900 Parameter" | BESTAETIGT | RITnet-Paper: "248,900 trainable parameters" (Sec. 3) |
|
||||
| "8.916 Trainingsbilder" | BESTAETIGT | RITnet-Paper: "train (8,916)" (Sec. 4.1) |
|
||||
| "S-OpenEDS (51.600 Bilder aus RIT-Eyes)" | BESTAETIGT | RIT-Eyes-Paper: S-OpenEDS = 51,600 images |
|
||||
| "mIoU auf 73,9%" | BESTAETIGT | RIT-Eyes-Paper: Table 4, mIoU = 73.94 |
|
||||
| "Rueckgang um rund 21 Prozentpunkte" | BESTAETIGT | 95.3 - 73.94 = 21.36 pp |
|
||||
| "Pupillensegmentierung bis zu 93,7% mIoU" | BESTAETIGT | RIT-Eyes-Paper: Pupille = 93.76 mIoU |
|
||||
| "Sklerasegmentierung bis auf 34,4% mIoU" | BESTAETIGT | RIT-Eyes-Paper: "mIoU of 34.42 for RITnet" |
|
||||
| "pixelgenaue Grenzdefinitionen synthetischer Masken als strukturelles Vorwissen" | TEILWEISE | **RITnet-Paper diskutiert Annotationsartefakte in realen Daten (Sec. 6), aber formuliert den Vorteil synthetischer Masken nicht explizit als "strukturelles Vorwissen". Ist eine plausible Schlussfolgerung des Thesis-Autors.** |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 95,3% mIoU | 95.3% | RITnet Abstract, Table 1 |
|
||||
| 248.900 Parameter | 248,900 | RITnet Sec. 3 |
|
||||
| 8.916 Trainingsbilder | 8,916 | RITnet Sec. 4.1 |
|
||||
| 51.600 Bilder | 51,600 | RIT-Eyes Paper |
|
||||
| 73,9% mIoU | 73.94 | RIT-Eyes Table 4 |
|
||||
| 93,7% mIoU (Pupille) | 93.76 | RIT-Eyes Paper |
|
||||
| 34,4% mIoU (Sklera) | 34.42 | RIT-Eyes Paper |
|
||||
|
||||
#### EllSeg -- `kothariEllSegEllipseSegmentation2021`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "Segmentierungsaufgabe als Ellipsenvervollstaendigung reformuliert" | BESTAETIGT | "predict entire elliptical eye regions [...] as opposed to the standard visible eye-parts segmentation" (Sec. 1) |
|
||||
| "vollstaendige elliptische Regionen, als waeren die Augenlider transparent" | BESTAETIGT | Korrekte Paraphrase |
|
||||
| "nur synthetische Generatoren fehlerfreie Labels fuer verdeckte Strukturen liefern" | BESTAETIGT | Paper nutzt NVGaze/RIT-Eyes fuer volle Ellipsen-GT; OpenEDS braucht approximative Fits |
|
||||
| "konsistent ueber alle drei Datensaetze und alle Architekturen Pupillen-/Iriszentrum-Detektionsrate gesteigert" | TEILWEISE | **"at least 10% and 24% increase" gilt primaer fuer synthetische Datensaetze. Auf OpenEDS (real) sind die Verbesserungen kleiner. Die "konsistent ueber alle drei"-Formulierung uebertreibt leicht.** |
|
||||
|
||||
> **Hinweis:** Die konkreten Zahlen (10% Pupille, 24% Iris) standen im frueheren Entwurf, fehlen jetzt im Fliesstext. Das ist gut so, da der Qualifier "within a two-pixel error margin" im Paper steht und fehlen wuerde.
|
||||
|
||||
#### EllSeg-Gen -- `kothariEllSegGenDomainGeneralization2022`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "gleichzeitig auf RIT-Eyes, NVGaze und OpenEDS trainiert" | BESTAETIGT | "jointly training a convolutional network with multiple datasets" |
|
||||
| "groessere Erscheinungsbildvariabilitaet profitierten am meisten" | BESTAETIGT | "models tested on datasets in which eye images exhibit higher appearance variability benefit from multiset training" |
|
||||
|
||||
#### SimGAN -- `shrivastavaLearningSimulatedUnsupervised2017`
|
||||
|
||||
| Aussage im Text (Sec. 3.2) | Befund | Details |
|
||||
|---|---|---|
|
||||
| "Blickschaetzfehler auf MPIIGaze ohne reale gelabelte Daten erheblich reduzierten" | BESTAETIGT | "significant improvement [...] state-of-the-art results on MPIIGaze without any labeled real data" |
|
||||
|
||||
#### Park et al. -- `parkLearningFindEye2018a`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "auf UnityEyes trainiertes Stacked-Hourglass-Netzwerk, das auf vier realen Benchmarks den Stand der Technik uebertraf" | BESTAETIGT | Training "exclusively on synthetic data" (UnityEyes); evaluiert auf EYEDIAP, MPIIGaze, UT Multiview, Columbia |
|
||||
|
||||
### Saetze ohne Zitat -- Sektion 3.2
|
||||
|
||||
| Satz/Stelle | Einschaetzung | Empfehlung |
|
||||
|---|---|---|
|
||||
| Z.4: "Das ist ein fruehes Indiz dafuer, dass kostenfrei erzeugte synthetische Labels reale Handannotation ersetzen koennen." | Autor-Interpretation | Akzeptabel ohne Zitat (Schlussfolgerung aus vorhergehend zitiertem Ergebnis) |
|
||||
| Z.4: "Fuer die vorliegende Arbeit ist jedoch die dritte Aufgabenfamilie zentral..." | Meta-Satz | Kein Zitat noetig |
|
||||
| Z.11 Ende: "Diese Ergebnisse verdeutlichen zweierlei..." | Eigene Synthese | Kein Zitat noetig |
|
||||
| Z.17 letzter Satz: "Die Ellipsenrepraesentation steigerte konsistent..." | Faktische Aussage | Ist implizit durch `\cite{kothariEllSegEllipseSegmentation2021}` im Absatz davor gedeckt, aber ein explizites Cite wuerde nicht schaden |
|
||||
| Z.24-26: **Doppelter Zwischenfazit-Absatz** | Strukturproblem | **Die Zeilen 24 und 26 enthalten fast identischen Text! Einer muss geloescht werden.** |
|
||||
|
||||
---
|
||||
|
||||
## Sektion 3.3: Sim-to-Real-Transfer und Domain Randomization
|
||||
|
||||
### Zitierte Saetze
|
||||
|
||||
#### Tobin et al. -- `tobinDomainRandomizationTransferring2017`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "formalisieren diesen Ansatz im Kontext der Robotik" | BESTAETIGT | Paper definiert DR systematisch fuer Sim-to-Real in der Robotik |
|
||||
| "simulierte Bilder mit nicht-realistischen Zufallstexturen, hohe Lokalisierungsgenauigkeit" | BESTAETIGT | "accurate to 1.5 cm [...] using only data from a simulator with non-realistic random textures" |
|
||||
| "Breite der Variation und Datensatzgroesse entscheidend, nicht Realismus" | BESTAETIGT | Fig. 7: "performance degrades significantly when fewer than 1,000 textures"; Core thesis: "the real world may appear [...] as just another variation" |
|
||||
|
||||
#### Tremblay et al. -- `tremblayTrainingDeepNetworks2018`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "bestaetigen dies fuer Objektdetektion" | BESTAETIGT | DR angewandt auf Autodetektion (KITTI) |
|
||||
| "nach synthetischem Pre-Training deutlich weniger reale Daten noetig" | BESTAETIGT | DR + 100 reale Bilder: AP=84.2 vs. nur real 100: AP=59.3 |
|
||||
|
||||
#### SimGAN (Sec. 3.3) -- `shrivastavaLearningSimulatedUnsupervised2017`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "adversarielles Refiner-Netzwerk, das UnityEyes-Ausgaben auf Pixelebene transformiert" | BESTAETIGT | "fully convolutional neural net [...] modifying the synthetic image on a pixel level"; "1.2M synthetic images from the UnityEyes simulator" |
|
||||
| "relative Verbesserung von 21% gegenueber rein synthetischem Training" | BESTAETIGT | "a relative 21% improvement compared to the state-of-the-art" (Table 3). **Hinweis: Die 21% sind relativ zum besten vorherigen synthetischen Verfahren (k-NN, 9.9 Grad), nicht zum CNN-Baseline (11.2 Grad). Die Thesis-Formulierung "gegenueber rein synthetischem Training" ist etwas unpraezise.** |
|
||||
|
||||
#### Buehler et al. / Seg2Eye -- `buhlerContentConsistentGenerationRealistic2019a`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "aus semantischen Segmentierungsmasken stilkonsistente, personenspezifische Augenbilder" | BESTAETIGT | "synthesize person-specific eye images that satisfy a given semantic segmentation mask (content), while following the style of a specified person" |
|
||||
| "inhaltliche Struktur durch Maske vorgegeben, visueller Stil aus Referenzbildern injiziert" | BESTAETIGT | SPADE-Blocks fuer Content, AdaIN-Layers fuer Style |
|
||||
| "nicht geometrische Variabilitaet, sondern stilistische Konsistenz im Vordergrund" | BESTAETIGT | Gesamtarchitektur auf Style-Preservation ausgelegt |
|
||||
|
||||
### Saetze ohne Zitat -- Sektion 3.3
|
||||
|
||||
| Satz/Stelle | Einschaetzung | Empfehlung |
|
||||
|---|---|---|
|
||||
| Z.4: "Modelle, die ausschliesslich auf synthetischen Daten trainiert werden, zeigen [...] erhebliche Leistungseinbussen." | Allgemeine Aussage | Koennte ein Zitat vertragen (z.B. `nairRITEyesRenderingNeareye2020` oder `kothariEllSegGenDomainGeneralization2022`) |
|
||||
| Z.4: "Die Ursachen sind kumulativ: Texturdiskrepanzen, Beleuchtungsunterschiede, fehlende Stoerfaktoren, begrenzte anatomische Diversitaet." | Aufzaehlung ohne Zitat | **Braucht ein Zitat -- z.B. LEyes (`byrneLEyesLightweightFramework2025`) nennt Hardware-Unterschiede und biologische Diversitaet; RIT-Eyes-Paper diskutiert den Gap ebenfalls** |
|
||||
| Z.7: "Deren Grundidee besteht nicht darin, die Simulation moeglichst perfekt [...] anzunaehern" | Definition von DR | Gedeckt durch Tobin-Zitat am Satzende |
|
||||
| Z.10: "UnityEyes generierte eine Million Bilder bei deutlich geringerem Rechenaufwand" | Faktenaussage | Implizit durch Wood-2016a-Cite im vorherigen Satz gedeckt, aber kein eigenes Cite |
|
||||
| Z.10: "Somit kompensieren Skalierung und Formdiversitaet den geringeren Fotorealismus." | Eigeninterpretation | Akzeptabel (Schlussfolgerung aus vorherigen Saetzen) |
|
||||
| Z.16: "Der alternative Ansatz besteht darin, synthetische Bilder so zu transformieren..." | Einleitung DA | Kein Zitat noetig (generische Einordnung) |
|
||||
| Z.22: "Alle Adaptationsansaetze haben gemeinsam, dass sie am Erscheinungsbild arbeiten [...] nicht an der geometrischen Struktur." | Eigene Synthese | Akzeptabel -- wichtige analytische Beobachtung des Autors |
|
||||
|
||||
---
|
||||
|
||||
## Sektion 3.4: Modellierung anatomischer Variation der Periorbitalregion
|
||||
|
||||
### Zitierte Saetze
|
||||
|
||||
#### Farkas et al. -- `farkasInternationalAnthropometricStudy2005`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "1470 Personen" | BESTAETIGT | "1470 healthy subjects (18 to 30 years), 750 males and 720 females" |
|
||||
| "25 ethnische Gruppen" | BESTAETIGT | 13 European + 3 Middle Eastern + 5 Asian + 4 African = 25 |
|
||||
| "vier Kontinenten" | TEILWEISE | **Paper beschreibt 4 geographische Regionen (Europe, Middle East, Asia, Africa), aber Middle East gehoert geographisch zu Asien. Streng genommen 3 Kontinente.** |
|
||||
| "signifikante Unterschiede in biokulaerer Breite, Interkanthalabstand" | BESTAETIGT | Paper dokumentiert ex-ex und en-en Unterschiede |
|
||||
| "und Lidspaltenneigung" | FALSCH | **Farkas et al. haben Lidspaltenneigung (palpebral fissure inclination) NICHT gemessen. Ihre 14 Parameter umfassen en-en, ex-ex, en-ex usw., aber NICHT den Neigungswinkel.** |
|
||||
|
||||
> **Handlungsbedarf:** "Lidspaltenneigung" aus der Farkas-Zuschreibung entfernen. Die Neigung wird bei Rhee (2012) und Price (2009) behandelt.
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 1.470 Personen | 1,470 | Abstract |
|
||||
| 25 ethnische Gruppen | 25 | Results header |
|
||||
| 4 Kontinente | 4 Regionen (3 Kontinente) | Study design |
|
||||
|
||||
#### Rhee et al. -- `rheeBiometricStudyEyelid2012`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "koreanische Gesichter: ca. 8,6 mm Lidspaltenhöhe" | BESTAETIGT | "median EFH for an average Korean face was 8.62 mm" (Table 3) |
|
||||
| "kaukasisch: ca. 10,7 mm" | BESTAETIGT | "median EFH for an average Caucasian face was 10.72 mm" (Table 3) |
|
||||
| "afrikanisch: ca. 10,8 mm" | BESTAETIGT | "median EFH for an average African face was 10.81 mm" (Table 3) |
|
||||
| "Kanthusneigung ostasiatisch: 10-11 Grad" | TEILWEISE | **Paper: 9.77 Grad fuer Average Korean. "10-11" ist aufgerundet/uebertrieben. Korrekt waere "ca. 10 Grad" oder "knapp 10 Grad".** |
|
||||
| "Kanthusneigung kaukasisch: ca. 7 Grad" | FALSCH | **Paper: AVERAGE Caucasian LCT = 4.12 Grad. Der Wert 7.13 Grad gilt fuer ATTRACTIVE Caucasian. Die Thesis verwechselt hier "average" und "attractive"!** |
|
||||
| "Kanthusneigung afrikanisch: ca. 5 Grad" | BESTAETIGT | Average African LCT = 5.39 Grad |
|
||||
|
||||
> **Handlungsbedarf:** Kanthusneigungswerte korrigieren: Ostasiatisch ~10 Grad (nicht 10-11), Kaukasisch ~4 Grad (nicht ~7 Grad -- 7.13 ist der "attractive"-Wert!).
|
||||
|
||||
##### Zahlen zur manuellen Pruefung (KRITISCH)
|
||||
|
||||
| Zahl im Text | Wert im Paper | Korrekt? | Fundstelle |
|
||||
|---|---|---|---|
|
||||
| 8,6 mm (koreanisch) | 8.62 mm | Ja | Table 3 |
|
||||
| 10,7 mm (kaukasisch) | 10.72 mm | Ja | Table 3 |
|
||||
| 10,8 mm (afrikanisch) | 10.81 mm | Ja | Table 3 |
|
||||
| 10-11 Grad (ostasiatisch) | 9.77 Grad | Aufgerundet | Table 3 (Average Korean LCT) |
|
||||
| ~7 Grad (kaukasisch) | **4.12 Grad (average) / 7.13 (attractive)** | **FALSCH** | Table 3 |
|
||||
| ~5 Grad (afrikanisch) | 5.39 Grad | Ja | Table 3 |
|
||||
|
||||
#### Gao et al. -- `gaoRacialSexualDifferences2025`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "dreidimensionale Messstudien bestaetigen, dass Lidspaltenbreite, -hoehe und -neigung signifikant variieren" | BESTAETIGT | 3D-Studie, "significant inter-racial and inter-gender variations" |
|
||||
| "signifikante Differenzen zwischen Maennern und Frauen" | BESTAETIGT | Geschlechtsdimorphismus in PFH, PFW, Brauenhoehe dokumentiert |
|
||||
|
||||
#### Price et al. -- `priceEyebrowEyelidDimensions2009b`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "Lidspaltenbreite, -hoehe und -neigung signifikant mit ethnischem Hintergrund variieren" | TEILWEISE | **Ethnische Unterschiede hauptsaechlich bei PF-Breite, NICHT konsistent bei Hoehe/Neigung.** |
|
||||
| "signifikante Differenzen zwischen Maennern und Frauen" | BESTAETIGT | Mehrere signifikante Geschlechtsunterschiede dokumentiert |
|
||||
|
||||
#### Lu et al. -- `luPrevalenceDoubleEyelid2017`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "ueber 85% der europaeischen Bevoelkerung" (Supratarsalfalte) | NICHT GEFUNDEN | **Lu et al. berichten KEINE europaeische Praevalenz. Die >85% muessen aus einer anderen Quelle stammen.** |
|
||||
| "40-83% der ostasiatischen Bevoelkerung" | BESTAETIGT | Table 1: Korean males 24.1%, Korean females 45.5%, Taiwanese Chinese females 83.1% etc. |
|
||||
| "100% malaiisch, 70% chinesisch" | BESTAETIGT | "all Malay subjects [...] double eyelid"; "70.1% of Chinese subjects" |
|
||||
| "Faltenhoehe 8,3 vs. 4,9 mm" | BESTAETIGT | Table 4: UELCH Malay = 8.33 mm, Chinese = 4.91 mm |
|
||||
|
||||
> **Handlungsbedarf:** Quelle fuer ">85% europaeisch" finden oder den Claim aendern. Lu et al. belegt das nicht.
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| >85% europaeisch | NICHT IM PAPER | - |
|
||||
| 40-83% ostasiatisch | Bereich aus Table 1 | Table 1 |
|
||||
| 100% malaiisch | "all Malay subjects" | Results |
|
||||
| 70% chinesisch | 70.1% | Results |
|
||||
| 8,3 mm (Malay) | 8.33 mm | Table 4 |
|
||||
| 4,9 mm (Chinese) | 4.91 mm | Table 4 |
|
||||
|
||||
#### Kiranantawat et al. -- `kiranantawatAsianEyelidRelevant2015b`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "Epikanthalfalte bei 60-90% der ost-/suedostasiatischen Erwachsenen, <10% der europaeischen" | NICHT GEFUNDEN | **Paper ist eine Anatomie-Uebersicht und nennt KEINE konkreten Praevalenz-Prozentsaetze. Es sagt nur "commonly found in the Asian eyelid; seldom found in other ethnicities".** |
|
||||
|
||||
> **Handlungsbedarf:** Konkrete Prozentsaetze (60-90%, <10%) brauchen eine andere Quelle, oder die Aussage muss vager formuliert werden.
|
||||
|
||||
#### Patil et al. -- `patilAnthropometryEyelidPalpebral2011`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "nach dem 45. Lebensjahr messbare Veraenderungen der Lidspaltenmasse" | BESTAETIGT | "changes in the eye become more pronounced after 45 years" |
|
||||
| "Erschlaffung, Ptosis, Orbitalfettverteilung" als Mechanismen | TEILWEISE | **Paper dokumentiert messbare Veraenderungen, diskutiert aber NICHT die konkreten Mechanismen (Ptosis, Erschlaffung, Fettverschiebung). Diese Ursachenzuschreibung stammt nicht aus diesem Paper.** |
|
||||
|
||||
#### Song et al. -- `songAsymmetryPalpebralFissure2007`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "24-27% Seitendifferenz der Lidspaltenhöhe >= 1 mm" | BESTAETIGT | Table 3: males 24.2%, females 26.5% |
|
||||
| "22-36% Neigungsdifferenz >= 2 Grad" | BESTAETIGT | Table 2: males 22.3%, females 35.8% |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 24-27% (Hoehe) | 24.2% / 26.5% | Table 3 |
|
||||
| 22-36% (Neigung) | 22.3% / 35.8% | Table 2 |
|
||||
|
||||
#### Basel Face Model -- `paysan3DFaceModel2009`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "200 Laserscans" | TEILWEISE | **200 Scans ist korrekt. Aber es sind KEINE Laserscans -- BFM verwendet Structured-Light-Scanning (ABW-3D System). "Laserscans" ist falsch.** |
|
||||
| "ueberwiegend europaeischer Probanden" | BESTAETIGT | "most of them Europeans" (Sec. 2) |
|
||||
| "199 Formkomponenten" | BESTAETIGT | n-1 = 199 Hauptkomponenten fuer n=200 Scans |
|
||||
| "53.490 Vertices" | BESTAETIGT | "m = 53490 vertices" (Sec. 2.4) |
|
||||
|
||||
> **Handlungsbedarf:** "Laserscans" korrigieren zu "Oberflaechenscans" oder "Structured-Light-Scans".
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 200 Scans | 200 (100f + 100m) | Sec. 2 |
|
||||
| 199 Formkomponenten | 199 (n-1) | Modell-Definition |
|
||||
| 53.490 Vertices | 53,490 | Sec. 2.4 |
|
||||
|
||||
#### FLAME -- `liLearningModelFacial2017`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "artikuliertes Kopfmodell mit 5.023 Vertices" | BESTAETIGT | "N = 5023 vertices" |
|
||||
| "ca. 3.800 Kopfscans" | BESTAETIGT | "3800 scans" / "3800 registered heads from [...] CAESAR" |
|
||||
| "300 Identitaets- sowie 100 Expressionsparameter" | BESTAETIGT | "300 identity components"; "100 components [...] 98% of the data variability" |
|
||||
| "vier Gelenke und poseabhaengige Korrektur-Blendshapes" | BESTAETIGT | "K = 4 joints (neck, jaw, and eyeballs)"; "pose-dependent corrective blendshapes" |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 5.023 Vertices | 5,023 | Model definition |
|
||||
| ~3.800 Scans | 3,800 | Training data |
|
||||
| 300 Identitaetsparameter | 300 | Model definition |
|
||||
| 100 Expressionsparameter | 100 | Model definition |
|
||||
| 4 Gelenke | 4 (neck, jaw, 2x eyeball) | Fig. 3 |
|
||||
|
||||
#### LSFM -- `boothLargeScale3D2018`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "9.663 Identitaeten" | BESTAETIGT | "9663 distinct facial identities" (Abstract) |
|
||||
| "demographische Cluster implizit kodiert" | BESTAETIGT | "the manifold of plausible faces is naturally clustered by demographics like age and ethnicity" (Sec. 7.2) |
|
||||
|
||||
#### Egger et al. -- `egger3DMorphableFace2020`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "globale PCA-Modelle erfassen uebergreifende Formvariationen; feine lokale Merkmale im Augen-/Lidbereich begrenzt" | TEILWEISE | Paper: "do not model fine-scale geometric details" (Sec. 3.1.2) + "such as the eye" als Beispiel. Lidbereich separat in Sec. 2.3. **Thesis fasst zwei getrennte Passagen zusammen -- inhaltlich korrekt, aber kein einzelnes Zitat.** |
|
||||
|
||||
#### Wood et al. 3D Morphable Eye -- `wood3DMorphableEye2016`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "erstmals PCA-basiertes Formmodell speziell fuer Augenregion" | BESTAETIGT | "the first morphable model that accurately captures eye region shape" |
|
||||
| "8 Formkoeffizienten erfassen 90% der Varianz" | BESTAETIGT | "90% of shape [...] variation can be encoded in 8 shape [...] coefficients" |
|
||||
| "ueber 22 Kopfscans" | BESTAETIGT | "c = 22 scans" |
|
||||
| "erste Hauptkomponente: Schlupflider vs. hervortretende Augen" | BESTAETIGT | "The first shape mode U1 varies between hooded and protruding eyes" (Fig. 5) |
|
||||
| "Koeffizienten weder benannt noch anatomisch zuweisbar" | NICHT GEFUNDEN | **Paper macht diese Aussage nicht explizit. Ist eine korrekte analytische Beobachtung des Thesis-Autors ueber PCA, aber nicht aus diesem Paper zitierbar.** |
|
||||
|
||||
> **Hinweis:** Die Aussage "weder benannt noch anatomisch zuweisbar" ist faktisch korrekt (PCA-Koeffizienten sind per Definition nicht semantisch benannt), aber besser als Eigenaussage formulieren statt dem Paper zuschreiben.
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 8 Formkoeffizienten | 8 shape coefficients | Results |
|
||||
| 90% Varianz | 90% | Results |
|
||||
| 22 Scans | 22 | Method |
|
||||
|
||||
#### Wisetchat 2018 Dissertation -- `wisetchatDescriptionbasedVisualisationEthnic2018`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "TFM" als Name | FALSCH ZUGEORDNET | **Der Name "Topographical Face Model (TFM)" stammt aus dem 2024-Paper, NICHT aus der 2018-Dissertation. Die Dissertation nennt das System "Ethnicity Modeller (EM)".** |
|
||||
| "71 Attribute" | FALSCH ZUGEORDNET | **2018-Dissertation: 77 Attribute. 2024-Paper: 71 Attribute. Die Zahl 71 gehoert zum 2024-Paper.** |
|
||||
| "36 anatomische Merkmale" | FALSCH ZUGEORDNET | **Zahl 36 stammt aus dem 2024-Paper (Table 1). 2018-Dissertation: 14 Features allein fuer die Augenregion.** |
|
||||
| "sechs Gesichtsregionen" | BESTAETIGT | Beide Papers: 6 Regionen (cranium/forehead, eyes/periorbital, nose, mid-face, mouth/perioral, jaw/lower face) |
|
||||
| "Blendshape-Deformer auf Catmull-Clark-Subdivisionsflaeche" | BESTAETIGT | 2024: "Catmull-Clark 'subdivision surface'" (Fig. 2 caption). 2018: beschreibt Blendshape-Implementation in Maya |
|
||||
| "alpha in [0,1]" | TEILWEISE | **2024: "normalized range from 0.0 to 1.0" fuer unsigned Attribute. 2018: unsigned [0,1] aber signed [-1,1]. Die Thesis vereinfacht -- manche Attribute haben [-1,1].** |
|
||||
| "Quasi-Orthogonalitaet durch Deformation entlang einer Achse" | BESTAETIGT | "restricted to [...] one of three orthogonal orientations" (2024 Paper + 2018 Dissertation) |
|
||||
| "12 Features und 14 Attribute" (Periorbitalregion) | BESTAETIGT | 2024 Table 1 zaehlt 12 Features, 14 Attribute fuer Periorbital |
|
||||
| "reichste Einzelregion" | TEILWEISE | **Nach Feature-Zahl (12) richtig. Aber nach Attribut-Zahl hat Nasal 18 Attribute vs. Periorbital 14.** |
|
||||
|
||||
> **Handlungsbedarf:** Die Zahlen 71, 36 und der Name "TFM" stammen aus dem 2024-Paper, nicht der 2018-Dissertation. Entweder das Cite aendern oder beide zitieren. Ausserdem: alpha-Bereich korrekt als [0,1] bzw. [-1,1] je nach Attribut angeben.
|
||||
|
||||
##### Zahlen zur manuellen Pruefung (KRITISCH)
|
||||
|
||||
| Zahl im Text | Wert 2018 | Wert 2024 | Korrekte Quelle |
|
||||
|---|---|---|---|
|
||||
| 71 Attribute | 77 | 71 | 2024-Paper |
|
||||
| 36 Features | nicht explizit | 36 | 2024-Paper |
|
||||
| 6 Regionen | 6 | 6 | Beide |
|
||||
| 12 Features (periorbital) | 14 | 12 | 2024-Paper |
|
||||
| 14 Attribute (periorbital) | ? | 14 | 2024-Paper |
|
||||
|
||||
#### Wisetchat et al. 2024 -- `wisetchatFacialModelingMeasurement2024`
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "Validierung an 80 stereophotogrammetrisch erfassten Gesichtern" | BESTAETIGT | "80 anonymized stereophotogrammetric scans" mit "Di3D stereophotogrammetry" |
|
||||
| "ueber 80% der Oberflaechenpunkte innerhalb von 1 mm" | BESTAETIGT | "more than 80% of the sample points [...] separated by less than 1 mm" (Table 2) |
|
||||
| "MANOVA: geographische Herkunft und Geschlecht p < 0,0001" | BESTAETIGT | "geographic ancestry group (p < 0.0001) and sex (p < 0.0001)" (Sec. 4.2.2) |
|
||||
|
||||
##### Zahlen zur manuellen Pruefung
|
||||
|
||||
| Zahl im Text | Wert im Paper | Fundstelle |
|
||||
|---|---|---|
|
||||
| 80 Gesichter | 80 | Sec. 3 |
|
||||
| >80% innerhalb 1mm | >80% | Table 2 |
|
||||
| p < 0,0001 (Herkunft) | p < 0.0001 | Sec. 4.2.2 |
|
||||
| p < 0,0001 (Geschlecht) | p < 0.0001 | Sec. 4.2.2 |
|
||||
|
||||
### Saetze ohne Zitat -- Sektion 3.4
|
||||
|
||||
| Satz/Stelle | Einschaetzung | Empfehlung |
|
||||
|---|---|---|
|
||||
| Z.4: "Die in den vorangegangenen Abschnitten vorgestellten Synthesepipelines variieren fast ausschliesslich dynamische Bildparameter" | Eigene Synthese des vorherigen Kapitels | Kein Zitat noetig |
|
||||
| Z.8: "Dass sich die Periorbitalregion systematisch unterscheidet, ist quantitativ gut belegt." | Einleitungssatz | Zitate folgen unmittelbar -- OK |
|
||||
| Z.11: "Neben der Lidspalte selbst unterscheiden sich weitere Merkmale substanziell." | Uebergangssatz | Kein Zitat noetig |
|
||||
| Z.16: "Zusammenfassend bilden Lidform, Lidfalte..." | Eigene Synthese | Kein Zitat noetig |
|
||||
| Z.20: "Die parametrische Modellierung von Gesichtsform hat eine lange Tradition" | Allgemeine Aussage | Koennte `\cite{egger3DMorphableFace2020}` vertragen (Survey-Paper) |
|
||||
| Z.28: "Wisetchats Arbeit zielt auf die menschliche visuelle Wahrnehmung ab" | Eigencharakterisierung | Koennte `\cite{wisetchatDescriptionbasedVisualisationEthnic2018}` erhalten |
|
||||
|
||||
---
|
||||
|
||||
## Sektion 3.5: Forschungsluecke
|
||||
|
||||
### Zitierte Saetze
|
||||
|
||||
| Aussage im Text | Befund | Details |
|
||||
|---|---|---|
|
||||
| "keine der vorgestellten Pipelines stabile interindividuelle Augenformmerkmale [...] als unabhaengig steuerbare, semantisch gelabelte Variationsachsen modelliert" | BESTAETIGT | Korrekte Synthese aus dem gesamten Review |
|
||||
| "SynthesEyes und NVGaze waehlen aus jeweils zehn" | BESTAETIGT fuer SynthesEyes | SynthesEyes: 10 Modelle (bestaetigt). NVGaze: Paper sagt nicht explizit "zehn". **NVGaze-Modellanzahl pruefen!** |
|
||||
| "RIT-Eyes aus 24 diskreten Kopfscans" | BESTAETIGT | "24 head models" |
|
||||
| "UnityEyes PCA-basiertes Morphable Model [...] Shape-Koeffizienten fehlen semantische Bezeichnungen" `\cite{UnityEyesWebsize}` | BESTAETIGT (Inhalt) | Analytisch korrekt. **Aber: Citation Key `UnityEyesWebsize` -- Tippfehler? Sollte `UnityEyesWebsite` oder `UnityEyes` sein.** |
|
||||
|
||||
---
|
||||
|
||||
## Zusammenfassung der kritischen Befunde
|
||||
|
||||
### Fehler (muessen korrigiert werden)
|
||||
|
||||
1. **Rhee-Kanthusneigung kaukasisch:** Thesis sagt ~7 Grad, Paper sagt 4.12 Grad (average). Der Wert 7.13 ist fuer "attractive" Caucasian. **Muss korrigiert werden.**
|
||||
2. **Farkas -- Lidspaltenneigung:** Farkas hat diesen Parameter NICHT gemessen. Aus dem Cite entfernen.
|
||||
3. **BFM "Laserscans":** BFM verwendet Structured-Light-Scanning, keine Laser. Korrigieren.
|
||||
4. **Wisetchat 2018 vs. 2024:** Zahlen 71 Attribute, 36 Features und Name "TFM" stammen aus dem 2024-Paper, werden aber dem 2018-Paper zugeschrieben.
|
||||
|
||||
### Fehlende Quellen
|
||||
|
||||
5. **Qian et al.:** Behandelt Augenbewegungssignale, nicht Augenbilder -- Annotationsaufwand-Claim braucht andere Quelle.
|
||||
6. **Lu et al. ">85% europaeisch":** Dieses Paper nennt keine europaeische Praevalenz der Supratarsalfalte.
|
||||
7. **Kiranantawat "60-90% / <10%":** Paper nennt keine konkreten Prozentsaetze fuer Epikanthalfalten-Praevalenz.
|
||||
8. **Patil -- Mechanismen (Ptosis, Erschlaffung, Fettverschiebung):** Paper dokumentiert Messwerte, nicht die genannten Ursachen.
|
||||
|
||||
### Nicht im Conference-Paper belegt (Journal-Version pruefen)
|
||||
|
||||
9. **RIT-Eyes:** HDR-Umgebungskarten, "Haelfte mit Brillen", 2D/3D-Landmarks -- ggf. im Journal-Paper.
|
||||
10. **UnityEyes 2:** "Erweiterte Lichttypen" nicht im Paper erwaehnt.
|
||||
|
||||
### Unpraezise Formulierungen
|
||||
|
||||
11. **RIT-Eyes "variable Kruemmungsradien":** Korrekt waere "variable Aspharizitaet" (Q variiert, R ist fest).
|
||||
12. **SynthesEyes "Kopfpose-Matrizen":** Nicht als expliziter Output-Label im Paper.
|
||||
13. **SynthesEyes "Make-up":** Als fehlend beschrieben, aber im Paper nicht erwaehnt.
|
||||
14. **SynthesEyes "perhaps due to":** Paper ist vorsichtiger als die Thesis-Formulierung.
|
||||
15. **SimGAN "21% gegenueber rein synthetischem Training":** 21% ist relativ zum besten vorherigen Verfahren (k-NN), nicht zum CNN-Baseline.
|
||||
16. **LEyes "spezifisch P-CR":** Framework auch fuer andere Tasks nutzbar.
|
||||
17. **Rhee Kanthusneigung ostasiatisch "10-11 Grad":** Paper sagt 9.77 Grad.
|
||||
18. **Wisetchat alpha-Bereich:** [0,1] nur fuer unsigned; signed Attribute haben [-1,1].
|
||||
19. **TFM "reichste Einzelregion":** Nur nach Feature-Zahl, nicht nach Attribut-Zahl.
|
||||
|
||||
### Strukturprobleme
|
||||
|
||||
20. **Sektion 3.2, Zeilen 24-26:** Doppelter Zwischenfazit-Absatz (fast identischer Text).
|
||||
21. **Citation Key:** `UnityEyesWebsize` vs. `UnityEyesWebsite` vs. Zotero `UnityEyes`.
|
||||
|
||||
### Saetze, die ein Zitat vertragen koennten
|
||||
|
||||
22. Z.4 Sec. 3.3: "Die Ursachen sind kumulativ: Texturdiskrepanzen, Beleuchtungsunterschiede..." -- z.B. `byrneLEyesLightweightFramework2025` oder `nairRITEyesRenderingNeareye2020`
|
||||
23. Z.20 Sec. 3.4: "Die parametrische Modellierung hat eine lange Tradition" -- z.B. `egger3DMorphableFace2020`
|
||||
Reference in New Issue
Block a user