Sehr viele Sachen

This commit is contained in:
Simon Lübeß
2026-04-01 13:14:15 +02:00
parent f345160a42
commit 6cefc3f41b
21 changed files with 2752 additions and 62 deletions

View File

@@ -0,0 +1,99 @@
Ziel: ca. 12 Seiten
## 1. Synthetische Datengenerierung für Eyetracking
**Ziel: ca. 4 Seiten**
Der Kernblock. Vorgestellt werden die bekannten Generatoren und Pipelines: SynthesEyes, UnityEyes, RIT-Eyes, LEyes, und bei Bedarf UnityEyes 2 als neuerer Ausblick. Der Fokus liegt auf der Pipeline-/Generator-Perspektive: Was wird jeweils randomisiert, welche Labels entstehen, wie realistisch bzw. kontrollierbar ist die Synthese, und wo liegen die Grenzen? Dabei die Unterschiede herausarbeiten photorealistisch vs. vereinfachte Generierung, welche Downstream-Aufgaben adressiert werden. SynthesEyes betont photorealistische, kontrollierbare Variation von Kopfpose, Blickrichtung und Beleuchtung; UnityEyes zielt auf schnelle Synthese großer Mengen variabler Augenregionen; RIT-Eyes ergänzt deformierbare Iris, gaze-koordinierte Lidbewegung und Blinzeln; LEyes geht bewusst weg vom Photorealismus und modelliert nur die für Video-Eye-Tracking nötigen Schlüsselmerkmale. Bei jedem Generator kurz mitdiskutieren, für welche Aufgabe die Daten gedacht waren aber noch nicht ausführlich in Sim-to-Real oder Segmentierungsmodelle abrutschen, das kommt in Kapitel 2 und 3.
Das bleibt dein **Kernblock**. Hier geht es um bestehende Generatoren und Pipelines wie **SynthesEyes, UnityEyes, RIT-Eyes, LEyes** und ggf. neuere Weiterentwicklungen. Der Fokus liegt auf der **Erzeugungsseite**: Welche Arten synthetischer Augenbilder werden erzeugt, welche Parameter werden variiert, welche Annotationen entstehen, wie realistisch oder abstrahiert ist die Darstellung, und welche Grenzen haben die jeweiligen Ansätze?
Wichtig ist, dass du dieses Kapitel konsequent aus der **Pipeline-/Generator-Perspektive** schreibst. Also nicht ausführlich: „Wie gut funktioniert das für Segmentierung?“ oder „Welche Architektur wurde danach verwendet?“, sondern:
Welche Form von Variation wird überhaupt modelliert? Blickrichtung, Pose, Beleuchtung, Lidbewegung, Irisform, Bildrauschen, Hardwareeffekte, Augenregionsform usw.
Hier kannst du am Ende schon vorsichtig die Brücke schlagen: Einige Arbeiten variieren durchaus Merkmale der Augenregion, aber die **gezielte Modellierung stabiler interindividueller Augenformmerkmale** ist dort nicht der zentrale Untersuchungsgegenstand.
**Kurzform des Kapitels:**
Bestehende Eye-Tracking-Synthesepipelines, ihre Variationsachsen, ihre Annotationen und ihre methodischen Grenzen.
## 2. Synthetische Daten für gaze estimation, Feature-Lokalisierung und Pupillensegmentierung
**Ziel: 1 bis 2 Seiten**
Dieses Kapitel verortet die Arbeit in den nachgelagerten Lernaufgaben. Die Leitfrage ist nicht "welche Modelle gibt es", sondern: Wie wurden synthetische Daten in Downstream-Aufgaben verwendet? Dafür eine kurze Einordnung der drei Hauptstränge Gaze Estimation, Eye-Shape/Landmark Localization, semantische Segmentierung (Pupil/Iris Parsing) und dann der Fokus auf die Segmentierungsseite. RITnet und EllSeg gehören hier hinein, aber rein datenbezogen: Welche Datensätze wurden genutzt, wie wichtig waren synthetische Labels? RITnet ist stark an OpenEDS gekoppelt; EllSeg evaluiert auf mehreren synthetischen Segmentierungsdatensätzen. Um Redundanz mit Kapitel 1 zu vermeiden: Die Generatoren werden in Kapitel 1 vorgestellt, hier geht es nur darum, wie ihre Outputs in der Segmentierungsforschung aufgegriffen wurden.
Dieses Kapitel solltest du **schmaler und schärfer** halten, damit es sich nicht mit Kapitel 1 doppelt. Es ist **keine allgemeine Modellübersicht**, sondern beantwortet eine andere Frage:
**Wie wurden synthetische Augendaten in nachgelagerten Lernaufgaben verwendet?**
Damit verschiebt sich die Perspektive weg vom Generator und hin zur **Verwendung der Daten**. Du kannst hier knapp zeigen, dass synthetische Augendaten bereits für verschiedene Aufgaben eingesetzt wurden, etwa für:
- Gaze Estimation,
- Landmarken- bzw. Augenform-Lokalisierung,
- Pupillen-/Iris-Erkennung bzw. Segmentierung.
Der entscheidende Punkt ist dabei:
Nicht die Architekturen selbst stehen im Vordergrund, sondern **welche Rolle synthetische Daten für diese Aufgaben gespielt haben**. Also zum Beispiel:
Wurden synthetische Daten zum Vortraining genutzt? Zur Ergänzung kleiner realer Datensätze? Für bestimmte Labelarten, die real nur schwer zu annotieren sind?
Damit wird Kapitel 2 zu einer Art **Anwendungsbrücke**: Es zeigt, dass synthetische Daten im Eye-Tracking-Feld etabliert sind, aber je nach Zielaufgabe unterschiedlich eingesetzt werden — und dass gerade für die Pupillensegmentierung die Zusammensetzung des Trainingsdatensatzes besonders relevant ist.
**Kurzform des Kapitels:**
Nicht: „Welche Modelle gibt es?“
Sondern: „Wie und wofür wurden synthetische Augendaten bereits eingesetzt?“
## 3. Sim-to-Real-Transfer, Generalisierung und Domain Adaptation / Domain Randomization
**Ziel: ca. 2 Seiten**
Die zentrale Frage der Arbeit ist nicht nur "Kann ich Augenformen modellieren?", sondern "Hilft diese zusätzliche Variation beim Training auf reale Daten oder schadet sie?" Dafür braucht es den Forschungsstrang zu Domain Gap und Übertragbarkeit. Innerer Aufbau als Dreischnitt: Zuerst das Problem (Sim-to-Real Gap), dann Strategie 1 (mehr Variation / Domain Randomization, Tobin et al. als allgemeiner Rahmen), dann Strategie 2 (Verfeinerung / Adaptation, z.B. SimGAN für synthetische UnityEyes-Bilder, Seg2Eye als stilkonsistente personenspezifische Generierung). Wichtig ist weniger Breite als die Argumentation: Formvariation als eine Art von Domain Randomization einzuordnen. Spezifischer Bezug zum Eyetracking über SynthesEyes (Bedeutung realistischer Beleuchtung und Formvariation) und LEyes (Hardwareunterschiede und biologische Unterschiede als Generalisierungshürden).
Dieses Kapitel ist logisch sehr wichtig und in sich schon recht sauber. Hier geht es nicht mehr primär um konkrete Generatoren, sondern um den **übergeordneten methodischen Rahmen**, in den deine Arbeit gehört.
Die Leitfrage lautet hier:
Warum sollte zusätzliche Variation in synthetischen Daten überhaupt helfen — und unter welchen Bedingungen hilft sie vielleicht nicht?
Inhaltlich würde ich das Kapitel intern in drei gedankliche Teile gliedern:
1. **Das Problem:** synthetische und reale Daten unterscheiden sich, wodurch ein Sim-to-Real-Gap entsteht.
2. **Eine Strategie:** mehr Variation durch Domain Randomization, um robustere Modelle zu trainieren.
3. **Weitere Strategien:** Domain Adaptation, Verfeinerung synthetischer Bilder oder stilistische Angleichung an reale Daten.
Für deine Arbeit ist dabei der wichtigste argumentative Punkt:
**Augenformvariation kann als eine spezielle Form von Domain Randomization verstanden werden.**
Du testest also nicht einfach „noch einen Parameter“, sondern konkret, ob zusätzliche morphologische Variation die Generalisierung verbessert oder verschlechtert.
**Kurzform des Kapitels:**
Der theoretische Rahmen dafür, warum zusätzliche Variation in synthetischen Daten für reale Anwendungen relevant sein kann.
## 4. Modellierung interindividueller anatomischer Variation der Periorbitalregion
**Ziel: 2 bis 3 Seiten**
Das ist das Kapitel, das die Arbeit am stärksten von klassischer Syntheseliteratur abhebt 👁️✨
Hier sollte klar werden, warum Augenformmerkmale wie Lidform, Lidfalte, Kanthusform oder Epikanthus **keine bloßen Details** sind, sondern eine eigenständige, biologisch plausible Variationsachse. Dafür passt eine Zweiteilung sehr gut:
### 4.1 Periorbitale Morphologie als relevante Variationsachse
Anthropometrische Literatur, die zeigt, dass sich die periorbitale Morphologie zwischen Personen systematisch unterscheidet (Ethnie, Geschlecht, Alter, natürliche Asymmetrien). Damit begründen, warum Merkmale wie Lidform, Lidfalte, Kanthusform oder Epikanthus nicht bloß kosmetische Details sind, sondern eine relevante Variationsachse für Trainingsdaten. Dieses Teilkapitel liefert die **inhaltliche Rechtfertigung**, warum die Variation überhaupt sinnvoll ist.
### 4.2 Parametrische Modellierung morphologischer Variation
Hier ordnest du angrenzende Arbeiten ein, die Gesichtsvariation parametrisch modellieren, etwa über Morphable Models oder ähnliche 3D-Ansätze. Wichtig ist die Einordnung: Das sind **angrenzende Arbeiten**, aber keine direkten Eye-Tracking-Synthesepipelines mit Fokus auf die Periorbitalregion. Genau dadurch kannst du zeigen, dass parametrisierte Formvariation grundsätzlich ein etablierter Gedanke ist, aber in deinem spezifischen Anwendungskontext noch nicht in dieser Form ausformuliert wurde.
**Holistische 3D Morphable Models** wie FLAME, das Basel Face Mode, eventuell weitere 3DMMs. Diese Modelle sind Nachbarliteratur, keine direkten Eye-Tracking-Generatoren. FLAME als artikuliertes Ganzkopfmodell, BFM als klassisches Morphable-Face-Model. Das zeigt, dass parametrisierte Gesichtsvariation grundsätzlich etabliert ist aber die Dimensionen dieser Modelle sind typischerweise holistisch und nicht in Bezug auf lokale Gesichtsmerkmale interpretierbar.
**Wisetchat 2018 ("Description-based visualisation of ethnic facial types")** nimmt hier eine Sonderstellung ein und ist das methodisch engste Vorbild für die eigene Arbeit. Im Gegensatz zu klassischen 3DMMs definiert Wisetchat explizite, semantisch interpretierbare und quasi-orthogonale Formparameter für einzelne Gesichtsregionen darunter die Augenregion. Lokale Merkmale wie Falten, Wölbungen, Neigungen etc. werden als kontinuierliche Attribute modelliert, die ein morphbares Modell steuern und ethnische Formvariation sichtbar machen. Der entscheidende Punkt: Wisetchat zeigt, dass lokale, beschreibbare Formparameter ethnische Variation oft besser erfassen als reine Landmark-Abstände. Die Arbeit zielt dabei auf die menschliche Wahrnehmung und Visualisierung ethnischer Gesichtsvariation ("human visual appreciation"), **nicht** auf die Erzeugung synthetischer Trainingsdaten.
Genau hier liegt die Abgrenzung: Die eigene Arbeit übernimmt dieselbe Grundidee explizite, semantische Formparameter für die Periorbitalregion setzt sie aber in einer Blender-Synthesepipeline ein, um damit Trainingsdaten für ein Segmentierungsmodell zu erzeugen. Gleicher Modellierungsansatz, anderer Zweck. Das baut direkt die Brücke zu Kapitel 5, weil sich zeigen lässt: Die Idee parametrischer, semantischer Formvariation existiert und ist tragfähig, wurde aber im Kontext synthetischer Eye-Tracking-Daten noch nicht in dieser Form eingesetzt und als eigenständiger Faktor untersucht.
Das ist thematisch deutlich besser hier aufgehoben als in Kapitel 1, weil es direkt auf die **Forschungslücke** vorbereitet.
## 5. Forschungslücke und Positionierung der eigenen Arbeit
**Ziel: ca. 1 Seite**
Die rote Linie: Es gibt starke Arbeiten zur synthetischen Erzeugung von Augenbildern, die erfolgreich Blickrichtung, Pose, Beleuchtung und teils dynamische Lidbewegungen variieren. Vorsicht bei der Formulierung der Lücke UnityEyes wird ausdrücklich mit Variation der Eye Region Shape beschrieben. Die Lücke ist also nicht "niemand hat Augenform variiert", sondern: Die explizite, parametrisierbare und als eigener Faktor untersuchte Modellierung stabiler periorbitaler Augenformmerkmale steht nicht im Zentrum der bisherigen Arbeiten. Die Arbeit erweitert eine bestehende Blender-Pipeline um diese Formvariation und prüft experimentell, ob das für ein Segmentierungsmodell Nutzen oder Nachteil hat.
Dieses Kapitel ist dann die **saubere Synthese** aus 1 bis 4.
Die Argumentation sollte ungefähr so verlaufen:
Bestehende Arbeiten zur synthetischen Erzeugung von Augenbildern zeigen, dass kontrollierte Variation für Eye-Tracking-Aufgaben grundsätzlich sehr wertvoll ist. Dabei werden bereits verschiedene Einflussfaktoren wie Blickrichtung, Kopfpose, Beleuchtung, Lidbewegung oder bildgebende Effekte berücksichtigt. Auch der Einsatz synthetischer Daten für nachgelagerte Lernaufgaben ist etabliert, und im weiteren Sinn lässt sich zusätzliche Variation als Beitrag zur Verbesserung der Generalisierung verstehen.
Was jedoch nicht im Zentrum der bisherigen Arbeiten steht, ist die **explizite, parametrisierbare und gezielt untersuchte Modellierung stabiler interindividueller Augenformmerkmale der Periorbitalregion** als eigener Faktor für die Generalisierung segmentierungsbasierter Eye-Tracking-Modelle.
Genau dort setzt deine Arbeit an:
Du erweiterst eine bestehende Blender-basierte Synthesepipeline um diese Formvariation und untersuchst experimentell, welchen Einfluss sie auf die Leistung eines Segmentierungsmodells hat.
Das ist die präziseste und zugleich vorsichtige Formulierung deiner Lücke.