Masterarbeit-Obsidian-Vault/Paperung/Related Works/3.1 - Synthetische Datengenerierung für Eyetracking (Infos aus Deep Research).md

Quellen:

XX[X1] U2Eyes Sonia Porta, Benoît Bossavit, Rafael Cabeza, Andoni Larumbe-Bergera, Gonzalo Garde, and Arantxa Villanueva. U2Eyes: A Binocular Dataset for Eye Tracking and Gaze Estimation. In 2019 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pages 3660–3664. IEEE, 2019. 👍[X3] GazeGene: Large-scale Synthetic Gaze Dataset ... - CVF Open Access, Zugriff am März 27, 2026, https://openaccess.thecvf.com/content/CVPR2025/papers/Bao_GazeGene_Large-scale_Synthetic_Gaze_Dataset_with_3D_Eyeball_Annotations_CVPR_2025_paper.pdf

👍[X5] Why do we need high-fidelity synthetic eye movement data and how should they look like?, Zugriff am März 27, 2026, https://www.biorxiv.org/content/10.64898/2025.12.11.692112v1.full-text [X4] LEyes: A lightweight framework for deep learning-based eye tracking using synthetic eye images - PubMed, Zugriff am März 27, 2026,

👍[X6] Swirski und Dodgson University of Cambridge

👍[X2] SynthesEyes Erroll Wood, Tadas Baltrušaitis, Xucong Zhang, Yusuke Sugano, Peter Robinson, and Andreas Bulling. Rendering of Eyes for Eye-Shape Registration and Gaze Estimation. In Proceedings of the IEEE International Conference on Computer Vision (ICCV). IEEE, 2015. XX[X7] SynthesEyes Dataset - Apollo - University of Cambridge, Zugriff am März 27, 2026, https://www.repository.cam.ac.uk/items/f9464c88-5797-4f28-824c-10003a9704f7

👍[X8] UnityEyes https://dl.acm.org/doi/10.1145/2857491.2857492, http://multicomp.cs.cmu.edu/wp-content/uploads/2017/09/2016_ETRA_wood_learning.pdf, 👍[X9] UnityEyes dataset: https://www.cl.cam.ac.uk/research/rainbow/projects/unityeyes/tutorial.html

[X10] NVGaze https://dl.acm.org/doi/fullHtml/10.1145/3290605.3300780

👍[X11] RIT-Eyes https://arxiv.org/pdf/2006.03642 XX [X12] ein anderes RIT-Eyes https://arxiv.org/pdf/2006.03642 👍[X13] Temporal RIT-Eyes https://pubmed.ncbi.nlm.nih.gov/36044495/

[X14] Unity Eyes 2 https://dl.acm.org/doi/10.1145/3715669.3726838 [X15] UnityEyes 2: Open source robust synthetic eye generation for camera-based eye tracking with machine learning - ETRA '25 - Conference Programs, Zugriff am März 27, 2026, https://programs.sigchi.org/etra/2025/program/content/197866

Einleitung:

Text von Jan: Der Einsatz synthetischer Daten in der Eye-Tracking-Forschung hat in den letzten Jahren deutlich an Bedeutung gewonnen (vgl. [X1, X2]). Wichtige Gründe dafür sind unter anderem die begrenzte Verfügbarkeit realer Aufnahmen, die unter vollständig standardisierten Bedingungen entstanden sind, sowie der hohe manuelle Annotierungsaufwand, der bei großen Bilddatensätzen für beispielsweise Pupillen-, Iris- oder Lidsegmentierungen anfällt. Darüber hinaus spielen auch Datenschutz- und Ethikfragen eine Rolle, welche den Einsatz echter Augenaufnahmen einschränken können, insbesondere wenn es sich um sensible Probandengruppen handelt. Aus diesen Gründen haben mehrere Forschungsgruppen spezielle Frameworks entwickelt, um automatisiert große Mengen synthetischer Augenbilder zu erzeugen. Die angebotenen Methoden unterscheiden sich insbesondere im Grad ihrer Realitätsnähe (von stark abstrahiert bis fotorealistisch), im verwendeten Renderverfahren (Echtzeit vs. physikalisches Raytracing) sowie in ihrer Zielanwendung (Webcams, VR-Headsets, Spezialkameras etc.).

Jammy: Die Erfassung menschlicher Blickbewegungen hat sich in den letzten Jahrzehnten von einer spezialisierten Labortechnik zu einer Schlüsseltechnologie in der Mensch-Maschine-Interaktion, der Psychologie und der klinischen Diagnostik entwickelt. Der aktuelle Durchbruch in der Genauigkeit und Robustheit von Blickerfassungssystemen ist untrennbar mit dem Aufstieg des Deep Learnings verbunden. Neuronale Netze benötigen jedoch für das Training immense Mengen an annotierten Daten, die die gesamte Bandbreite menschlicher Anatomie, Kopfposen, Beleuchtungsszenarien und Hardwarekonfigurationen abdecken. Die manuelle Annotation realer Augenbilder ist ein extrem mühsamer, zeitaufwendiger und fehleranfälliger Prozess, der zudem durch datenschutzrechtliche Hürden wie die DSGVO erschwert wird.[X5] In diesem Kontext hat sich die synthetische Datengenerierung als unverzichtbares Werkzeug etabliert. Durch den Einsatz von Computergrafik und physikalisch basierten Simulationen können Forscher heute Millionen von perfekt labelbaren Bildern erzeugen, die Merkmale enthalten, die in realen Aufnahmen unsichtbar bleiben, wie etwa die exakte Position des Augapfelzentrums oder die Geometrie der visuellen Achse.[X3]

Die Entwicklung synthetischer Generatoren spiegelt dabei einen technologischen Reifungsprozess wider: von frühen, statischen Modellen, die primär auf visuellen Realismus setzten, hin zu hochdynamischen Frameworks, die physiologische Präzision, zeitliche Kohärenz und hardwarenahe Simulationen priorisieren. Während Systeme wie SynthesEyes den Weg für den fotorealistischen Transfer bereiteten, adressieren neuere Ansätze wie UnityEyes 2 und GazeGene die spezifischen Anforderungen von Augmented-Reality-Systemen und die Notwendigkeit, interne Augenstrukturen zu modellieren.[X14][X3] Ein kritischer Diskurs in der aktuellen Forschung betrifft das Gleichgewicht zwischen der Komplexität des Renderings und der Generalisierbarkeit der Modelle. Hierbei konkurrieren fotorealistische Ansätze, die den "Sim-to-Real Gap" durch visuelle Treue minimieren wollen, mit abstrakten Methoden wie LEyes, die auf vereinfachte Lichtverteilungen setzen, um ein Overfitting auf synthetische Texturen zu vermeiden.[X4]

Gibbidy: Synthetische Datengenerierung ist im Eye-Tracking-Kontext primär eine Antwort auf zwei gekoppelte Engpässe: (i) die Kosten/Komplexität, große Mengen diverser Eye-Images zu erfassen, und (ii) die Schwierigkeit, präzise Ground-Truth-Annotationen für Augenregionen zuverlässig zu erhalten. Photorealistische Renderpipelines adressieren diese Engpässe typischerweise, indem sie eine kontrollierbare 3D-Augen-/Periorbitalmodellierung mit einem Rendering-Setup verbinden, sodass Labels „perfekt“ aus der Szene (Geometrie, Pose, Optik) ableitbar sind[X2].

Für dieses Related-Work-Unterkapitel ist die Generator-/Pipeline-Perspektive zentral: Welche Bildtypen werden erzeugt, welche Parameterachsen werden modelliert und randomisiert, welche Labels fallen als Nebenprodukt an, und welche methodisch-technischen Grenzen ergeben sich aus den Modellannahmen. Entsprechend stehen hier (a) Synthese-Mechanik und (b) Variationsräume im Vordergrund – nicht die spätere Modellarchitektur oder die konkrete Sim-to-Real-Leistung.

Die im Folgenden behandelten „Kernpipelinen“ markieren dabei eine klare Entwicklungslinie: von photorealistischen, offline gerenderten Trainingsdaten mit starker Kontrolle (SynthesEyes), über Echtzeit-Synthese in großer Skalierung (UnityEyes), hin zu hardware-näheren near-eye/IR-Renderpipelines mit reicheren physiologischen Details (RIT-Eyes) und schließlich zu bewusst abstrahierten Generatoren, die nur noch die für Video-Eye-Tracking entscheidenden Bildmerkmale modellieren (LEyes).

Photorealistische Pipelines

Swirski & Dodgson

Claudibum: The modern pipeline lineage begins with Świrski & Dodgson (2014), who first applied physically-based rendering to generate synthetic eye images for eye tracker evaluation. Their system used Blender's Cycles path tracer with a single public-domain head model, rendering corneal refraction, adjustable LED glints, and eyelid/pupil variation. [X6] Ground truth included pupil contour ellipses, glint locations, and gaze vectors. [X6] Though limited to one head model (white male), a spherical cornea, and no bright-pupil imaging, this work established the template — Blender-based path tracing with scripted parameter variation — that all subsequent photorealistic pipelines would follow.

SynthesEyes

Claudibum: SynthesEyes (Wood et al., ICCV 2015) expanded this approach to 10 high-quality head scans [X2] from Ten24's 3D Scan Store (0.1 mm geometry, 10K diffuse textures), each manually retopologized in ZBrush to ~9,005 polygons with edge loops following exterior eye muscles. The two-part eyeball model used a transparent refractive outer shell (corneal index n = 1.376) over an opaque inner surface carrying iris and sclera textures. Skin used physically-based subsurface scattering. Rendering at 150 rays per pixel produced photorealistic output at 120 × 80 px in 5.26 seconds per image on an NVIDIA GTX 660. [X2] Randomization covered gaze direction (constrained to ±25° pitch, ±35° yaw per MIL-STD-1472G), head pose (40° total via spherical camera placement), four HDR environment maps with random rotation and intensity scaling, four iris colors, three sclera tints, and blend-shape-driven pupil dilation and eyelid pose. [X2] The pipeline produced 28 eye-region landmarks (12 eyelid, 8 iris, 8 pupil) in both 2D and 3D, plus gaze vectors and head pose matrices [X2] — targeting eye-shape registration and appearance-based gaze estimation. Key limitations included the labor-intensive per-model manual preparation, slow rendering (approximately two months for one million images), only 10 identity models, and no modeling of glasses, makeup, or emotion-related deformations. [X2] Cross-dataset evaluation revealed a substantial domain gap (13.91° vs. 6.33° on MPIIGaze). [X2]

Jammy: Mit der Vorstellung von SynthesEyes durch Wood et al. wurde demonstriert, dass synthetische Daten nicht nur eine Notlösung für fehlende reale Daten sind, sondern diese in der Leistungsfähigkeit sogar übertreffen können, wenn sie mit ausreichender geometrischer und visueller Präzision erzeugt werden.[X7] Das fundamentale Problem früherer lernbasierter Ansätze war, dass die Modelle stark von der Verteilung der Trainingsdaten abhingen. Wenn die Testumgebung – etwa durch eine andere Beleuchtung oder extremere Kopfposen – von den Trainingsdaten abwich, sank die Genauigkeit drastisch.[X2] SynthesEyes adressierte dies durch eine Pipeline, die auf hochauflösenden 3D-Kopfscans basierte.

Die technische Realisierung von SynthesEyes stützte sich auf die Rekonstruktion von zehn detaillierten Modellen der Augenregion, die aus Scans von fünf männlichen und fünf weiblichen Probanden gewonnen wurden.[X7] Diese Scans, die ursprünglich über 1,4 Millionen Polygone umfassten, wurden in einem aufwendigen Prozess retopologisiert, um sie für die Animation nutzbar zu machen, während gleichzeitig durch Displacement-Maps die feinen Oberflächendetails der Haut erhalten blieben.[X2] Ein wesentlicher Fortschritt war die Integration von Image-Based Lighting (IBL), wodurch die synthetischen Augenmodelle realistische Reflexionen der Umgebung zeigten. Dies ist entscheidend, da das menschliche Auge als hochgradig spiegelnde Oberfläche fungiert und die korrekte Modellierung dieser Reflexionen für die Extraktion von Merkmalen wie dem Hornhautreflex unerlässlich ist.[X2]

Randomisierung und Annotationsumfang in SynthesEyes

Die Stärke von SynthesEyes lag in der kontrollierten Variabilität. Da das Modell in einer virtuellen Umgebung existierte, konnten Forscher Parameter manipulieren, die in der Realität schwer zu isolieren sind.

Parameter-Kategorie	Spezifische Variationen	Zweck der Randomisierung
Kopfpose	Rotation in 3 Dimensionen (3 \times 3 Matrix)	Robustheit gegenüber Bewegungen des Nutzers
Blickrichtung	Vollständige Hemisphäre der Blickvektoren	Abdeckung extremer Blickwinkel
Beleuchtung	Variable HDR-Umgebungen (Indoor/Outdoor)	Invarianz gegenüber Lichtquellenwechseln
Textur	Hauttöne und Iris-Farbvariationen	Modellierung ethnischer Vielfalt
[X7]

Die Annotationen von SynthesEyes gingen weit über einfache Blickvektoren hinaus. Jedes generierte Bild enthielt 2D- und 3D-Landmarks für die Augenlider, die Iris und die Pupille im Kameraraum.[X7] Diese Detailtiefe erlaubte es, Modelle nicht nur für die Blickrichtungsschätzung, sondern auch für die Registrierung der Augenform zu trainieren, was wiederum die Genauigkeit der Blickerfassung in schwierigen Szenarien ("In-the-wild") verbesserte.[X2] Trotz dieses Erfolgs blieb SynthesEyes durch die geringe Anzahl an Basis-Gesichtsmodellen limitiert, was die Frage aufwarf, wie eine noch größere Vielfalt an Augenformen effizient generiert werden kann.

Gibbidy: SynthesEyes (ICCV 2015) wird typischerweise als „photorealistische“ Pipeline eingeordnet, weil sie (a) hochwertige 3D-Head-Scans in dynamische Eye-Region-Modelle überführt und (b) die Beleuchtung über image-based lighting mit HDR-Environment-Maps modelliert. Die Synthese ist explizit kontrolliert und als Parameterraum formuliert: Für jedes Render wird eine Kameraposition, ein Blickvektor, eine Lichtumgebung und eine Eye-Model-Konfiguration festgelegt.[X2]

Die Modellvorbereitung zielt darauf, die Augenregion als „deformierbares“ Teilgebiet einer (retopologisierten) Scan-Geometrie zu behandeln. Die Pipeline beschreibt u. a. retopologisierte Low-Poly-Geometrie, die per Displacement die hochfrequenten Scan-Details wiederherstellt, sowie physikalisch inspirierte Hautmaterialien (z. B. subsurface scattering und Glossy-Anteile), um realistische Haut-/Augenoberflächen zu approximieren. Diese Modellierungsentscheidung ist wichtig, weil sie SynthesEyes’ Realismus insbesondere bei periorbitalen Mikrostrukturen (Falten, Hautglanz) stützt, gleichzeitig aber den Aufwand in Modellbau und Rendering hoch hält.[X2]

Die Variationsachsen sind im Paper sehr klar operationalisiert. Kamera-/Kopfpose wird über sphärische Koordinaten um das Auge gesampelt (als Kamera-Position um das Eyeball-Zentrum), Blickrichtung über Pitch/Yaw-Winkelbereiche variiert, und anatomische Plausibilitätsgrenzen werden über Winkelconstraints und Sichtbarkeitsprüfungen (z. B. Pupillenzentrum innerhalb der Lidlandmark-Grenze) abgesichert. Beleuchtungsvariation entsteht durch Wahl einer HDR-Umgebung, deren Rotation und globale Intensität randomisiert werden, sodass aus wenigen Umgebungen ein breites Spektrum an Erscheinungsbildern entsteht.[X2]

Die Annotationen sind ein Kernargument der Pipeline: SynthesEyes annotiert die Eye-Region im Modell einmal in 3D mit 28 Landmarken (12 Lidlandmarks, 8 Iris- und 8 Pupillenlandmarks) und projiziert diese bei jedem Render per Kameraprojektion in 2D. Dadurch entstehen konsistente, dichte Landmark-Sets, die sich direkt als Trainings- oder Evaluationslabels nutzen lassen, ohne menschliche Label-Varianz.[X2] Ergänzend dokumentiert die veröffentlichte Dataset-Beschreibung die gespeicherten Labelstrukturen pro Bild sehr konkret: Bilder werden mit look_vec (3D gaze in camera space), head_pose (Rotation world→camera) sowie 2D/3D-Landmarks für Lid/Iris/Pupille gespeichert.[X2]

Skalierung, Realismus und Grenzen ergeben sich aus den gewählten Designentscheidungen: SynthesEyes rendert mit Blender Cycles (Path Tracing) und definiert damit einen hohen photometrischen Anspruch, ist aber damit deutlich weniger „throughput-orientiert“ als spätere Echtzeitgeneratoren. In der ICCV-Publikation wird außerdem sichtbar, dass bestimmte Phänomene nicht vollständig abgedeckt sind (z. B. fehlende echte closed-eye Renderings; eingeschränkte Mimik-/Emotion-Deformationen wie brow-furrowing/squinting/eye-widening). Das ist generatorisch relevant, weil damit eine Lücke zwischen „Kontrollierbarkeit“ (Pose/Licht) und „vollständiger physiologischer Bildvarianz“ bleibt.[X2]

In Summe steht SynthesEyes prototypisch für die photorealistische, kontrollierbare Renderpipeline: realistische Beleuchtung und Geometrie werden als zentrale Variationsachsen priorisiert, und die Labels entstehen aus dem 3D-Modell (Landmarks + gaze/head pose), wodurch die Pipeline besonders gut für Aufgaben ist, die explizite Landmark-/Geometrie-Ground-Truth benötigen.[X2]

UnityEyes

Claudibum: UnityEyes (Wood et al., ETRA 2016) was explicitly designed to overcome three SynthesEyes bottlenecks: slow rendering, limited identity variation, and manual per-model rigging. By switching to Unity 5.2's real-time rasterizer, it achieved 23 ms per image (3.6 ms rendering, remainder I/O) — a 200× speedup — at a higher resolution of 400 × 300 px. [X8] The central innovation was a PCA-based generative morphable eye region model: all 20 head scans were registered to a single 229-vertex topology, and principal component analysis yielded a continuous shape space from which infinite novel eye regions could be sampled (s(α) = μ + U·diag(σ)·αᵀ, α ∼ N(0, I)). The first principal component captured the hooded-versus-protruding eye axis. [X8] Eyelid animation became fully procedural — anatomically-inspired geometric rotations with pivot interpolation and shrinkwrapping to the eyeball surface — eliminating manual blend shapes. [X8] Corneal refraction was approximated via a fragment shader texture offset rather than true ray tracing, and skin used a pre-integrated scattering shader. [X8]UnityEyes randomized eye region shape (PCA), 20 skin textures, iris photo-textures, iris width, pupil size, gaze (±30° default, user-configurable), head pose (±30°), 20 HDR panoramas (vs. 4 in SynthesEyes) with random rotation and exposure, plus a random directional light. [X8] Labels included interior margin, caruncle, and iris landmarks, gaze vectors, pupil/iris size, and head pose in JSON format. [X9] Over one million images were generated in under 12 hours. [X8]Despite lower per-image photorealism, UnityEyes achieved marginally better gaze estimation than SynthesEyes (9.95° vs. 10.09° on MPIIGaze with k-NN) because dataset scale and shape diversity compensated for rendering fidelity[X8] — a result that shaped subsequent thinking about the photorealism-versus-scale trade-off.

Jammy: Um den Bedarf an noch größeren Datensätzen zu decken – oft im Bereich von Millionen von Bildern –, entwickelten Wood et al. (2016) das UnityEyes-Framework. Der Fokus verschob sich hierbei von der manuellen Aufbereitung von Scans hin zu einer hochgradig automatisierten und prozeduralen Generierung in der Unity3D-Engine.[X8] UnityEyes ermöglichte eine Synthesegeschwindigkeit, die etwa 200-mal schneller war als bei SynthesEyes, was die Erzeugung von Datensätzen mit einer Million Bildern in kürzester Zeit möglich machte.[X8]

Ein technologisches Highlight von UnityEyes ist die Verwendung anatomisch inspirierter prozeduraler Geometriemethoden für die Animation der Augenlider. Bei der Bewegung des Augapfels verformen sich die umgebenden Gewebeschichten nicht statisch, sondern folgen komplexen biomechanischen Mustern. UnityEyes implementierte Regeln, die sicherstellten, dass das Augenlid den Konturen der Hornhaut folgt, was besonders bei extremen Blickwinkeln oder fast geschlossenen Augen entscheidend ist, um realistische Verdeckungen der Pupille zu simulieren.[X8]

Die Balance zwischen Vielfalt und Effizienz

In UnityEyes wird die Augenregion als ein statistisch abgeleitetes 3D-Modell begriffen. Durch das Sampling von Koeffizienten aus einem Prior-Modell können nahezu unendlich viele verschiedene Augenformen generiert werden.[13] Dies adressiert das Problem der anatomischen Vielfalt wesentlich effektiver als die zehn statischen Modelle von SynthesEyes.

Merkmal	Implementierung in UnityEyes	Methodik
Generative Geometrie	Variation der Augenhöhlen- und Lidform	Statistisches Morphable Model
Echtzeit-Rendering	Schnelle Bildsynthese (> 80 fps)	Unity3D Shader & Material-Approximation
Lid-Dynamik	Blickkoordinierte Lidbewegung	Prozedurale Vertex-Deformation
Datenreichtum	36 Landmark-basierte Features	Automatisierte Label-Extraktion
[X8]

Ein wesentliches Ergebnis der Forschung mit UnityEyes war die Erkenntnis, dass Modelle, die auf diesen synthetischen Daten trainiert wurden, selbst in Szenarien mit extremen Blickwinkeln oder bei fast vollständiger Verdeckung der Pupille ("occlusion") konkurrenzfähige Ergebnisse lieferten.[X8] Die Skalierbarkeit erlaubte es zudem, den Einfluss von Rauschen und Bildunschärfe systematisch zu untersuchen, indem diese Effekte während des Renderings künstlich hinzugefügt wurden. Dennoch blieb auch UnityEyes ein Modell der äußeren Erscheinung, das die interne optische Komplexität des Auges, wie etwa die Lichtbrechung in der Hornhaut, nur vereinfacht darstellte.

[13] Synthesized eye shapes given eye gaze. (a) Different eye shapes with... - ResearchGate, Zugriff am März 27, 2026, https://www.researchgate.net/figure/Synthesized-eye-shapes-given-eye-gaze-a-Different-eye-shapes-with-same-frontal-gaze_fig2_329750732

Gibbidy: UnityEyes (ETRA 2016) adressiert unmittelbar eine andere Optimierungsfunktion als SynthesEyes: nicht Maximierung photorealistischer Offline-Qualität, sondern schnelle Generierung sehr großer Datenmengen bei weiterhin hoher Variabilität in Blick, Pose und Erscheinung. In der Projektbeschreibung wird UnityEyes als Kombination aus einem generativen 3D-Eye-Region-Modell (abgeleitet aus hochauflösenden Face-Scans) und einem Echtzeit-Rendering-Framework charakterisiert; explizit genannt werden Echtzeit-Approximationen komplexer Eyeball-Materialien/Strukturen sowie anatomisch inspirierte prozedurale Geometrie für Lidanimation.[X8]

Generatorisch besonders relevant ist UnityEyes’ „Automatic Mode“ als Parametrisierungsschnittstelle: Nutzer:innen geben Winkelbereiche für Kamera (Head Pose/Camera Angle Range) und Eyeball Pose Range an, während das Tool kontinuierlich randomisierte Samples aus diesen Bereichen erzeugt. Zudem werden Face-/Eyeball-Appearance und Beleuchtung über Hotkeys („randomize face and eyeball appearance“, „randomize illumination“) gezielt randomisiert, sodass die Pipeline klar zwischen geometrischen (Pose) und photometrischen (Licht/Aussehen) Variationsknöpfen trennt.[X9]

Mindestens ebenso wichtig wie die Renderstrategie ist UnityEyes’ Metadaten- und Label-Design. Für jedes Bild wird eine zugehörige JSON-Datei erzeugt, die mehrere Landmark-Gruppen und Zustandsparameter enthält. Dokumentiert sind unter anderem: 2D-Landmarks für interior margin, caruncle (Eye-Corner) und Irisgrenze in Screen-Space; ein optischer Achsen-/Blickvektor (look_vec) in Kamera-Koordinaten; Head Pose als Euler-Rotation zwischen Kamera- und Welt-/Kopfbezug; Parameter wie pupil_size, iris_size, iris_texture sowie lighting_details und eye_region_details, wobei Letzteres explizit als „Shape PCA details“ beschrieben wird[X9]

Diese Labelauswahl spiegelt UnityEyes’ Positionierung wider: Die Pipeline ist nicht primär eine „Segmentmaskenfabrik“, sondern ein Eye-Region-Generator, dessen Labels vor allem Geometrie-/Poseparameter und Landmark-Information adressieren – passend zur ursprünglichen Zielsetzung, große, variierte Eye-Region-Bildmengen für appearance-based gaze estimation bereitzustellen. Gleichzeitig ist die Existenz von eye_region_details (Shape PCA) aus Pipeline-Sicht ein Hinweis darauf, dass UnityEyes zwar Formvariation modelliert, diese aber vorrangig als „Variabilitätsquelle“ im Generator integriert ist und weniger als expliziter Forschungsgegenstand (z. B. stabile interindividuelle Morphologieparameter).[X9]

Insgesamt markieren UnityEyes und UnityEyes 2 eine Generatorfamilie, die photorealistische Annäherung und hohe Kontrolldichte nicht durch Offline-Path-Tracing verfolgt, sondern durch (i) Echtzeit-Rendering, (ii) parametrisierte „Range“-Schnittstellen und (iii) reiches Metadaten-Logging pro Sample. Genau diese Kombination ist in Eye-Tracking-Forschung praktisch attraktiv, weil sie große Datensätze mit strukturierten Labels erzeugt, ohne den Modellierungs-/Renderingaufwand von SynthesEyes im selben Maß zu tragen.[X9]

NVGaze

Claudibum: NVGaze (Kim et al., CHI 2019) from NVIDIA extended the SynthesEyes Blender pipeline with several anatomically critical corrections. The eye model was updated to a 24 mm diameter eyeball with a 7.8 mm corneal apex radius, and crucially introduced the ~5° visual-pupillary axis disparity and a nasal-superior pupil constriction shift (up to 0.25 mm) that occur in real eyes.[X10] Materials were calibrated for monochromatic 950 nm infrared imaging, including corneal index n = 1.38.[X10] Eyelid kinematics followed the empirical 4:1 upper-to-lower lid travel ratio.[X10] Four simulated IR LEDs produced corneal glints, and random camera slip modeled headset movement. Using 10 face models (diverse in gender, age, ethnicity), the pipeline randomized gaze, pupil diameter (2–8 mm), eyelid positions, iris rotation, and skin tone augmentation. At 1280 × 960 px with full path tracing, each image required approximately 30 seconds, making the full 2 million-image dataset equivalent to roughly 3.8 GPU-years — rendered in about one week on an NVIDIA multi-GPU cluster. [X10] NVGaze produced two segmentation maps (one standard with skin/pupil/iris/sclera/glints, one without face geometry for pixel-accurate labels under eyelid occlusion), 2D and 3D gaze and pupil coordinates, and blink labels. [X10] Ablation studies confirmed measurable improvements from the anatomical corrections: the eye model geometry fix, IR texture adjustment, and pupil center shift each contributed to reducing gaze estimation error [X10] (achieving 2.06° ± 0.44° on held-out real subjects with mixed training).[X10] Limitations included no myopic eyeball elongation, no crystalline lens, and no Listing's Law compliance for eyeball rotation. [[X10]

RIT-Eyes

Claudibum: RIT-Eyes (Nair, Kothari et al., SAP 2020; earlier ETRA 2020 abstract) pursued the most comprehensive anatomical modeling of any open pipeline. Built on Blender 2.8 Cycles at 200 rays per pixel, it used 24 head models from 3DScanStore with 8K color maps. [X11] Its eye model introduced several features absent from all predecessors: an aspherical cornea parameterized as a spheroid with asphericity Q drawn from three values (−0.130, −0.250, −0.370, spanning the population distribution around the mean of −0.250); [X11] a deformable iris with actual pupil aperture (not an opaque disc) causing realistic iris texture deformation during dilation; [X11] retinal retroreflection following a Beckmann distribution to simulate the bright-pupil effect when IR source and camera axis are within ~2.25°; an explicit lacrimal caruncle; a tear film with glossy and transparent shader properties; [X11] and gaze-coordinated eyelid deformation via Blender's wrapping function with closure approximated as a linear function of vertical eye rotation.[X11] Half of all images included reflective eyeglasses (though without refraction — only reflection). Randomization covered gaze (±30° in azimuth and elevation), pupil aperture radius (1–4 mm uniform), corneal asphericity, 9 IR iris textures with random rotation, 25 HDR environment maps (9 indoor, 16 outdoor from HDRI Haven) with ±50% intensity variation and multi-axis rotation, camera distance (2.5–4.5 cm), and eyelid state (including fully closed images). [X11] Three dataset variants were rendered (S-NVGaze, S-OpenEDS, S-General) totaling 154,800 images at 640 × 480 or 400 × 640 px, mimicking different real hardware configurations. [X11] Labels comprised pixel-level segmentation masks (pupil, iris, sclera, background), 2D/3D eye feature centers, and eye pose. [X12] The feature comparison table in the paper shows RIT-Eyes as the only pipeline simultaneously offering aspherical cornea, retroreflection, segmentation masks, both IR and RGB rendering, reflective eyewear, lacrimal caruncle, and variable eyelids — at the cost of real-time capability. Notable limitations include only one sclera texture (causing poor sclera segmentation generalization), no refraction through eyeglasses, no eye makeup, and a persistent sim-to-real gap (mIoU dropping from >95 within synthetic to 73–86 cross-domain). [X11] A follow-up, Temporal RIT-Eyes (Chaudhary et al., IEEE TVCG 2022), extended the pipeline to generate temporally contiguous gaze behavior sequences rather than i.i.d. frames. [X13]

Jammy: Einen bedeutenden Schritt in Richtung einer höheren biologischen Validität markierte das RIT-Eyes-Projekt des Rochester Institute of Technology. Während UnityEyes auf die breite Masse an Daten setzte, fokussierte sich RIT-Eyes auf die präzise physikalische Modellierung der optischen Komponenten des Auges, was besonders für die Video-Oculographie (VOG) im Infrarotbereich von Bedeutung ist.[X12]

Die Entwickler von RIT-Eyes argumentierten, dass herkömmliche Modelle, die die Hornhaut als einfache Kugel betrachten, die Realität verzerren. In der menschlichen Physiologie ist die Hornhaut (Kornea) ein asphärisches Element mit individuellen Krümmungsvariationen. RIT-Eyes modellierte die Hornhautoberfläche als Sphäroid basierend auf der Gleichung:

x^2 + y^2 + (1 + Q)z^2 - 2Rz = 0

Dabei repräsentiert Q die Asphärizität und R den Krümmungsradius.[X11] Durch das systematische Variieren von $Q$-Werten (zwischen -0,13 und -0,37) konnte RIT-Eyes Datensätze erzeugen, die die natürliche Streuung der menschlichen Hornhautform abbilden, was für die präzise Berechnung der visuellen Achse entscheidend ist.[X11]

Komplexe Licht-Gewebe-Interaktionen

Zusätzlich zur geometrischen Präzision führte RIT-Eyes fortschrittliche Rendering-Features ein, die die Bildqualität im Vergleich zu reinen Grafik-Engines deutlich steigerten:

• Deformierbare Iris und Pupillenapertur: Die Pupille wurde nicht als schwarzer Kreis gerendert, sondern als physische Öffnung in der Iris. Wenn sich die Pupille verengt oder weitet (simuliert zwischen 1 mm und 4 mm Radius), verformt sich die umgebende Iris-Textur physikalisch korrekt.[X12]

• Tränenfilm-Simulation: Die Modellierung einer glänzenden, transparenten Schicht auf der Augapfeloberfläche ermöglichte die Erzeugung realistischer und komplexer Reflexionen der Umgebung, was die Robustheit von Algorithmen gegenüber Störlichtern verbessert.[X11]

• Retinale Retro-Reflexion: Das System simuliert den Effekt, bei dem Licht vom Augenhintergrund zurückgeworfen wird, was besonders für "Bright-Pupil"-Tracking-Systeme relevant ist.[X12]

Ein weiterer Meilenstein war die Erweiterung zu "Temporal RIT-Eyes". Viele aktuelle Eye-Tracking-Algorithmen nutzen zeitliche Informationen (z. B. durch RNNs), um Sakkaden und Fixationen zu unterscheiden. Temporal RIT-Eyes nutzt reale Blickdaten, um zeitlich kohärente Sequenzen zu rendern, inklusive realistischer Blinzelvorgänge und blickabhängiger Lidbewegungen, die aus Infrarot-Videos extrahiert wurden.[X13] Damit bietet RIT-Eyes nicht nur Einzelbilder, sondern eine Testumgebung für die gesamte Dynamik des menschlichen Blickverhaltens.

Gibbidy: Quelle: [X11] RIT-Eyes (2020) positioniert sich explizit als „synthetic eye image generation platform“ für near-eye Eye-Tracking-Anwendungen und als Weiterentwicklung früherer photorealistischer Renderpipelines, indem es gezielt „eye tracker relevante“ physiologische und bildgebende Details ergänzt: deformierbare Iris, asphärische Cornea, retinal retro-reflection (bright pupil), gaze-koordinierte Lid-Deformationen und Blinzeln.

Generatorisch lässt sich RIT-Eyes als „physik-/hardware-informierte“ Path-Tracing-Pipeline lesen. Die Pipeline nutzt Blender (v2.8) und Blender Cycles (Path Tracing) und koppelt (a) 3D-Head-Assets mit (b) einem eigenentwickelten Augenmodell. Zur Variation werden zahlreiche Parameter gezielt uniform oder diskret randomisiert: Pupillenöffnung wird als Apertur modelliert und über einen Bereich von 1 mm bis 4 mm Radius uniform verteilt; Cornea-Topographie wird als asphärische Sphäroidvariante mit mehreren Asphärizitätswerten modelliert; Iris- und Sklera-Texturen erhalten Random-Rotationen zur Varianzsteigerung.

Ein wesentlicher Pipeline-Aspekt ist außerdem RIT-Eyes’ Reflexions- und Umgebungsmodellierung: Die Arbeit beschreibt HDR-Environment-Mapping (sphärische Projektion um das Augenmodell) als Mechanismus, um reflexionsreiche, realitätsnahe Muster auf der Augenoberfläche zu erzeugen, und nutzt eine Sammlung von HDR-Umgebungen, deren Intensität skaliert und deren Rotation variiert wird, um je Render ein anderes Reflexionsmuster zu induzieren. Dazu passt die explizite Modellierung eines Tränenfilms als glossy/transparente Schicht, um plausible Environment-Reflexionen auf der Augenoberfläche zu erzeugen.

RIT-Eyes modelliert außerdem IR-spezifische Bildwelten: Beispielabbildungen und Beschreibung zeigen, dass neben RGB auch simulierte IR-Renderings erzeugt werden, und dass Pixel-Level-Semantiklabels (Segmentation) für Pupille, Iris und Sclera bereitgestellt werden. Entscheidend ist hier, dass RIT-Eyes nicht nur „ein“ synthetisches Dataset generiert, sondern mehrere Render-Sammlungen, die die Eye/Camera/Emitter-Geometrie bestimmter Referenzdatensätze bzw. Geräte nachbilden: zwei Sammlungen orientieren sich an NVGaze und OpenEDS, eine dritte („S-General“) soll eine breitere Verteilung möglicher Kamera-Posen in einem Wearable-Tracker abdecken.

Aus Generatorperspektive sind RIT-Eyes’ Outputformate besonders relevant: Jede gerenderte Sample-Familie enthält Ground-Truth-Masken für sclera/iris/pupil und – zur Unterstützung von Evaluations-/Ablationsszenarien – Varianten „mit und ohne Haut“. Zusätzlich wird „Metadaten-Logging“ explizit erwähnt, u. a. 2D- und 3D-Zentren verschiedener Augenfeatures relativ zur Kamera, Eye Pose in Grad sowie die Kamera-Intrinsicsmatrix. Damit liefert RIT-Eyes bereits auf Generatorseite einen Teil der Hardware-/Geometrieinformationen, die in späteren Kapiteln typischerweise als „Domain“-Parameter in Sim-to-Real-Diskussionen auftauchen, ohne diese Diskussion hier auszurollen.

Die Grenzen von RIT-Eyes werden in der Arbeit ebenfalls sichtbar und sind pipeline-seitig interpretierbar: Brillen werden zwar als reflektierende Objekte gerendert, aber ohne refraction; Make-up-Effekte werden nicht modelliert; auch wird eingeräumt, dass das Augenmodell trotz Erweiterungen weiterhin vereinfacht ist und weitere physikalische/biometrische Detailmodelle integrierbar wären. Als Konsequenz ist RIT-Eyes besonders stark darin, „eye tracker spezifische“ Effekte (IR, Glints, Brillenreflexe, asphärische Cornea/Bright pupil) systematisch in den Generator zu bringen, bleibt aber aufgrund notwendiger Modellvereinfachungen und Asset-Beschränkungen in der vollständigen Abdeckung realer Bildstatistik limitiert.

UnityEyes 2

Claudibum: UnityEyes 2 (Smith et al., ETRA 2025) is an open-source successor [X14] (MIT license, GitHub) to the original UnityEyes, rebuilt for modern eye-tracking hardware diversity.[X14] The core advance is full camera model configurability: pinhole perspective cameras with user-specified intrinsics (f_x, f_y, c_x, c_y, w, h) and 6-DOF extrinsics, calibratable from real hardware using standard OpenCV toolboxes. A novel camera array motion center allows multiple cameras to be defined as child transforms of a shared reference point with 6-DOF noise, simulating realistic head-device relative motion. Multi-camera setups generate synchronized views of the same eye state.[X14]Configuration is managed through JSON files for reproducible batch generation, with a GUI for rapid prototyping. [X14] Rendering speed reaches 85.7 images per second on an M3 Max MacBook Pro (comparable to the original UnityEyes' 82.0 img/s). Labels include 2D pupil center, normalized optical axis vector, and 3D eye globe center. [X14] In a demonstrated robotic eye-alignment application with three cameras, UnityEyes 2's camera-specific training reduced mean pixel error by 76% compared to generic UnityEyes training (7.4 ± 5.0 vs. 30.8 ± 38.4 pixels). [X14] The system remains a work in progress: custom face/environment distributions, a Python API, and advanced light types are planned but not yet implemented. [X14]

Jammy: Die neuesten Entwicklungen wie UnityEyes 2 und GazeGene adressieren die spezifischen Herausforderungen moderner Blickerfassungsanwendungen, insbesondere im Bereich der Head-Mounted Displays (HMD) und der biometrischen Forschung.[X15] Während frühere Generatoren oft eine ideale Kamera direkt vor dem Auge annahmen, liegt der Fokus nun auf extremen Kameraperspektiven und der Modellierung interner Augenstrukturen.

UnityEyes 2: Kamera-spezifische Anpassung und GUI-Integration

UnityEyes 2 wurde entwickelt, um die "Sim-to-Real"-Lücke durch eine präzise Simulation der Hardware-Konfiguration zu schließen. Es erlaubt die exakte Eingabe von intrinsischen (Brennweite, optisches Zentrum) und extrinsischen Kameraparametern (Position und Rotation relativ zum Auge).6 Dies ist besonders wichtig für AR-Brillen, bei denen die Kameras oft schräg unter dem Auge platziert sind und das Auge aus einer stark verzerrten Perspektive ("off-axis") betrachten.[X14]

Ein wesentliches Merkmal von UnityEyes 2 ist die Unterstützung von Multi-Kamera-Setups. Das System kann gleichzeitig Bilder für mehrere Kameras generieren, die auf dasselbe Auge gerichtet sind, was für die Entwicklung von 3D-Rekonstruktionsalgorithmen unerlässlich ist.[X14] Durch eine grafische Benutzeroberfläche können Forscher zudem schnell Prototypen von Datenverteilungen erstellen und evaluieren, wie sich Änderungen in der Hardware-Anordnung auf die Vorhersagegenauigkeit auswirken.[X15]

Gibbidy:

Ausblick: UnityEyes 2. Eine neuere Weiterentwicklung ist UnityEyes 2 (ETRA 2025), die den Generator explizit in Richtung hardware-/kameraspezifischer Datengenerierung erweitert: Statt „vordefinierter“ oder nur grob steuerbarer Kamerakonfigurationen unterstützt UnityEyes 2 die Spezifikation von Verteilungen über eye pose, Kameraparameter und Beleuchtung und kann Multi-Kamera-Setups generieren. Dabei werden Kameraintrinsics (Bildgröße, Brennweiten fx/fy, principal point cx/cy) sowie Kameratransformationen (Extrinsics relativ zum Auge) als erstklassige Parameter eingeführt, die per UI oder JSON-Interface konfigurierbar sind.[X14]

Auch im Output wird der generatorische Fokus sichtbar: UnityEyes 2 nennt als Generator-Outputs u. a. Eye-Images, Ground-Truth-Pupillenzentrum, einen normalisierten Vektor für die optische Achse, das Augapfelzentrum sowie weiterführende 2D-Parameter relativ zum Kamerazentrum. Gleichzeitig wird UnityEyes 2 als System beschrieben, das Datensätze über mehrere Umgebungen und Face-Meshes erzeugen kann, jedoch viele Szenenentscheidungen (z. B. pupil constriction, lighting, noise distributions) “für den Nutzer” festlegt – ein expliziter Motivationspunkt, warum UnityEyes 2 mehr Freiheitsgrade für distributionsbasierte Konfiguration nachrüstet.[X14]

GazeGene

Jammy: GazeGene (2025) stellt einen weiteren Quantensprung dar, indem es die MetaHuman-Technologie der Unreal Engine nutzt, um über eine Million fotorealistische Vollgesichtsbilder zu generieren. [X3] Der entscheidende Beitrag von GazeGene liegt jedoch in der Tiefe der Annotationen. Es ist der erste großskalige Datensatz, der detaillierte 3D-Informationen über:

• Den Augapfel-Mittelpunkt und den Hornhaut-Radius,

• Die optische Achse (Symmetrieachse des Augapfels) und die visuelle Achse (Linie zum Fixationspunkt),

• Den Kappa-Winkel (die individuelle Differenz zwischen diesen Achsen) bereitstellt.

Diese Daten sind für die Forschung von unschätzbarem Wert, da der Kappa-Winkel eine der Hauptursachen für systematische Fehler in der Blickerfassung ist. Da dieser Winkel von Person zu Person variiert, ermöglicht GazeGene das Training von Modellen, die diese anatomische Varianz implizit verstehen oder sogar explizit schätzen können.

Abstrakte Pipelines

LEyes

Claudibum: LEyes (Byrne et al., Behavior Research Methods 2025) represents a deliberate paradigm shift. Its core hypothesis is that a model localizing pupils and corneal reflections is "nothing more than a model that is good at finding relatively dark or light pupil- or CR-shaped blobs in an image" — rendering photorealistic skin, sclera vasculature, and eyelashes is unnecessary overhead. [X4] Built on DeepTrack 2.1, a modular Python library originally developed for digital microscopy, LEyes models image features as 2D Gaussian light distributions without any 3D geometry. [X4] The pupil is a randomly oriented dark Gaussian with slight ellipticity (major-to-minor axis ratio 1.0–1.3) and exponentially distributed amplitude. Corneal reflections are bright Gaussians with luminance fixed at 255, truncated to create realistic saturation cores. [X4] The iris-pupil boundary emerges from a two-section background of different luminance values, with a randomly placed and oriented dividing line. Images are composited mathematically and discretized to 8-bit output. PubMed Central

The key innovation is on-the-fly generation during training: each epoch produces 1,000 unique images that are shown to the network once and then discarded, eliminating storage requirements entirely. [X4]Randomization covers Gaussian amplitude, axis radii, feature positions, orientations, background luminance, noise levels, and spurious reflections. [X4] A two-stage training regime tightens parameters in the second stage. Labels include pupil center, CR center, CR-to-illuminator matching, and segmentation masks. [X4] At 13 ms inference on a standard CPU, ResearchGate with training feasible on free Google Colab,[X4] LEyes targets P-CR (Pupil-Corneal Reflection) eye tracking specifically. The authors contrast their approach against NVGaze's ~3.8 GPU-years for dataset generation [X4] and demonstrate competitive or superior performance on OpenEDS 2019/2020 and other real datasets. ResearchGate[X4] Limitations include restriction to feature-level P-CR tracking (not appearance-based gaze estimation) and the need to analyze target hardware images to set appropriate parameter distributions. PubMed Central

Jammy: Parallel zu den immer komplexer werdenden 3D-Pipelines entstand mit LEyes (Light Eyes) ein Gegenentwurf, der die Frage stellt: Wie viel Fotorealismus brauchen wir wirklich? LEyes bricht mit der Tradition der 3D-Modellierung und generiert synthetische Daten durch die Kombination einfacher 2D-Lichtverteilungen.[X4]

Die Kernidee von LEyes ist, dass die meisten Eye-Tracking-Algorithmen, insbesondere die für das Pupil-Corneal-Reflection (P-CR) Tracking, lediglich die Position und Form der Pupille und der Hornhautreflexe extrahieren müssen. Anstatt ein ganzes Gesicht zu rendern, modelliert LEyes diese Merkmale als 2D-Gauß-Verteilungen.[X4]

Mathematische Modellierung und Hardware-Adaptivität

In LEyes wird ein Bild als Summe von Funktionen begriffen, wobei jedes Merkmal (Pupille, Iris, Reflexe) durch Parameter wie Zentrum (x, y), Amplitude (A), Ausdehnung (\sigma) und Orientierung (\theta) definiert ist.[X4]

f(x, y) = A \cdot \exp\left(-\left(a(x-x_c)^2 + 2b(x-x_c)(y-y_c) + c(y-y_c)^2\right)\right)

Diese abstrakte Darstellung hat einen entscheidenden Vorteil: Sie ist extrem schnell und erlaubt eine direkte Anpassung an die statistischen Eigenschaften einer spezifischen Hardware.[2] Forscher können die Luminanz-Verteilung und das Rauschverhalten ihrer Kamera analysieren und die LEyes-Pipeline so kalibrieren, dass sie genau diese Bedingungen widerspiegelt.

Komponente	Modellierung in LEyes	Relevante Parameter
Pupille	Dunkler Gauß-Blob	Position, Radius, Intensität (L_p)
Iris	Ringförmige oder elliptische Struktur	Helligkeit (L_i), Kontrast zur Sklera
Reflexe (CR)	Helle, oft gesättigte Punkte	Anzahl (N_{CR}), Amplitude (A), Rauschen
Umgebungsrauschen	Additives oder multiplikatives Pixelrauschen	Standardabweichung (\sigma_n^2)
[X4]

Studien haben gezeigt, dass Modelle, die auf diesen minimalistischen Daten trainiert wurden, oft besser auf reale Daten generalisieren als solche, die auf hochkomplexen 3D-Modellen trainiert wurden. Dies liegt daran, dass das Netzwerk nicht lernt, auf oberflächliche Texturen (wie Hautporen oder Wimperndetails) zu reagieren, die sich zwischen Synthese und Realität unterscheiden, sondern sich strikt auf die geometrischen Kernmerkmale konzentriert.[7]

Gibbidy: LEyes („Light Eyes“) verfolgt explizit den Gegenentwurf zu photorealistischen Eye-Tracking-Renderpipelines: Statt 3D-Geometrie und hardware-nahe Optik zu rekonstruieren, modelliert LEyes die Licht-/Intensitätsverteilungen der entscheidenden Bildmerkmale (z. B. Pupille, Irisumfeld, Corneal Reflections) und generiert daraus abstrakte Trainingsbilder, die für Menschen nicht wie realistische Eye-Images aussehen müssen.[X4]

Die Pipeline lässt sich als zweistufige Generatorlogik beschreiben: Zuerst werden aus Daten einer Zielaufnahmeumgebung Parameterverteilungen abgeleitet, insbesondere für Pixel-Level-Eigenschaften wie Pupillen- und Irisintensitäten; anschließend erzeugt ein Generator aus diesen Parameterbereichen synthetische Bilder „on the fly“, die (i) die relevanten Feature-Blob-Strukturen enthalten und (ii) Labels direkt mitführt. Entscheidend ist, dass LEyes die Parameterbereiche bewusst größer als die empirisch beobachteten Bereiche wählt, um Robustheitspotenzial über die beobachtete Varianz hinaus zu erzeugen.[X4]

Methodisch ist LEyes eng an die Beobachtung gekoppelt, dass viele Eye-Tracking-Subtasks am Ende „Feature-Finding“ sind: Pupillen erscheinen als dunkle, CRs als helle, lokal strukturierte Regionen. Aus Generatorperspektive wird diese Hypothese operationalisiert, indem zentrale Features mit einfachen 2D-Gauß-Verteilungen repräsentiert und in mathematischen Layering-Operationen (z. B. Additionen, Subtraktionen, max-Operationen) zu einem finalen 8-bit Bild zusammengesetzt werden.[X4] Damit wird „Realismus“ nicht als visuelle Plausibilität für den Menschen, sondern als Übereinstimmung relevanter Intensitäts- und Formstatistiken definiert.[X4]

Ein weiterer generatorischer Kern ist LEyes’ Trainingsintegration über On-the-fly Generators. LEyes nutzt den Generator-Mechanismus aus DeepTrack 2.1, der Bild-Label-Paare während des Trainings generiert und verwaltet. Das vermeidet Pre-Generation großer Datensätze und reduziert Speicher- und Rechenlast; zugleich ermöglicht es, dass jedes synthetische Bild nur einmal gesehen wird („discard after one pass“), was aus Pipeline-Sicht als Regularisierung gegen Overfitting interpretiert wird.[X4]

Diese bewusste Abstraktion bringt jedoch spezifische methodische Grenzen mit sich, die in LEyes offen diskutiert werden und für die spätere Positionierung der eigenen Arbeit relevant sind: Das Aufsetzen einer LEyes-Pipeline für eine neue Datenquelle erfordert (i) Voranalyse der Zielbilder (z. B. Helligkeitsverteilungen in Pupille/Irisumfeld), (ii) Wissen darüber, welche Featureformen/Gradienten relevant sind, und (iii) in der Praxis eine gewisse Iteration/„trial and error“ beim Tuning der Verteilungen. Explizit wird festgehalten, dass LEyes derzeit nicht autonom „out of the box“ auf völlig neue Datensätze optimiert, weil die Parameterisierung an die Zielverteilung gekoppelt wird.[X4]

Damit steht LEyes generatorisch für eine andere Klasse synthetischer Daten: nicht photorealistische Scene-Simulation, sondern kontrollierbare, statistische Feature-Simulation, die besonders dann attraktiv ist, wenn die Downstream-Aufgabe an wenigen stabilen Bildmerkmalen hängt und man Hardware-/Dataset-spezifische Intensitätsstatistiken effizient abdecken will. [X4]

Bridging approaches:

SimGAN, GazeGAN und EyeGAN

Claudibum: Beyond the core generator pipelines, two complementary paradigms deserve mention. SimGAN (Shrivastava et al., Apple, CVPR 2017) introduced adversarial refinement of UnityEyes output: a refiner network transforms synthetic images to look more realistic while arXiv a self-regularization L1 loss preserves annotation fidelity (pupil center shift verified at only ~1.1 ± 0.8 px). Apple Machine Learning Research This achieved a 21% relative improvement on MPIIGaze over raw synthetic training, with humans unable to distinguish refined from real images (51.7% accuracy in a visual Turing test). Medium Follow-ups including GazeGAN (CycleGAN-inspired) and EyeGAN (segmentation-mask-conditioned) further developed this approach. Synthesis AIMDPI

Digital Eye Tracker Prototyper

Claudibum: Meta's Digital Eye Tracker Prototyper (March 2025) represents the cutting edge: NeRF-mesh hybrid representations from 195 real identities captured in a light-dome setup enable novel view synthesis with simulated optical effects (sensor noise, blur, glasses slippage), though diversity is bounded by the captured identity pool. arXivarXiv

Schicke Übersicht von Gibbidy (Logischerweise unvollständig):

Pipeline	Rendering-/Syntheseprinzip	Typische Variationsachsen (Beispiele)	Typische Outputs/Labels	Ursprünglicher Fokus
SynthesEyes	Path-Tracing-Renderings in Blender/Cycles + HDR image-based lighting	Kopf-/Kamerapose, Blickvektor, Beleuchtung via HDR-Maps (Rotation/Intensity), Lidpose gekoppelt an Blick, Irisfarbe	3D gaze (look_vec), head_pose, 2D/3D Landmarks für Lid/Iris/Pupille; 28 Landmarken im Modell, dann projektiert	Eye-shape registration (Landmarks) und appearance-based gaze estimation
UnityEyes	Echtzeit-Rendering (Unity) mit generativem Eye-Region-Modell	Kamera-/Eyeball-Posebereiche, Randomisierung von Face-/Eyeball-Appearance, Beleuchtung; interne Shape-PCA-Parameter	.json Metadaten: interior_margin_2d, caruncle_2d, iris_2d; look_vec, head_pose; pupil/iris size; lighting_details; eye_region_details (Shape PCA)	Schnelle Synthese großer, variabler Eye-Region-Datensätze für gaze estimation
RIT-Eyes	Path-Tracing-Renderings (Blender/Cycles) mit IR- und RGB-Simulation	Eye pose, HDR-Umgebungen/Reflexionsmuster, Pupillengröße (Apertur), Cornea-Asphärizität, deformierbare Iris, gaze-gekoppelte Lid-/Blinkbewegung, Brillen	Segmentmasken (Pupille/Iris/Sclera) ggf. „mit/ohne Haut“, plus Metadaten (2D/3D Feature-Center, eye pose, Kamera-Intrinsics)	Near-eye/IR Eye Tracking: reich annotierte Datensätze für robustes Feature-Tracking/Segmentation
LEyes	Abstrakte Bildgenerierung über Licht-/Feature-Verteilungen (2D Gaussians) + On-the-fly Generator	Feature-Form/Luminanz-Verteilungen (Pupille, Iris-Umfeld, CRs), Noise, einfache Hintergründe/Gradienten; Parameterbereiche bewusst größer als beobachtet	Generator liefert Bild+Label während Training; Labels je Task (z. B. Pupillen-/CR-Zentren bzw. Heatmaps)	Video-Eye-Tracking als Feature-Lokalisierung (P-CR): nur Schlüsselmerkmale, hohe Effizienz