44 lines
8.2 KiB
Markdown
44 lines
8.2 KiB
Markdown
# 3.2 Synthetische Daten in der Segmentierungsforschung
|
||
|
||
Die in Abschnitt 3.1 vorgestellten Generierungspipelines wurden für eine Reihe unterschiedlicher nachgelagerter Lernaufgaben entwickelt. In der *Gaze Estimation* dienten synthetische Bilder als alleinige Trainingsbasis [1][2] oder als Vortraining für domänenadaptive Verfahren wie SimGAN [3], die den Blickschätzfehler auf MPIIGaze ohne reale gelabelte Daten erheblich reduzierten. Für die *Landmarken-Lokalisierung* zeigten Wood et al. [1], dass ein ausschließlich auf SynthesEyes trainierter Landmarkendetektor bei der Augenkonturregistrierung die gleiche Genauigkeit erreichte wie ein auf realen Annotationen trainiertes Modell -- ein frühes Indiz dafür, dass kostenfrei erzeugte synthetische Labels reale Handannotation ersetzen können. Park et al. [4] bestätigten dies mit einem auf UnityEyes trainierten Stacked-Hourglass-Netzwerk, das auf vier realen Benchmarks den damaligen Stand der Technik übertraf. Für die vorliegende Arbeit ist jedoch die dritte Aufgabenfamilie zentral: die **semantische Segmentierung der Augenregion**, insbesondere die Pupillensegmentierung. Die Leitfrage dieses Abschnitts lautet daher: Wie wurden synthetische Daten konkret in der Segmentierungsforschung eingesetzt, und welche Rolle spielte die Zusammensetzung der Trainingsdaten für die erzielten Ergebnisse?
|
||
|
||
## OpenEDS und RITnet
|
||
|
||
Den definierenden Benchmark für die semantische Augensegmentierung setzte der *Open Eye Dataset* (OpenEDS) [5], veröffentlicht von Facebook Reality Labs. Der Datensatz umfasst 12.759 Infrarotbilder (400 x 640 Pixel) von 152 Probanden, die in einem VR-Headset bei 200 Hz aufgenommen und manuell in vier Klassen annotiert wurden: Pupille, Iris, Sklera und Hintergrund. OpenEDS ist ein rein realer Datensatz -- die pixelgenauen Segmentierungsmasken wurden durch mehrstufige Handannotation mit Ellipsenanpassung und Schlüsselpunktplatzierung erzeugt. Der begleitende Wettbewerb auf der ICCV 2019 bewertete Modelle nach einer kombinierten Genauigkeits-Effizienz-Metrik, die kompakte Architekturen begünstigte.
|
||
|
||
RITnet [6] gewann diesen Wettbewerb mit einer mIoU von 95,3 % bei nur 248.900 Parametern. Aus datenbezogener Sicht ist entscheidend, dass RITnet **ausschließlich auf realen OpenEDS-Annotationen** trainiert wurde (8.916 Trainingsbilder). Die Verbindung zu synthetischen Daten ist indirekt, aber aufschlussreich: Dieselbe Forschungsgruppe am Rochester Institute of Technology entwickelte anschließend die RIT-Eyes-Pipeline [7], die mit automatisch erzeugten, pixelperfekten Segmentierungsmasken genau jenen Annotationsengpass adressiert, den OpenEDS offengelegt hatte. Als RITnet auf dem synthetischen S-OpenEDS-Datensatz (51.600 Bilder aus RIT-Eyes) trainiert und auf realen OpenEDS-Daten getestet wurde, fiel die mIoU auf 73,9 % -- ein Rückgang um rund 21 Prozentpunkte gegenüber dem rein real trainierten Modell. Dabei zeigte sich, dass die Pupillensegmentierung am besten generalisierte (bis zu 93,7 % mIoU domänenübergreifend), während die Sklerasegmentierung besonders stark unter dem Domain Gap litt (bis auf 34,4 % mIoU). Darüber hinaus zeigte sich, dass die pixelgenauen Grenzdefinitionen synthetischer Segmentierungsmasken als strukturelles Vorwissen in das Training einfließen können – ein Vorteil gegenüber manuellen Annotationen, deren Kantengenauigkeit insbesondere bei kleinen Strukturen wie der Pupillengrenze begrenzt ist [6]. Diese Ergebnisse verdeutlichen zweierlei: Synthetische Daten liefern strukturell korrekte Segmentierungslabels, die in einer Qualität verfügbar sind, die manuelle Annotation nur schwer erreichen kann. Gleichzeitig bleibt eine erhebliche Domänenlücke bestehen, wenn synthetische Bilder ohne Anpassung als alleinige Trainingsgrundlage dienen.
|
||
|
||
## EllSeg und domänenübergreifende Generalisierung
|
||
|
||
Einen konzeptionell anderen Zugang wählte EllSeg [8], das die Segmentierungsaufgabe als *Ellipsenvervollständigung* reformuliert: Statt nur sichtbare Pixel zu klassifizieren, lernt das Netzwerk, vollständige elliptische Regionen für Pupille und Iris vorherzusagen, als wären die Augenlider transparent. Die Verwendung synthetischer Datensätze wie NVGaze [9] und RIT-Eyes [7] war hierfür essenziell, da nur synthetische Generatoren fehlerfreie 2D- und 3D-Labels für geometrische Strukturen liefern können, die physisch verdeckt und somit für menschliche Annotatoren unsichtbar sind. EllSeg wurde auf drei Datensätzen evaluiert: OpenEDS (real), NVGaze (synthetisch, 2 Mio. Bilder mit automatischen Segmentierungsmasken) und RIT-Eyes (synthetisch). Die Ellipsenrepräsentation steigerte die Pupillenzentrum-Detektionsrate um mindestens 10 % und die Iriszentrum-Detektionsrate um 24 % gegenüber der Standard-Pixelsegmentierung -- konsistent über alle drei Datensätze und alle getesteten Architekturen hinweg.
|
||
|
||
Die Nachfolgearbeit EllSeg-Gen [10] adressierte explizit die Frage der Domänengeneralisierung, indem sie Modelle **gleichzeitig auf mehreren Datensätzen** trainierte -- RIT-Eyes, NVGaze und OpenEDS gemeinsam. Die zentrale Erkenntnis war, dass Datensätze mit größerer Erscheinungsbildvariabilität am meisten vom gemischten Training profitierten. Dieses Ergebnis unterstreicht, dass nicht allein die Menge synthetischer Daten entscheidend ist, sondern deren **Diversität** -- ein Befund, der für die vorliegende Arbeit unmittelbar relevant ist.
|
||
|
||
## Zwischenfazit
|
||
|
||
Zusammenfassend zeigt sich, dass synthetische Daten sich als wertvolles Instrument für die Segmentierungsforschung etabliert haben -- als Quelle kostenfrei verfügbarer, pixelgenauer Labels, als Trainingsgrundlage für geometrische Abstraktion jenseits der sichtbaren Erscheinung und als Evaluationsgrundlage für die Robustheitsprüfung über Datensatzgrenzen hinweg. Die Variation in den synthetischen Trainingsdaten beschränkt sich dabei jedoch auf die in Abschnitt 3.1 beschriebenen Randomisierungsachsen: Blickrichtung, Kopfpose, Pupillengröße, Beleuchtung und -- im begrenzten Umfang der diskreten Kopfmodelle -- Identität. **Morphologische Formvariation der Periorbitalregion** als gezielter Trainingsfaktor für Segmentierungsmodelle wurde bisher nicht systematisch untersucht. Die Frage, ob und warum eine breitere Formvariation die Generalisierungsfähigkeit von Pupillensegmentierungsmodellen verbessern könnte, führt zu den im folgenden Abschnitt diskutierten Konzepten des Sim-to-Real-Transfers und der Domain Randomization.
|
||
|
||
---
|
||
|
||
## Quellenverzeichnis
|
||
|
||
[1] Wood, E., Baltrusaitis, T., Zhang, X., Sugano, Y., Robinson, P., & Bulling, A. (2015). *Rendering of Eyes for Eye-Shape Registration and Gaze Estimation*. ICCV 2015.
|
||
|
||
[2] Wood, E., Baltrusaitis, T., Morency, L.-P., Robinson, P., & Bulling, A. (2016). *Learning an Appearance-Based Gaze Estimator from One Million Synthesised Images*. ETRA 2016.
|
||
|
||
[3] Shrivastava, A., Pfister, T., Tuzel, O., Susskind, J., Wang, W., & Webb, R. (2017). *Learning from Simulated and Unsupervised Images through Adversarial Training*. CVPR 2017.
|
||
|
||
[4] Park, S., Zhang, X., Bulling, A., & Hilliges, O. (2018). *Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings*. ETRA 2018.
|
||
|
||
[5] Garbin, S. J., Shen, Y., Schuber, I., Kasber, R., Engelmann, A., Peros, S., Chuang, H. Y., Woodard, S., Olszewski, K., Sun, K., Nair, S., Shlizerman, E., & Hilliges, O. (2019). *OpenEDS: Open Eye Dataset*. arXiv:1905.03702.
|
||
|
||
[6] Chaudhary, A. K., Kothari, R., Acharya, M., Cassady, S., Pellacini, F., Bailey, R., Armitage, E., & Demiris, C. (2019). *RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking*. ICCVW 2019 (OpenEDS Challenge, 1. Platz).
|
||
|
||
[7] Nair, N., Kothari, R., Chaudhary, A. K., Yang, Z., Diaz, G., Pelz, J. B., & Bailey, R. (2020). *RIT-Eyes: Rendering of Near-Eye Images for Eye-Tracking Applications*. ACM SAP 2020.
|
||
|
||
[8] Kothari, R., Chaudhary, A. K., Bailey, R., Pelz, J. B., & Diaz, G. (2021). *EllSeg: An Ellipse Segmentation Framework for Robust Gaze Tracking*. IEEE TVCG, 27(5).
|
||
|
||
[9] Kim, J., Stengel, M., Majercik, A., De Mello, S., Dunn, D., Laine, S., McGuire, M., & Luebke, D. (2019). *NVGaze: An Anatomically-Informed Dataset for Low-Latency, Near-Eye Gaze Estimation*. CHI 2019.
|
||
|
||
[10] Kothari, R., Bailey, R., Pelz, J. B., & Diaz, G. (2022). *EllSeg-Gen, towards Domain Generalization for Head-Mounted Eyetracking*. Proc. ACM Hum.-Comput. Interact. (ETRA 2022).
|