2.7 KiB
aIst ein direktes Konkurrenz-Paper zu unserem.
Sie generieren mit Blender synthetische Augenbilder (und Segmentierungsmasken) für das Training von Eye-Trackern. (Cycles renderer)
Sie haben 24 3D-Modelle von Gesichtern gekauft (mit jeweils 8k Texturen): - 9 Männer + 9 Frauen für Diversität im Trainingsset - 3 Männer + 3 Frauen für Testset
Interessante Info: zum approximieren von Haut im Infraro-Bereich verwendne sie nur den Rot-Kanal der Diffuse-Textur.
Für Wimpern verwenden sie Blenders Haar-Partikel
Modellierung des Auges
Für die Modellierung des Auges haben sie einige interessante Dinge implementiert:
- Augen-Modell mit Hornhaut: Sie haben ein 3D-Augapfel modelliert mit korrekter Form der Auswölbung der Hornhaut. Die Hornhaut hat einen physikalisch korrekten Lichtbrechungsfaktor
- Tränen Film: Sie haben einen transparente und spiegelnde Schicht um den Tränenfilm zu simulieren
- Augenlider: Augenlider werden mit Hilfe von Blenders Wrapping-Funktion an das Auge angeschmiegt.
Das Augenlid wird linear anhand der vertikalen Blickrichtung weiter geöffnet und geschlossen. Beispiele: !Video_Augenlider_und_vertikale_Blickrichtung.mp4 !Video_Augenlider_und_vertikale_Blickrichtung_2.mp4 Tatsächlich folgt das Augenlid im Normalfall ungefähr der vertikalen Blickrichtung!
- Öffnung der Pupille: Die Pupille kann geweitet und verengt werden
- Tränendrüse: Sie haben eine Tränendrüse modelliert, diese wird als Teil der Haut segmentiert, nicht des Auges
- Helle Pupille: Es wird anhand der Beckmann-Verteilung modelliert, dass die Pupille hell anstatt schwarz ist, wenn der Einfallwinkel des Lichts innerhalb etwa 2,25° von der optischen Achse steht.
- Environment Maps: Für die Simulation von Umgebungsreflektionen gibt es 25 EnvMaps. 16 indoor, 9 outdoor. Helligkeit wurde variiert. Bilder wurde entlang allen Achsen gedreht um in jedem Bild einzigartige Reflektionsmuster zu haben.
- Brillenmodell: Mehr gibt es hierzu nicht zu sagen
- Iris und Aderhaut texturen: 9 verschiedene Infrarotbilder von Iriden verwendet. Diese wurden für jedes Bild zufällig rotiert
Sie haben drei Datensätze generiert. Zwei immitieren die Daten in den NVGaze bzw. OpenEDS Datensätzen. Der Dritte immitiert die viele mögliche Bilder des Pupil Laps Core mobile eye tracker. Die hälfte der Bilder ist mit Brille
Testen
Sie haben mit RIT-Nets und SegNets getestet, ob die Datensätze generalisierbare Modelle trainieren können.
Beide Netze wurden je mit den synthethischen NVGaze und OpenESD Daten trainiert sowie einer Kombination beider. Getestet wurden sie mit dem dritten sythetischen Datensatz sowie Bildern von NVGaze und OpenESD.
Natürlich wurde Image Argumentation verwendet.