vault backup: 2025-12-07 22:22:01

Paperung/Related Works/RIT-Eyes.md

@@ -0,0 +1,43 @@
+aIst ein direktes Konkurrenz-Paper zu unserem.
+
+Sie generieren mit Blender synthetische Augenbilder (und Segmentierungsmasken) für das Training von Eye-Trackern. (Cycles renderer)
+
+Sie haben 24 3D-Modelle von Gesichtern gekauft (mit jeweils 8k Texturen):
+\- 9 Männer + 9 Frauen für Diversität im Trainingsset
+\- 3 Männer + 3 Frauen für Testset
+
+__Interessante Info__: zum approximieren von Haut im Infraro-Bereich verwendne sie nur den Rot-Kanal der Diffuse-Textur.
+
+Für Wimpern verwenden sie Blenders Haar-Partikel
+
+## Modellierung des Auges
+
+Für die Modellierung des Auges haben sie einige interessante Dinge implementiert:
+
+1. __Augen-Modell mit Hornhaut:__ Sie haben ein 3D-Augapfel modelliert mit korrekter Form der Auswölbung der Hornhaut. Die Hornhaut hat einen physikalisch korrekten Lichtbrechungsfaktor
+2. __Tränen Film:__ Sie haben einen transparente und spiegelnde Schicht um den Tränenfilm zu simulieren
+3. __Augenlider:__
+   Augenlider werden mit Hilfe von Blenders Wrapping-Funktion an das Auge angeschmiegt.
+
+Das Augenlid wird linear anhand der vertikalen Blickrichtung weiter geöffnet und geschlossen.
+Beispiele:
+![[Video_Augenlider_und_vertikale_Blickrichtung.mp4]]
+![[Video_Augenlider_und_vertikale_Blickrichtung_2.mp4]]
+Tatsächlich folgt das Augenlid im Normalfall ungefähr der vertikalen Blickrichtung!
+
+1. __Öffnung der Pupille:__ Die Pupille kann geweitet und verengt werden
+2. __Tränendrüse:__ Sie haben eine Tränendrüse modelliert, diese wird als Teil der Haut segmentiert, nicht des Auges
+3. __Helle Pupille:__ Es wird anhand der *Beckmann-Verteilung* modelliert, dass die Pupille hell anstatt schwarz ist, wenn der Einfallwinkel des Lichts innerhalb etwa 2,25° von der optischen Achse steht.
+4. __Environment Maps:__ Für die Simulation von Umgebungsreflektionen gibt es 25 EnvMaps. 16 indoor, 9 outdoor. Helligkeit wurde variiert. Bilder wurde entlang allen Achsen gedreht um in jedem Bild einzigartige Reflektionsmuster zu haben.
+5. __Brillenmodell:__ Mehr gibt es hierzu nicht zu sagen
+6. __Iris und Aderhaut texturen:__ 9 verschiedene Infrarotbilder von Iriden verwendet. Diese wurden für jedes Bild zufällig rotiert
+
+Sie haben drei Datensätze generiert. Zwei immitieren die Daten in den NVGaze bzw. OpenEDS Datensätzen. Der Dritte immitiert die viele mögliche Bilder des Pupil Laps Core mobile eye tracker. Die hälfte der Bilder ist mit Brille
+
+## Testen
+
+Sie haben mit RIT-Nets und SegNets getestet, ob die Datensätze generalisierbare Modelle trainieren können.
+
+Beide Netze wurden je mit den *synthethischen* NVGaze und OpenESD Daten trainiert sowie einer Kombination beider. Getestet wurden sie mit dem dritten sythetischen Datensatz sowie Bildern von NVGaze und OpenESD.
+
+Natürlich wurde Image Argumentation verwendet.

Paperung/Related Works/UnityEyes 2.md

@@ -0,0 +1,28 @@
+Basiert auf Unity Eyes (duh).
+
+- Unterstützt Konfiguration der Wahrscheinlichkeitsverteilung von Eye Pse, Came intrinsic and extrinsic parameters, multi-camera setups, unterschiedliche Beleuchtungsbedingungen
+- GUI für scnelles Prototyping der Data Distributions
+- Zeigt: training mit Kamera-spezifischen Datensätzen ermöglicht besseren Transfer zur echten Welt
+- TODO: UnitityEyes 1 kann wohl nur 18 Environments, 20 Gesichter sowie  yaw und pitch von camera und Auge kontrollieren 
+
+
+- Camera Intrinsics:
+	- Image width, Height
+	- Focal length (x und y)
+	- image center (c und y)
+	- Einheit: alles in pixel
+	- Die Parameter können anhand von standard-Toolboxen kalibriert werden (https://ieeexplore.ieee.org/document/888718)
+
+- Generated output:
+	- Random generated images (basierend auf User-Settings)
+	- Ground-truth locations von:
+		- Pupil center
+		- normalized vector representing optical axis
+		- center of globe of the eye
+		- Alle 2D-Parameter, die UnityEyes ausgespuckt hat
+- Generiert auf einem M3 Max 85,7 Bilder pro Sekunde
+
+Sie nutzen EfficientNetV2 (https://arxiv.org/abs/2104.00298) für Pupil center und gaze vector estimation.
+Trainiert mit 10000 Samples von UnityEyes (1) und UnityEyes 2
+
+UnityEyes 2 ist deutlich besser als UnityEyes 1