Gottfried/Masterarbeit-Obsidian-Vault
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Grundlegenden Aufbau der Arbeit geplant

Browse Source
This commit is contained in:
Simon Lübeß
2026-03-08 23:01:31 +01:00
parent 3d57d3d12e
commit f1ce0b9f55
3 changed files with 124 additions and 44 deletions
Download Patch File Download Diff File Expand all files Collapse all files

34
.obsidian/workspace.json vendored
View File

@@ -13,28 +13,26 @@
"state": { "state": {
"type": "markdown", "type": "markdown",
"state": { "state": {
"file": "Paperung/Experimente/Experiment 2 - NN performance.md", "file": "Prewrite/Genereller Maßstab.md",
"mode": "source", "mode": "source",
"source": false "source": false
}, },
"icon": "lucide-file", "icon": "lucide-file",
"title": "Experiment 2 - NN performance" "title": "Genereller Maßstab"
} }
}, },
{ {
"id": "dbaf33142b3948a4", "id": "82d87f6698a469e1",
"type": "leaf", "type": "leaf",
"state": { "state": {
"type": "pdf", "type": "markdown",
"state": { "state": {
"file": "Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf", "file": "Notizen/16.10.2025.md",
"page": 262, "mode": "source",
"left": -5, "source": false
"top": 415,
"zoom": 2.727731092436975
}, },
"icon": "lucide-file-text", "icon": "lucide-file",
"title": "Wisetchat - Description-Based Visualisation of Ethnic Facial Types" "title": "16.10.2025"
} }
} }
] ]
@@ -192,8 +190,13 @@
}, },
"active": "59d92020d0753901", "active": "59d92020d0753901",
"lastOpenFiles": [ "lastOpenFiles": [
"Prewrite/2. Grundlagen.md", "Notizen/16.10.2025.md",
"Prewrite/Genereller Maßstab.md",
"Notizen/09.10.2025 - Anmeldung.md",
"Modellieren in Blender.md",
"Motivator.excalidraw.md",
"Paperung/Experimente/Experiment 2 - NN performance.md", "Paperung/Experimente/Experiment 2 - NN performance.md",
"Prewrite/2. Grundlagen.md",
"Paperung/Experimente/Experiment 1 - Renderzeit.md", "Paperung/Experimente/Experiment 1 - Renderzeit.md",
"Linux.md", "Linux.md",
"Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf", "Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf",
@@ -228,15 +231,10 @@
"1_Trash/CompositorUp0date/Compositor.excalidraw.md", "1_Trash/CompositorUp0date/Compositor.excalidraw.md",
"Drawing 2025-10-31 18.39.54.excalidraw.md", "Drawing 2025-10-31 18.39.54.excalidraw.md",
"Exposé.md", "Exposé.md",
"Modellieren in Blender.md",
"Motivator.excalidraw.md",
"Paperung/Zusammenfassung Facial Features.md", "Paperung/Zusammenfassung Facial Features.md",
"Was ich so gemacht habe/Arbeitszeit und so.md", "Was ich so gemacht habe/Arbeitszeit und so.md",
"Paperung/Drawing 2025-11-30 22.08.28.excalidraw.md", "Paperung/Drawing 2025-11-30 22.08.28.excalidraw.md",
"Paperung/Untitled.md", "Paperung/Untitled.md",
"Paperung/Facial modeling and measurement based upon homologous topographical features.md", "Paperung/Facial modeling and measurement based upon homologous topographical features.md"
"Zu recherchierende Dinger.md",
"Untitled.md",
"TODO.md"
] ]
} }

66
Paperung/Experimente/Experiment 2 - NN performance.md
View File

@@ -1,53 +1,69 @@
Hypothese: (besser formulieren, kommt irgendwo an den Anfang der Arbeit, mal Gucken, wo Meiko das hingepackt hatte...) Hypothese: (besser formulieren, kommt irgendwo an den Anfang der Arbeit, mal Gucken, wo Meiko das hingepackt hatte...)
LightEyes stellt Augen nur sehr grundlegende Formen dar, im Grunde graue Kreise und erzielt dabei verhältnismäßig gute Performance beim Training von Neuronalen Netzen. Daher ist davon auszugehen, dass das detailliertere Modellieren der Periorbitalregion keinen nennenswerten Einfluss auf die Leistung von Neuronalen Netzen hat. LightEyes stellt Augen nur sehr grundlegende Formen dar, im Grunde graue Kreise und erzielt dabei verhältnismäßig gute Performance beim Training von Neuronalen Netzen. Daher ist davon auszugehen, dass das detailliertere Modellieren der Periorbitalregion keinen nennenswerten Einfluss auf die Leistung von Neuronalen Netzen hat.
## Einleitung
In der vorliegenden Arbeit wurde die bestehende Implementierung von HEyes erweitert, sodass nun die Form der Periorbitalregion zufällig verändert werden kann. In Experiment 1 wird untersucht, wie sich die Änderungen auf die Laufzeit der Generierungspipeline auswirken. In diesem Experiment soll untersucht werden, ob diese Erweiterung einen Einfluss auf die Erkennungsleistung von KI-basierten Segmentierungsmodellen hat. Dazu wird ein Vergleich
Von Timms Arbeit: Von Timms Arbeit:
Über alle Experimente hinweg wurden die gleichen, in der medizinischen Bildsegmentierung etablierten Metriken erfasst [71]. Im Mittelpunkt stehen der Dice Score (auch F1 Score) und die IoU (auch Jaccard Index genannt) als Flächenüberlappungsmaße sowie Precision und Recall als Fehlerratenmaße. Besonders der Dice-Score fand in verwandten Arbeiten, wie etwa bei M. Calisto et al. (2021) [10] und Z. Fan et al. (2020) [19], Verwendung. Über alle Experimente hinweg wurden die gleichen, in der medizinischen Bildsegmentierung etablierten Metriken erfasst [71]. Im Mittelpunkt stehen der Dice Score (auch F1 Score) und die IoU (auch Jaccard Index genannt) als Flächenüberlappungsmaße sowie Precision und Recall als Fehlerratenmaße. Besonders der Dice-Score fand in verwandten Arbeiten, wie etwa bei M. Calisto et al. (2021) [10] und Z. Fan et al. (2020) [19], Verwendung.
Meiko hat auch Dice und IoU überprüft. Nach jeder Epoche berehcnet. Meiko hat auch Dice und IoU überprüft. Nach jeder Epoche berehcnet.
## Einleitung
In der vorliegenden Arbeit wurde die bestehende Implementierung von HEyes erweitert, sodass nun die Form der Periorbitalregion zufällig verändert werden kann. In Experiment 1 wird untersucht, wie sich die Änderungen auf die Laufzeit der Generierungspipeline auswirken. In diesem Experiment soll untersucht werden, ob diese Erweiterung einen Einfluss auf die Erkennungsleistung von KI-basierten Segmentierungsmodellen hat. Dazu wird ein Vergleich
Sachen, die ich mache: Sachen, die ich mache:
- Modell: Yolo26-seg small - NN: Yolo26-seg small (guter Tradeoff zwischen Größe/Performance)
- Zwei Modelle trainieren: - Zwei Modelle mit 100% synthetischen Daten trainieren:
1. Alte Implementierung 1. Modell: mit alter Pipeline trainiert
2. Neue Implementierung 2. Modell: mit neuer Pipeline trainiert
- 80 - 20 Split? Meiko hat 85 - 15?! für Training und Validierung 3. Wenn Zeit ist: ein Modell mit neuer Pipeline ohne AO
- Test-Set mit ??? - Datensplit (Training - Validierung): 80 - 20? Meiko hatte 85 - 15?!
- entweder 500k oder Daten aus TEyeD? - Test-Set mit echten Daten
- Vom Testset hängt auch die zu generierende Auflösung der synthetischen Bilder ab - entweder 500k oder Daten aus TEyeD oder OpenEDS?
- Vom Test-Set hängt auch die zu generierende Auflösung der synthetischen Bilder ab
- Störfaktoren sind nicht wirklich Teil meiner Arbeit, daher möchte ich am besten einen kontrollierten Datensatz, aber mit verschiedenen Ethnien - Störfaktoren sind nicht wirklich Teil meiner Arbeit, daher möchte ich am besten einen kontrollierten Datensatz, aber mit verschiedenen Ethnien
- Möglichst wenig Störfaktoren (wie Brille, Reflektionen, verschiedene Beleuchtung) im Test-Set
- Auch Bilder mit Teilweise/Vollständig verdeckter Pupille
- Synthetische Daten generieren - Synthetische Daten generieren
- Es werden explizit Bilder mit verdeckter Pupille erzeugt - Wie viele Bilder? 5000? 10k?! Meine Hardware hat da wohl auch einen Einfluss drauf (s. u.)
- TODO: Müssen wir die Helligkeitswerte aus den Test-Set extrahieren? - Es werden explizit auch Bilder mit (teilweise) verdeckter Pupille erzeugt
- Um Überrepräsentation von verdeckten Pupillen zu vermeiden wird der Exponentielle-Faktor für den Lidschluss verwendet, damit mehr Bilder ein offenes Auge haben - Grauwerte aus echten Daten extrahieren
- möglichst nicht aus dem Test-Set selbst, sondern aus anderen Daten, wobei ich mir da nicht sicher bin, da es ja eigentlich keinen Einfluss auf den Vergleich den ich machen möchte hat
- Um Überrepräsentation von verdeckten Pupillen zu vermeiden wird der Exponentielle-Faktor für den Lidschluss verwendet, damit es mehr Bilder mit sichtbaren Pupillen gibt
- Datenaugmentieren:
- Flip (50%) für 50/50 Split aus linkem/rechtem Augen
- leichter Blur
- leichte Gamma/Helligkeitsanpassung
# Sachen, die ich am Ende sehen möchte: # Sachen, die ich am Ende sehen möchte:
Graphen: Graphen plotten über alle Epochen?
Plotten über alle Epochen:
- Train Loss - Train Loss
- Validation Loss (Meiko hat das auch irgendwie für jede Epoche berechnet) - Validation Loss (Meiko hat das auch irgendwie für jede Epoche berechnet)
- Precision und Recall - Precision und Recall, okay für Yolo hat er Mask Precision und Recall, was auch immer das sein soll
- Okay für Yolo hat er Mask Precision und Recall, was auch immer das sein soll
Meiko hatte auch: Meiko hatte auch:
- Validation mAP50 - Validation mAP50
- Validation mAP50-95 - Validation mAP50-95
Für das Finale Modell: Jeweils für das finale Modell:
- IoU und Dice für die Test-Set-Bilder berechnen - IoU und Dice für die Test-Set-Bilder berechnen
- Tabelle: Mean + SD für IoU und Dice für beide Modelle - Tabelle: Mean + SD für IoU und Dice für beide Modelle
- Ich möchte auch einen Boxplot zeigen können für IoU und Dice und einzelne Bilder und ihre Masken (Ground Truth und predicted) + Scores zeigen können - Ich möchte auch einen Boxplot zeigen können für IoU und Dice
# Todo!!!!!!!!!! - Ich möchte einzelne Bilder, die extrem schlecht/gut waren rauspicken können und ihre Masken (Ground Truth und predicted) + Scores zeigen können
- Meiko und Jan haben aus den Daten die Helligkeitswerte extrahiert
# Genutzte Hardware: # Genutzte Hardware:
Beide Experimente wurden auf einem Computer mit folgender Hardware ausgeführt: Beide Experimente wurden auf einem Computer mit folgender Hardware ausgeführt:
- CPU: AMD Ryzen 7 2700x mit 8 Kernen (16 Threads) - CPU: AMD Ryzen 7 2700x mit 8 Kernen (16 Threads)
- GPU: NVIDIA RTX 3080 mit 10 GB VRAM - GPU: NVIDIA RTX 3080 mit 10 GB VRAM
- RAM: 32 GB DDR4 - RAM: 32 GB DDR4
# TODO: Mitschriften letztes Meeting, mal an den richtigen Ort bringen:
Hypothese: Die Leistung der NNs wird sich nicht ändern (siehe LiteEyes)
Yolo S -> sehr gute Performance Laufzeit tradeoff
Alle Entscheidungen gut begründen -> z.B. welche Yolo Version, warum?
Ergebnisse Interpretieren

66
Prewrite/Genereller Maßstab.md Normal file
View File

@@ -0,0 +1,66 @@
# Plan:
https://docs.google.com/spreadsheets/d/1y17dqZGHrzOrMXtfsVI_F3kI5vPkJVCvuprvxPj-Lt0/edit?gid=0#gid=0
Vorgabe: um die 100 Seiten.
## Abstract deutsch/englisch (je 1 Seite, also 2)
**Am Ende** ggf. von Gibbidy machen lassen
# 1. Einleitung
(einziges Kapitel ohne Zusammenfassung)
## 1.1 Motivation und Problemstellung (ca. 1 Seite)
- Gehirnerschütterung anhand von Pupillenreflexen erkennen
- Schwierigkeiten dabei
- Warum ist es wichtig, verschiedene Augenformen zu modellieren (Ethnischer Bias, etc.)
## 1.2 Zielsetzung der Arbeit (ca. 1 Seite)
- Zentral: modellieren von verschiedenen Merkmalen der Periorbitalregion
- Forschungsfragen:
- Die zentrale Forschungsfrage ist dabei: Verbessert das Modellieren von verschiedenen Augenformen die Erkennung durch neuronale Netze auf echten Datensätze?
- Hypothesen:
- Die Modellierung verschiedener Augenformen trägt nicht zur Verringerung der Domain-Gap bei und verbessert die Detektion nicht (weil z. B. LEyes sehr gut funktioniert)
- Irgendwie reinbekommen (weil nicht wirklich die Frage gewesen): Der Laufzeit der Generierungspipeline lässt sich verbessern
## 1.3 Aufbau der Arbeit (ca. 1 Seite)
**Am Ende** ggf. von Gibbidy machen Lassen
# 2. Grundlagen (15 - 30% der Arbeit, 15 - 20 Seiten)
- Blender
- Shape-Keys
- Subdivision Surface
- Medizinische Grundlagen
- Muskeln,
- Knochen,
- anderer Kram, der Einfluss auf das Gedöns hat
- Vielleicht kurz Anreißen:
- synthetische Datengenerierung, Eye-Tracking, Segmentierung, Blender-relevante Begriffe.
# 3. Stand der Forschung (5 bis 17,5%, 4 bis 13 Seiten)
# 4. Methodik (Gibbidys Idee: Konzeption der parametrisierbaren Augenmodell-Pipeline)
# 5. Implementierung
1. Projektstruktur
- Wie ist der Code organisiert, also Hauptordner, Ordner für Experimente, etc.
2. Blender Kram:
1. Augenlid
1. Bisherige Implementierung
2. Neue Implementierung
2. Wimpern / Augenbrauen
1. Bisherige Implementierung
2. Neue Implementierung
3. Gesichts-Shape-Keys
3. Beispielausgaben
# 6. Versuchsaufbau
1. Experiment 1: Untersuchung der Laufzeit
2. Experiment 2: Training der Yolo-Modelle
3. Hardware
# 7. Versuchsergebnisse und Analyse (8 - 30%, 4* bis 28 Seiten)
*nicht ganz Fair, weil die bei Jan im Kapitel, das die Experimente erklärt mit drin sind, also eher 8 Seiten
1. Experiment 1: Untersuchung der Laufzeit
2. Experiment 2: Training der Yolo-Modelle
3. Zusammenfassung der Ergebnisse
# 8. Abschluss / Diskussion (4%, 2 bis 4 Seiten)
1. Diskussion der Ergebnisse im Hinblick der Forschungsfragen und Hypothesen / Zentrale Erkenntnisse / Zusammenfassung
2. ggf. Limitationen der Arbeit
- z. B., dass das Yolo-Training nicht sehr ausführlich war
3. Fazit
4. Ausblick / Future Work
- Für die Modellierung:
- Face-Scans versuchen?
- doch PCAs versuchen?
- Generative Ansätze mit NNs ausprobieren?
- Für Performance:
- Statt Texturen auf der CPU erzeugen, diese per Shader in Blender direkt machen