Gottfried/Masterarbeit-Obsidian-Vault
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Grundlegenden Aufbau der Arbeit geplant

Browse Source
This commit is contained in:
Simon Lübeß
2026-03-08 23:01:31 +01:00
parent 3d57d3d12e
commit f1ce0b9f55
3 changed files with 124 additions and 44 deletions
Download Patch File Download Diff File Expand all files Collapse all files

34
.obsidian/workspace.json vendored
View File

@@ -13,28 +13,26 @@
"state": {
"type": "markdown",
"state": {
"file": "Paperung/Experimente/Experiment 2 - NN performance.md",
"file": "Prewrite/Genereller Maßstab.md",
"mode": "source",
"source": false
},
"icon": "lucide-file",
"title": "Experiment 2 - NN performance"
"title": "Genereller Maßstab"
}
},
{
"id": "dbaf33142b3948a4",
"id": "82d87f6698a469e1",
"type": "leaf",
"state": {
"type": "pdf",
"type": "markdown",
"state": {
"file": "Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf",
"page": 262,
"left": -5,
"top": 415,
"zoom": 2.727731092436975
"file": "Notizen/16.10.2025.md",
"mode": "source",
"source": false
},
"icon": "lucide-file-text",
"title": "Wisetchat - Description-Based Visualisation of Ethnic Facial Types"
"icon": "lucide-file",
"title": "16.10.2025"
}
}
]
@@ -192,8 +190,13 @@
},
"active": "59d92020d0753901",
"lastOpenFiles": [
"Prewrite/2. Grundlagen.md",
"Notizen/16.10.2025.md",
"Prewrite/Genereller Maßstab.md",
"Notizen/09.10.2025 - Anmeldung.md",
"Modellieren in Blender.md",
"Motivator.excalidraw.md",
"Paperung/Experimente/Experiment 2 - NN performance.md",
"Prewrite/2. Grundlagen.md",
"Paperung/Experimente/Experiment 1 - Renderzeit.md",
"Linux.md",
"Paperung/Augenfeatures/Wisetchat - Description-Based Visualisation of Ethnic Facial Types.pdf",
@@ -228,15 +231,10 @@
"1_Trash/CompositorUp0date/Compositor.excalidraw.md",
"Drawing 2025-10-31 18.39.54.excalidraw.md",
"Exposé.md",
"Modellieren in Blender.md",
"Motivator.excalidraw.md",
"Paperung/Zusammenfassung Facial Features.md",
"Was ich so gemacht habe/Arbeitszeit und so.md",
"Paperung/Drawing 2025-11-30 22.08.28.excalidraw.md",
"Paperung/Untitled.md",
"Paperung/Facial modeling and measurement based upon homologous topographical features.md",
"Zu recherchierende Dinger.md",
"Untitled.md",
"TODO.md"
"Paperung/Facial modeling and measurement based upon homologous topographical features.md"
]
}

66
Paperung/Experimente/Experiment 2 - NN performance.md
View File

@@ -1,53 +1,69 @@
Hypothese: (besser formulieren, kommt irgendwo an den Anfang der Arbeit, mal Gucken, wo Meiko das hingepackt hatte...)
LightEyes stellt Augen nur sehr grundlegende Formen dar, im Grunde graue Kreise und erzielt dabei verhältnismäßig gute Performance beim Training von Neuronalen Netzen. Daher ist davon auszugehen, dass das detailliertere Modellieren der Periorbitalregion keinen nennenswerten Einfluss auf die Leistung von Neuronalen Netzen hat.
## Einleitung
In der vorliegenden Arbeit wurde die bestehende Implementierung von HEyes erweitert, sodass nun die Form der Periorbitalregion zufällig verändert werden kann. In Experiment 1 wird untersucht, wie sich die Änderungen auf die Laufzeit der Generierungspipeline auswirken. In diesem Experiment soll untersucht werden, ob diese Erweiterung einen Einfluss auf die Erkennungsleistung von KI-basierten Segmentierungsmodellen hat. Dazu wird ein Vergleich
Von Timms Arbeit:
Über alle Experimente hinweg wurden die gleichen, in der medizinischen Bildsegmentierung etablierten Metriken erfasst [71]. Im Mittelpunkt stehen der Dice Score (auch F1 Score) und die IoU (auch Jaccard Index genannt) als Flächenüberlappungsmaße sowie Precision und Recall als Fehlerratenmaße. Besonders der Dice-Score fand in verwandten Arbeiten, wie etwa bei M. Calisto et al. (2021) [10] und Z. Fan et al. (2020) [19], Verwendung.
Meiko hat auch Dice und IoU überprüft. Nach jeder Epoche berehcnet.
## Einleitung
In der vorliegenden Arbeit wurde die bestehende Implementierung von HEyes erweitert, sodass nun die Form der Periorbitalregion zufällig verändert werden kann. In Experiment 1 wird untersucht, wie sich die Änderungen auf die Laufzeit der Generierungspipeline auswirken. In diesem Experiment soll untersucht werden, ob diese Erweiterung einen Einfluss auf die Erkennungsleistung von KI-basierten Segmentierungsmodellen hat. Dazu wird ein Vergleich
Sachen, die ich mache:
- Modell: Yolo26-seg small
- Zwei Modelle trainieren:
1. Alte Implementierung
2. Neue Implementierung
- 80 - 20 Split? Meiko hat 85 - 15?! für Training und Validierung
- Test-Set mit ???
- entweder 500k oder Daten aus TEyeD?
- Vom Testset hängt auch die zu generierende Auflösung der synthetischen Bilder ab
- NN: Yolo26-seg small (guter Tradeoff zwischen Größe/Performance)
- Zwei Modelle mit 100% synthetischen Daten trainieren:
1. Modell: mit alter Pipeline trainiert
2. Modell: mit neuer Pipeline trainiert
3. Wenn Zeit ist: ein Modell mit neuer Pipeline ohne AO
- Datensplit (Training - Validierung): 80 - 20? Meiko hatte 85 - 15?!
- Test-Set mit echten Daten
- entweder 500k oder Daten aus TEyeD oder OpenEDS?
- Vom Test-Set hängt auch die zu generierende Auflösung der synthetischen Bilder ab
- Störfaktoren sind nicht wirklich Teil meiner Arbeit, daher möchte ich am besten einen kontrollierten Datensatz, aber mit verschiedenen Ethnien
- Möglichst wenig Störfaktoren (wie Brille, Reflektionen, verschiedene Beleuchtung) im Test-Set
- Auch Bilder mit Teilweise/Vollständig verdeckter Pupille
- Synthetische Daten generieren
- Es werden explizit Bilder mit verdeckter Pupille erzeugt
- TODO: Müssen wir die Helligkeitswerte aus den Test-Set extrahieren?
- Um Überrepräsentation von verdeckten Pupillen zu vermeiden wird der Exponentielle-Faktor für den Lidschluss verwendet, damit mehr Bilder ein offenes Auge haben
- Wie viele Bilder? 5000? 10k?! Meine Hardware hat da wohl auch einen Einfluss drauf (s. u.)
- Es werden explizit auch Bilder mit (teilweise) verdeckter Pupille erzeugt
- Grauwerte aus echten Daten extrahieren
- möglichst nicht aus dem Test-Set selbst, sondern aus anderen Daten, wobei ich mir da nicht sicher bin, da es ja eigentlich keinen Einfluss auf den Vergleich den ich machen möchte hat
- Um Überrepräsentation von verdeckten Pupillen zu vermeiden wird der Exponentielle-Faktor für den Lidschluss verwendet, damit es mehr Bilder mit sichtbaren Pupillen gibt
- Datenaugmentieren:
- Flip (50%) für 50/50 Split aus linkem/rechtem Augen
- leichter Blur
- leichte Gamma/Helligkeitsanpassung
# Sachen, die ich am Ende sehen möchte:
Graphen:
Plotten über alle Epochen:
Graphen plotten über alle Epochen?
- Train Loss
- Validation Loss (Meiko hat das auch irgendwie für jede Epoche berechnet)
- Precision und Recall
- Okay für Yolo hat er Mask Precision und Recall, was auch immer das sein soll
- Precision und Recall, okay für Yolo hat er Mask Precision und Recall, was auch immer das sein soll
Meiko hatte auch:
- Validation mAP50
- Validation mAP50-95
Für das Finale Modell:
Jeweils für das finale Modell:
- IoU und Dice für die Test-Set-Bilder berechnen
- Tabelle: Mean + SD für IoU und Dice für beide Modelle
- Ich möchte auch einen Boxplot zeigen können für IoU und Dice und einzelne Bilder und ihre Masken (Ground Truth und predicted) + Scores zeigen können
# Todo!!!!!!!!!!
- Meiko und Jan haben aus den Daten die Helligkeitswerte extrahiert
- Ich möchte auch einen Boxplot zeigen können für IoU und Dice
- Ich möchte einzelne Bilder, die extrem schlecht/gut waren rauspicken können und ihre Masken (Ground Truth und predicted) + Scores zeigen können
# Genutzte Hardware:
Beide Experimente wurden auf einem Computer mit folgender Hardware ausgeführt:
- CPU: AMD Ryzen 7 2700x mit 8 Kernen (16 Threads)
- GPU: NVIDIA RTX 3080 mit 10 GB VRAM
- RAM: 32 GB DDR4
# TODO: Mitschriften letztes Meeting, mal an den richtigen Ort bringen:
Hypothese: Die Leistung der NNs wird sich nicht ändern (siehe LiteEyes)
Yolo S -> sehr gute Performance Laufzeit tradeoff
Alle Entscheidungen gut begründen -> z.B. welche Yolo Version, warum?
Ergebnisse Interpretieren

66
Prewrite/Genereller Maßstab.md Normal file
View File

@@ -0,0 +1,66 @@
# Plan:
https://docs.google.com/spreadsheets/d/1y17dqZGHrzOrMXtfsVI_F3kI5vPkJVCvuprvxPj-Lt0/edit?gid=0#gid=0
Vorgabe: um die 100 Seiten.
## Abstract deutsch/englisch (je 1 Seite, also 2)
**Am Ende** ggf. von Gibbidy machen lassen
# 1. Einleitung
(einziges Kapitel ohne Zusammenfassung)
## 1.1 Motivation und Problemstellung (ca. 1 Seite)
- Gehirnerschütterung anhand von Pupillenreflexen erkennen
- Schwierigkeiten dabei
- Warum ist es wichtig, verschiedene Augenformen zu modellieren (Ethnischer Bias, etc.)
## 1.2 Zielsetzung der Arbeit (ca. 1 Seite)
- Zentral: modellieren von verschiedenen Merkmalen der Periorbitalregion
- Forschungsfragen:
- Die zentrale Forschungsfrage ist dabei: Verbessert das Modellieren von verschiedenen Augenformen die Erkennung durch neuronale Netze auf echten Datensätze?
- Hypothesen:
- Die Modellierung verschiedener Augenformen trägt nicht zur Verringerung der Domain-Gap bei und verbessert die Detektion nicht (weil z. B. LEyes sehr gut funktioniert)
- Irgendwie reinbekommen (weil nicht wirklich die Frage gewesen): Der Laufzeit der Generierungspipeline lässt sich verbessern
## 1.3 Aufbau der Arbeit (ca. 1 Seite)
**Am Ende** ggf. von Gibbidy machen Lassen
# 2. Grundlagen (15 - 30% der Arbeit, 15 - 20 Seiten)
- Blender
- Shape-Keys
- Subdivision Surface
- Medizinische Grundlagen
- Muskeln,
- Knochen,
- anderer Kram, der Einfluss auf das Gedöns hat
- Vielleicht kurz Anreißen:
- synthetische Datengenerierung, Eye-Tracking, Segmentierung, Blender-relevante Begriffe.
# 3. Stand der Forschung (5 bis 17,5%, 4 bis 13 Seiten)
# 4. Methodik (Gibbidys Idee: Konzeption der parametrisierbaren Augenmodell-Pipeline)
# 5. Implementierung
1. Projektstruktur
- Wie ist der Code organisiert, also Hauptordner, Ordner für Experimente, etc.
2. Blender Kram:
1. Augenlid
1. Bisherige Implementierung
2. Neue Implementierung
2. Wimpern / Augenbrauen
1. Bisherige Implementierung
2. Neue Implementierung
3. Gesichts-Shape-Keys
3. Beispielausgaben
# 6. Versuchsaufbau
1. Experiment 1: Untersuchung der Laufzeit
2. Experiment 2: Training der Yolo-Modelle
3. Hardware
# 7. Versuchsergebnisse und Analyse (8 - 30%, 4* bis 28 Seiten)
*nicht ganz Fair, weil die bei Jan im Kapitel, das die Experimente erklärt mit drin sind, also eher 8 Seiten
1. Experiment 1: Untersuchung der Laufzeit
2. Experiment 2: Training der Yolo-Modelle
3. Zusammenfassung der Ergebnisse
# 8. Abschluss / Diskussion (4%, 2 bis 4 Seiten)
1. Diskussion der Ergebnisse im Hinblick der Forschungsfragen und Hypothesen / Zentrale Erkenntnisse / Zusammenfassung
2. ggf. Limitationen der Arbeit
- z. B., dass das Yolo-Training nicht sehr ausführlich war
3. Fazit
4. Ausblick / Future Work
- Für die Modellierung:
- Face-Scans versuchen?
- doch PCAs versuchen?
- Generative Ansätze mit NNs ausprobieren?
- Für Performance:
- Statt Texturen auf der CPU erzeugen, diese per Shader in Blender direkt machen