Sehr viele Sachen

Paperung/Experimente/Ex 2 - Auswertung.md

@@ -0,0 +1,143 @@
+# Gibbidy erzählt etwas über den finalen text
+
+Kleiner Sprachhinweis, mein Herr 😊: In deiner Nachricht ist nur ein kleiner Tippfehler drin — „**udn**“ statt „**und**“.
+
+---
+
+Ja, mein Herr — ich gehe es einmal **von vorne bis hinten** durch und sage dir jeweils klar, **wo ich ein Problem sehe** und **was ich ändern würde** ✨
+
+Mein Gesamteindruck vorab: **Kapitel 7 ist inhaltlich stark und logisch aufgebaut.** Die Staffelung von 7.1 über 7.2 zu 7.3 funktioniert gut, und besonders 7.3 ist methodisch sauber in Deskription, Signifikanzanalyse, bildweise Analyse und qualitative Fehleranalyse gegliedert. Der größte aktuelle Schwachpunkt ist nicht die fachliche Substanz, sondern die **Präsentationsreife**: Im Kapitel sind noch viele sichtbare Arbeitskommentare, offene Entscheidungen und einzelne Platzhalter enthalten. Genau das würde ich vor dem Verschicken als Erstes bereinigen.
+
+## 1. Was ich vor allem anderen sofort machen würde
+
+**Alle sichtbaren Kommentare raus.**  
+Im Kapitel stehen noch Kommentare wie „Sag mal ehrlich, was haltet ihr von diesem Plot?“, „Brauche ich den Boxplot …?“, „Konfidenzintervalle bitte“, „Welches Modell … ist glaube ich uninteressant“ oder „Diesen Abschnitt vielleicht rauswerfen“. Solange die sichtbar sind, wirkt das Kapitel unfertig, selbst wenn der Inhalt schon gut ist.
+
+**Offene Platzhalter und unfertige Verweise schließen.**  
+In 7.1 gibt es noch einen Verweis wie „In Abschnitt ?? auf Seite ??“, und in 7.1.3 steckt sogar noch ein ganzer Exkurs zu Violinplots, anderen Maschinen und nicht weiter untersuchten Phänomenen, der klar als Arbeitsmaterial und nicht als finaler Text wirkt. Das muss entweder sauber ausgearbeitet oder komplett gestrichen werden. Ich würde es eher **streichen**. ✅
+
+## 2. 7.1 Experiment 1.1: Untersuchung der Laufzeit
+
+### 7.1.1 Laufzeitverhalten eines Benchmarks
+
+Der Abschnitt ist **inhaltlich sinnvoll**, aber etwas zu ausführlich für den Erkenntnisgewinn. Der überlagerte Plot in Abbildung 7.1 ist durchaus legitim, weil er genau deinen Punkt stützt: **kein relevanter Warmup-Effekt, keine Drift, stabile Wiederholungen**. Das ist also kein Quatsch-Plot. Ich würde ihn behalten. Aber ich würde die Erläuterung dazu um etwa ein Drittel kürzen. Der Kern ist: „Die Linien überlagern sich weitgehend; damit zeigen die Messungen hohe Stabilität.“ Mehr braucht es fast nicht.
+
+Abbildung 7.2 bringt danach aber nur noch begrenzt neue Information. Du beschreibst selbst, dass man keinen nennenswerten Trend sieht und dass die Ausreißer mit dem ersten Frame korrespondieren. Das ist okay, aber im Zusammenspiel mit den späteren Plots wirkt 7.1 etwas **übervisualisiert**. Ich würde deshalb prüfen, ob du **entweder 7.2 oder 7.4 in den Anhang verschiebst**. Gerade für Baseline/Blender 5 schreibst du ja selbst, dass man nichts Neues erwarten würde.
+
+Die Passage „Interessant ist, dass (t_{config}) generell deutlich höher liegt als (t_{render}). … Dies wird später noch genauer untersucht.“ ist richtig, aber noch etwas dünn. Da würde ich direkt einen stärkeren Übergang formulieren, zum Beispiel sinngemäß: „Diese unerwartete Dominanz der Konfigurationszeit motiviert das nachfolgende Optimierungsexperiment in Abschnitt 7.2.“ Dann hängt 7.1 stärker mit 7.2 zusammen.
+
+### 7.1.2 Einfluss von Blender 5 auf die Laufzeit
+
+Hier ist der **quantitative Kern gut**. Die Zahlen sind konkret, die Richtung ist klar, und du diskutierst Mittelwert, Varianz und Konfidenzintervalle bereits sinnvoll. Das ist stark.
+
+Was ich ändern würde:  
+Der Plotapparat ist hier noch nicht ganz sauber entschieden. Im Text und in Kommentaren tauchen Boxplot, Stripplot und Violinplot nebeneinander auf. Gleichzeitig gibt es offene Notizen wie „Vielleicht kann dieser Boxplot auch einfach weg“ oder „Die Anomalie im Violinplot zeigen?“. Dadurch merkt man als Leser, dass die Darstellung noch nicht final kuratiert ist. Ich würde mich hier auf **eine Visualisierungslogik festlegen**: im Haupttext nur das, was wirklich eine neue Aussage trägt; zusätzliche Verteilungsdiagnostik in den Anhang.
+
+Außerdem gibt es hier einen formalen Makel: Das Dokument enthält selbst die Notiz „Text steht über den Rand“. Solche typografischen Probleme würde ich vor dem Versand unbedingt beheben, weil sie viel stärker negativ auffallen als kleine sprachliche Unebenheiten.
+
+### 7.1.3 Vergleich Baseline vs. Current mit Blender 5
+
+Inhaltlich ist das eine der stärkeren Stellen von 7.1. Du zeigst sauber, dass der Umbau auf ViewLayer sowohl (t_{config}) als auch (t_{render}) deutlich senkt, und die Interpretation ist plausibel. Auch die 7.1.4-Zusammenfassung landet dann an der richtigen Stelle: Blender 5 hilft, aber der strukturelle Umbau hilft noch stärker.
+
+Was ich hier klar streichen würde, ist der ganze noch unfertige Violinplot-Exkurs mit „Plot 8“, „Plot 9“, „Plot 10“, „anderes System“ und „leider nicht weiter untersucht“. Das passt stilistisch nicht in den finalen Ergebnisteil. Entweder daraus wird ein sauberer, kurzer Anhangsverweis mit einer klaren Aussage — oder es fliegt ganz raus. In der jetzigen Form eher raus.
+
+## 3. 7.2 Experiment 1.2: Optimierung der Konfigurationszeit
+
+### 7.2.1 Ergebnisse
+
+Der Abschnitt erzählt eine **gute, klare Geschichte**: (t_{config}) sinkt stark, (t_{skin_lum}) und (t_{compositing}) erklären fast die ganze Verbesserung, (t_{sclera}) bleibt der neue Bottleneck. Das ist fachlich überzeugend.
+
+Hier sehe ich vor allem drei Verbesserungen:
+
+Erstens: **gleiche statistische Strenge wie in 7.1 und 7.3**. Du notierst selbst „Konfidenzintervalle bitte“. Das ist genau richtig. Wenn du in 7.2 zentrale Differenzen berichtest, würde ich dort ebenfalls Konfidenzintervalle für die wichtigsten Deltas angeben, mindestens für (t_{config}), (t_{frame}) und vielleicht (t_{skin_lum}). Dann wirkt Kapitel 7 deutlich einheitlicher.
+
+Zweitens: **Abbildung 7.7 ist inkonsistent beschriftet.** Im Plot werden laut Legende nur „Current, Blender5“ und „Current, Blender5, Optimized, Rerun“ verglichen, die Bildunterschrift lautet aber „Vergleich der Laufzeiten zwischen allen vier Konfigurationen“. Das würde ich korrigieren, weil es unnötig verwirrt.
+
+Drittens: Die Interpretation des Cache-Verhaltens ist gut, aber etwas lang. Ich würde zwei Sätze herauskürzen und die Pointe früher setzen: „Der Median von (t_{skin_lum}) fällt fast auf null, die Standardabweichung steigt, weil nur der erste Frame noch den Initialisierungsaufwand trägt.“ Das ist die eigentliche Botschaft.
+
+### 7.2.2 Zusammenfassung
+
+Die Zusammenfassung ist ordentlich, aber sie könnte am Anfang noch **etwas zahlenfester** sein. Du sagst dort bereits, dass über 700 ms pro Bild eingespart wurden — das ist gut. Ich würde das noch etwas schärfer strukturieren: erst das Ergebnis, dann die Ursache, dann der Ausblick zur GPU-/Shader-Idee. So liest es sich noch zielgerichteter.
+
+## 4. 7.3 Experiment 2: Yolo-Training
+
+### 7.3 insgesamt
+
+Das ist der **stärkste Teil des Kapitels**, mein Herr 🌟  
+Die Abfolge „Run-Level → Signifikanz → mediane Modelle → subjektweise Analyse → qualitative Fehlerfälle → Zusammenfassung“ ist sehr gelungen. Das wirkt wie ein sauber aufgebauter Ergebnisteil und nicht wie lose Beobachtungen.
+
+### 7.3.1 Deskriptive Ergebnisse auf Run-Ebene
+
+Die Aussage ist klar und gut belegt: Dice und IoU sind für Current schlechter, der Center Error ebenfalls tendenziell schlechter. Die Quantilsargumentation ist stark, besonders die Beobachtung, dass (Q3) von Current unter (Q1) von Baseline liegt.
+
+Was ich sprachlich ändern würde:  
+„kalibriert eine eindeutige Erwartung“ klingt unnatürlich. Ich würde stattdessen schreiben: **„legt eine klare Erwartung für die anschließende Signifikanzanalyse nahe“**. Das ist viel idiomatischer.
+
+Außerdem würde ich wirklich prüfen, ob du **Centroid und Ellipse beide im Haupttext brauchst**. Du schreibst selbst, dass die Ergebnisse beinahe identisch sind, und die PDF enthält dazu auch schon die Notiz, ob einer der beiden Fits raus kann. Ich würde eher **einen als Hauptmetrik** im Fließtext behalten und den anderen knapp ergänzend oder im Anhang führen.
+
+### 7.3.2 Signifikanzanalyse der gepaarten Runs
+
+Der Inhalt ist stark: gepaarter Wilcoxon-Test, BCa-Intervalle, klare Richtung des Effekts. Fachlich sieht das sauber aus.
+
+Aber die Darstellung kann straffer werden. Deine eigene Randnotiz ist richtig: **`n` und `Statistik` können raus**. Für den Leser sind hier vor allem relevant: Metrik, p-Wert, Mean-Delta und BCa-KI. Ich würde Tabelle 7.6 und 7.7 entweder zusammenführen oder zumindest verschlanken. So wird der Abschnitt kompakter und professioneller.
+
+### 7.3.3 Repräsentative Modelle und Fehleranalyse auf Bildebene
+
+Die Auswahlidee „Modell mit mittlerem Dice am Median“ ist gut. Aber die konkreten Seed-Nummern würde ich weniger prominent machen. Deine eigene Notiz trifft es gut: **Welches Seed das genau war, ist für den Haupttext nicht besonders wichtig.** Im Fließtext würde ich einfach vom „medianen Dice-Modell“ jeder Bedingung sprechen; die exakten Seeds können im Anhang stehen.
+
+Die anschließende Bildanalyse ist hingegen stark. Besonders gut finde ich, dass du nicht nur „wie oft besser/schlechter“ berichtest, sondern auch **wie stark** sich die Differenzen pro Bild ausprägen und wie oft Totalausfälle auftreten. Die Kombination aus Tabellen 7.9 und 7.10 ist argumentativ sehr nützlich.
+
+### 7.3.4 Qualitativer Vergleich für Testpersonen
+
+Das ist für mich der **schwächste Teil von 7.3**. Nicht, weil er falsch wäre, sondern weil er relativ viel Raum einnimmt, aber am Ende mehrmals bei „visuell nicht klar erklärbar“ landet. Du schreibst selbst in der Notiz, dass der Abschnitt vielleicht keinen echten Mehrwert bietet. Diese Selbsteinschätzung ist ziemlich treffend.
+
+Ich würde ihn deshalb **deutlich kürzen**. Nicht komplett streichen, aber auf 2–3 besonders aussagekräftige Probanden reduzieren:
+
+- ein eher unproblematischer Fall,
+    
+- ein Fall mit Schatten/dunkler Iris,
+    
+- ein Fall mit starker Verdeckung/Übersegmentierung.  
+    Der Block zu Testperson 5 und 9, der in „ich weiß nicht, warum“ endet, kann stark gekürzt oder in den Anhang verschoben werden.
+    
+
+### 7.3.5 Qualitative Analyse ausgewählter Fehlerfälle
+
+Das ist zusammen mit 7.3.2 der überzeugendste Teil von 7.3. Die Kategorisierung in „Current besser“, „Baseline besser“, „beide scheitern gemeinsam“ und „schwere, aber nicht totale Fehlsegmentierungen“ ist sehr gut gewählt. So bekommt die qualitative Analyse Struktur und ist nicht bloß eine lose Bildsammlung.
+
+Was ich hier noch verbessern würde: an manchen Stellen beschreibst du sehr viel Bildinhalt, bevor die eigentliche Aussage kommt. Ich würde pro Unterkategorie jeweils früher einen Leitsatz setzen, zum Beispiel: „Die Fälle zeigen vor allem Probleme durch Verdeckung, Schatten und dunkle Iris, nicht aber ein konsistentes Stärkemuster zugunsten eines Modells.“ Das steht inhaltlich schon drin, könnte aber noch frontaler formuliert werden.
+
+### 7.3.6 Zusammenfassung
+
+Die Kernaussage ist richtig: **Unter den hier gewählten Bedingungen verschlechtert die Augenformvariation die Überlappungsmetriken.** Das ist klar und gut.
+
+Was ich hier ändern würde, kennst du im Grunde schon aus unserer vorherigen Unterhaltung:
+
+„**minimal mehr Bilder**“ würde ich zu **„geringfügig mehr Bilder“** ändern.
+
+Die Passage, dass das Current-Modell „häufig etwas mehr falsche Pixel segmentiert“, würde ich **streichen oder stark abschwächen**, weil sie ohne eigene Rand- oder Flächenmetrik zu wackelig ist. Dafür spricht auch deine Randnotiz direkt an dieser Stelle.
+
+Der Übergang von „Nullhypothese verworfen“ zu „aber nicht allgemeingültig widerlegt“ ist inhaltlich gut, sollte aber sprachlich noch glatter werden. Die qualitative Analyse stützt vor allem, dass die dominanten Schwierigkeiten bei **Verdeckung, Schatten, Unschärfe und dunkler Iris** liegen. Genau das ist eine gute Einordnung — nur sollte es als **plausible Interpretation** und nicht als harter Ausschluss formuliert werden.
+
+## 5. Meine Prioritätenliste für die Überarbeitung
+
+Wenn du es effizient machen willst, würde ich in genau dieser Reihenfolge vorgehen, mein Herr:
+
+1. **Alle sichtbaren Kommentare, Platzhalter und unfertigen Exkurse löschen.**
+    
+2. **7.1 entschlacken**: redundante Plots in den Anhang, Violinplot-Reste raus, Übergänge zu 7.2 schärfen.
+    
+3. **7.2 statistisch abrunden**: Konfidenzintervalle ergänzen, Beschriftung von Abbildung 7.7 korrigieren.
+    
+4. **7.3.2 Tabellen verschlanken** und **7.3.4 stark kürzen**.
+    
+5. **7.3.6 sprachlich glätten** und die unsichere Übersegmentierungsbehauptung rausnehmen.
+    
+
+Mein Fazit: **Das Kapitel ist inhaltlich schon gut genug, um es dem Betreuer zu zeigen — aber erst nach einer Aufräumrunde.** Nicht weil die Analyse schwach wäre, sondern weil die sichtbaren Arbeitsreste den guten Eindruck unnötig beschädigen würden. Inhaltlich ist besonders 7.3 schon ziemlich nah an einer starken Endfassung. ✨
+
+Als Nächstes kann ich mit dir **Abschnitt für Abschnitt direkt konkrete Umformulierungen für 7.1 anfangen**.
+
+
+
+Bitte füge einen neuen Code-Block am Ende hinzu, der für alle Phasen der Modelle current_b5 und opti_rerun die 95%-BCa-CIs berechnet. Bitte berechne die mithilfe der Scipy-Bibliothek (hier nix irgendwie neu erfinden ;) Und gebe mir die Invervalle bitte als Tabelle aus

Paperung/Experimente/Experiment 2 - NN performance.md

@@ -645,8 +645,6 @@ berichten:
 - Boxplots für Dice und IoU
     
 - optional Boxplots pro Proband
-    
-
 ### Warum nicht für alle 30 Modelle?
 
 Weil das schnell unübersichtlich wird.  
@@ -685,7 +683,9 @@ Zusätzlich kann gezählt werden:
 - Anzahl Bilder mit **Dice = 0**
     
 - Anzahl Bilder mit **IoU = 0**
-    
+
+- Anzahl Bilder, bei dem Baseline Score von 0 hat, Current aber > 0
+- Anzahl Bilder, bei dem Current Score von 0 hat, Baseline aber > 0
 
 ---
 
@@ -873,4 +873,59 @@ Du könntest das ungefähr so schreiben:
 - visuelle Analyse der größten Unterschiede
     
 
-Wenn du möchtest, mein Herr, formuliere ich dir das direkt als **masterarbeitstauglichen Fließtext in LaTeX**.
+Wenn du möchtest, mein Herr, formuliere ich dir das direkt als **masterarbeitstauglichen Fließtext in LaTeX**.
+
+# Auswertung über alle Runs:
+
+# Auswertung der extrahierten Bilder
+### A. Current gewinnt stark
+1. **Baseline Dice = 0, Current > 0**
+	- _Baseline hat die Pupille nicht gefunden, oder komplett verfeht. Current hat sie gefunden._
+	- Beispiele:
+		- frame_16917_o_129_s_1_qualitative: Baseline hat nichts gefunden, Current relativ gut
+		- frame_55881_o_29_s_1_qualitative, frame_110981_o_60_s_3_qualitative auch: Baseline hat nichts gefunden, current hat ca. einen Pixel getroffen
+		- frame_72386_o_126_s_2_qualitative: Current hat korrekt nichts gefunden, Baseline hat versucht etwas zu segmentieren. dabei ist nur ein pixel brieter spalt vom AUge zu sehen
+		- frame_401611_o_131_s_8_qualitative: Baseline hat pupille nicht getroffen, Current schon
+2. **beide > 0, aber $\Delta Dice > 0.1$**
+	- _In Dieser Kategorie sind die Bilder, die von Current deutlich besser erkannt wurden als von Baseline_
+	- Bei den meisten Bildern haben beide die gesamte Pupille, aber Baseline hat zu viel Segmentiert
+	- Beispiele:
+		- Frame 156625_o_32_s_3: Pupille ist fast vollständig zu sehen, aber SChatten daneben. Baseline segmentiert großteil der Iris mit.
+		- Frame 112514_o_132_s_3: Pupille ist vollständig zu sehen, Baseline segmentiert großteil der Iris mit, segmentiert auch Current auch zu viel
+		- frame_108574_o_89_s_2_qualitative: Pupille teilweise Verdeckt. Beide segmentieren mehr als Baseline (die ist aber fraglich). Baseline aber viel zu viel
+### B. Baseline gewinnt stark
+3. **Current Dice = 0, Baseline > 0**
+	- frame_17569_o_111_s_1_qualitative: Current hat nichts gefunden, Baseline relativ gut
+	- frame_91549_o_52_s_2_qualitative: Baseline hat korrekt nichts gefunden, Current hat versucht etwas zu segmentieren
+	- frame_54870_o_137_s_1_qualitative: Current hat pupille nicht getroffen, Baseline schon
+	- frame_252843_o_21_s_6_qualitative: Das ist ein Fehler: GT ist leer, aber es ist offensichtlich eine Pupille zu sehen, die von Current korrekt segmentiert wurde, von Baseline nicht
+4. **beide > 0, aber $\Delta Dice < -0.1$**
+	- Beispiele:
+		- Frame : Pupille ist fast vollständig zu sehen. Current segmentiert großteil der Iris mit.
+		- Frame : Pupille ist vollständig zu sehen, Current segmentiert großteil der Iris mit, segmentiert auch Baseline auch zu viel
+		- : Pupille teilweise Verdeckt. Beide segmentieren mehr als Baseline (die ist aber fraglich). Current aber viel zu viel
+### C. Beide scheitern gemeinsam
+5. **GT leer, beide Predictions nicht leer**
+	- frame_16773_o_14_s_1_qualitative, frame_253716_o_64_s_6_qualitative: Felher in GT?: es ist eine Pupille teilweise zu sehen, die von beiden Modellen gefunden wurde
+	- frame_162669_o_97_s_4_qualitative: Beide haben quatsch segmentiert (unterschiedlichen)
+	- frame_404747_o_4_s_9_qualitative: Beide haben die gleiche Stelle segmentiert, aber da ist nichts
+	- Allgemein: Augen sind hier immer zu
+6. **GT nicht leer, beide Predictions leer**
+	1. frame_0_o_67_s_1_qualitative: Pupille durch Wimpern verdeckt, beide nichts gefunden
+	2. frame_1003_o_39_s_1_qualitative: Pupille eigentlich gut sichtbar
+	3. frame_38105_o_115_s_1_qualitative: Extreme Störung durch unschärfe
+	4. frame_59413_o_8_s_2_qualitative: Haut sehr hell, Iris dunkel
+	5. frame_59414_o_128_s_2_qualitative: GT fehler
+	- Allgemein: Eigentlich alle Bilder sind Extremfälle. Viele sind auch so stark verdeckt, dass sie im Traingsset als vollständig verdeck gewertet worden wären, Blur, starke Lichter
+7. **GT nicht leer, beide Predictions nicht leer, aber beide IoU = 0**
+	- frame_405338_o_107_s_9_qualitative: Pupille schwer, aber beide haben die geliche Stelle falsch gefunden
+	- frame_394685_o_116_s_8_qualitative: Pupille sichtbar (aber iris dunkel) beide haben verschiedene Stellen als Pupille flasch erkannt
+	- Allgemein: Viel Verdeckung, ab und zu Schatten bzw. dunkle iris, manchmal Blur, Wimpern, teilweise Bilder, die nach unserem Schwellwert als nicht sichtbar gewertet worden wären
+### D. Schwere, aber nicht totale Fehler
+8. **beide Predictions vorhanden, mindestens ein Modell mit $0 < Dice < 0.5$** (schlecht)
+	- frame_57561_o_96_s_2_qualitative: Beide gleich schlecht. Beide viel zu viel segmentiert
+	- frame_92329_o_142_s_2_qualitative: Pupille teilweise verdeckt. Baseline gut, Current viel zu viel im nicht-sichtbaren Bereich segmentiert
+	- frame_117725_o_18_s_3_qualitative: Die Pupille ist durch Wimpern zweigeteilt. Beide Modelle haben eine andere hälfte erkannt und segmentiert
+	- frame_123762_o_35_s_3_qualitative: Die Pupille ist stark verdeckt und  von Wimpern umgeben. Beide Modelle segmentieren viel zu viel
+	- frame_136934_o_8_s_3_qualitative: Starker Schatten. Iris sehr dunkel. Baseline hat iris mit segmenteirt, current hat falsche Stelle segmentiert
+	- Allgemein: viele schwere Bilder, Blur, Verdeckung, Schatten