Masterarbeit-Obsidian-Vault/Prewrite/2. Grundlagen - Ergebnisse Deep Research 3.md

Gemini: Methodologische Grundlagen der Evaluation von Deep-Learning-Architekturen: Statistische Signifikanz und Leistungsmetriken in der synthetischen Pupillensegmentierung

Einführung in die formale Modellevaluation und Architekturparadigmen

Die fortschreitende Entwicklung im Bereich der Computer Vision, insbesondere bei der Verarbeitung medizinischer und biometrischer Bilddaten, hat die Notwendigkeit robuster, methodisch einwandfreier Evaluationsstrategien drastisch erhöht. In der modernen Bildverarbeitung, speziell bei der Entwicklung von tiefen neuronalen Netzen (Deep Learning) für hochspezialisierte Aufgaben wie die YOLO-basierte Pupillensegmentierung in synthetischen Augenbildern, ist die methodische Strenge der Evaluierung von absolut kritischer Bedeutung. Die Leistungsfähigkeit von Deep-Learning-Architekturen unterliegt inhärenten stochastischen Schwankungen, die durch zufällige Gewichtsinitialisierungen, den stochastischen Gradientenabstieg während der Optimierung und die endliche Größe der Validierungs- und Testdatensätze bedingt sind.1 Um verlässliche wissenschaftliche Aussagen über den tatsächlichen Erkenntnisgewinn eines neuen Ansatzes – beispielsweise den Nutzen synthetischer Trainingsdaten zur Überwindung des sogenannten Sim-to-Real-Gaps – treffen zu können, reicht ein reiner, oberflächlicher Vergleich von Mittelwerten nicht aus. Vielmehr bedarf es einer rigorosen statistischen Absicherung sowie der sorgfältigen Auswahl von Evaluationsmetriken, die das Problem des Klassenungleichgewichts (Class Imbalance) in der Pixelklassifikation mathematisch korrekt adressieren.  

Dieser Bericht liefert eine tiefgreifende, akademisch fundierte Ausarbeitung der essenziellen statistischen Methoden, der Architekturgrundlagen und der Evaluationsmetriken. Er dient als theoretisches Fundament und liefert präzise Definitionen, mathematische Formulierungen sowie die kanonischen Standardquellen, die den aktuellen Stand der Forschung in der Informatik und angewandten Statistik repräsentieren. Die Integration von klassischen statistischen Verfahren mit modernen Deep-Learning-Evaluationsansätzen stellt sicher, dass die gewonnenen Erkenntnisse über die Segmentierungsleistung nicht auf stochastischem Rauschen basieren, sondern statistisch signifikante Verbesserungen darstellen.

Architektonische Grundlagen des maschinellen Lernens in der Bildverarbeitung

Bevor die Metriken und statistischen Testverfahren zur Bewertung von Modellen im Detail erörtert werden, ist es unabdingbar, die grundlegenden Mechanismen der zugrundeliegenden Architekturen zu definieren. Die semantische Extraktion von Merkmalen aus Bilddaten hat in den letzten Jahrzehnten einen Paradigmenwechsel durchlaufen, der durch spezifische Netzwerkarchitekturen getrieben wurde.

Convolutional Neural Networks (CNNs)

Convolutional Neural Networks (Faltungsneuronale Netze) stellen das unangefochtene Rückgrat nahezu aller modernen Computer-Vision-Systeme dar. Sie revolutionierten die maschinelle Bildverarbeitung durch die Einführung von Faltungsoperationen, die lokale räumliche Abhängigkeiten in multidimensionalen Datenstrukturen erfassen.2 Im Gegensatz zu vollvernetzten mehrlagigen Perzeptrons (Multilayer Perceptrons), bei denen jedes Neuron der Folgeschicht mit jedem Neuron der vorherigen Schicht verbunden ist, nutzen CNNs das Prinzip des Weight Sharing (Gewichtsteilung) und der lokalen rezeptiven Felder.1 Ein Faltungskernel gleitet über das Eingabebild und berechnet Skalarprodukte, wodurch hierarchische Merkmalskarten (Feature Maps) entstehen. Dies reduziert die Anzahl der zu lernenden Parameter drastisch und verleiht dem Netzwerk eine translationale Äquivarianz – die Fähigkeit, ein Muster (wie die Kante einer Pupille) unabhängig von seiner exakten räumlichen Position im Bild zu erkennen.  

In der akademischen Literatur wird die Etablierung dieser gradientenbasierten Lernmethoden für Dokumenten- und Bilderkennung historisch auf das wegweisende Paper von Yann LeCun und Kollegen zurückgeführt. Diese Publikation formalisierte die Architektur, die heute als LeNet bekannt ist, und bewies die Effizienz von Backpropagation in Faltungsnetzen.2 Die korrekte und vollständige bibliographische Referenz für diesen Meilenstein lautet: LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). "Gradient-Based Learning Applied to Document Recognition." Proceedings of the IEEE, 86(11), 2278-2324.3 Für die moderne, umfassende mathematische und konzeptionelle Definition von CNNs in der gegenwärtigen Deep-Learning-Forschung wird hingegen standardmäßig das von Ian Goodfellow, Yoshua Bengio und Aaron Courville verfasste Lehrbuch zitiert, welches als das definitive Standardwerk des Fachgebiets gilt.5 Die entsprechende Referenz lautet: Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.7

YOLO als Konzept der Objekterkennung

Während klassische CNNs primär für die Bildklassifikation entwickelt wurden, erfordert die Lokalisierung von Objekten in einem Bild komplexere Ansätze. Vor der Einführung von YOLO (You Only Look Once) basierten hochpräzise Objekterkennungsmodelle in der Regel auf mehrstufigen Pipelines, wie der R-CNN-Familie.8 Diese älteren Architekturen generierten zunächst in einem separaten Schritt Tausende von potenziellen Regionenvorschlägen (Region Proposals) und wandten anschließend einen Klassifikator auf jeden dieser Vorschläge an.9 Dieser Prozess war rechnerisch extrem aufwendig und verhinderte Echtzeitanwendungen.  

YOLO re-konzeptualisierte die Objekterkennung drastisch als ein einziges, zusammenhängendes Regressionsproblem.8 Anstatt das Bild in iterativen Schritten zu analysieren, betrachtet das YOLO-Netzwerk das gesamte Bild exakt ein einziges Mal (daher der Name). Das Eingabebild wird in ein feines, räumliches Gitter (Grid) unterteilt. Jede Gitterzelle ist simultan dafür verantwortlich, sowohl Bounding Boxes (inklusive der Konfidenzwerte für die Objektpräsenz) als auch die klassenspezifischen Wahrscheinlichkeiten vorherzusagen.8 Dieser unifizierte Ansatz ermöglichte erstmals eine End-to-End-Optimierung direkt auf die Erkennungsleistung und erreichte beispiellose Inferenzgeschwindigkeiten in Echtzeit.8 Die korrekte bibliographische Angabe für das grundlegende YOLOv1-Paper lautet: Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). "You Only Look Once: Unified, Real-Time Object Detection." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788.8

Abgrenzung von Segmentierungsparadigmen

In komplexen Bildverarbeitungsszenarien, wie beispielsweise binokularen Aufnahmen von Augen oder Szenarien mit mehreren verdeckten Objekten, ist die exakte Begriffsabgrenzung der Segmentierungstypen entscheidend für das Architekturdesign und die Wahl der Evaluationsmetrik.12 Die Segmentierung geht weit über die bloße Bounding-Box-Erkennung von YOLO hinaus und strebt eine pixelgenaue Klassifikation an.  

Die semantische Segmentierung weist jedem einzelnen Pixel im Bild ein bestimmtes Klassenlabel zu (beispielsweise "Pupille", "Iris", "Sklera" oder "Hintergrund").12 Der entscheidende Aspekt hierbei ist, dass alle Objekte, die zur selben semantischen Klasse gehören, als eine einzige, zusammenhängende Entität behandelt werden. Das Modell unterscheidet nicht zwischen mehreren individuellen Objekten derselben Klasse; befinden sich zwei Pupillen im Bild, werden die entsprechenden Pixel lediglich der Klasse "Pupille" zugeordnet, ohne zu spezifizieren, zu welchem Auge sie gehören.13  

Die Instanzsegmentierung hingegen kombiniert die Konzepte der Objekterkennung mit denen der semantischen Segmentierung.12 Sie identifiziert nicht nur die zugehörige semantische Klasse eines Pixels, sondern trennt und kennzeichnet diskrete, einzelne Objekte derselben Klasse voneinander.13 In diesem Paradigma würden "Pupille 1" und "Pupille 2" unterschiedliche, eindeutige Instanz-Identifikatoren (IDs) erhalten, selbst wenn sie überlappen würden.12 Für ein allgemeines Grundlagenkapitel, das diese Begriffe im Rahmen von Deep Learning definiert, ist ein hochzitiertes Survey-Paper die ideale Referenz: Garcia-Garcia, A., Orts-Escolano, S., Oprea, S., Villena-Martinez, V., & Garcia-Rodriguez, J. (2017). "A Review on Deep Learning Techniques Applied to Semantic Segmentation." arXiv preprint arXiv:1704.06857.15 Sollte der Fokus noch spezifischer auf den architektonischen Unterschieden zur Instanzsegmentierung liegen, ist das Grundlagenpaper zu Mask R-CNN von He et al. (2017) die kanonische Quelle, in dem die begrifflichen Unterschiede formell exakt abgrenzt werden.12

| Eigenschaft | Semantische Segmentierung | Instanzsegmentierung |

| :---- | :---- | :---- |

| Zielsetzung | Pixelweise Klassifikation nach Objektart | Pixelweise Unterscheidung individueller Objekte |

| Behandlung gleicher Klassen | Gruppiert alle Pixel derselben Klasse (z.B. alle Pupillen) | Weist jedem Einzelobjekt eine eindeutige ID zu |

| Umgang mit Überlappung | Pixel gehören nur zur Klasse, keine Trennung möglich | Löst Überlappungen durch individuelle Instanz-Masken auf |

| Klassische Architekturen | Fully Convolutional Networks (FCN), U-Net | Mask R-CNN, YOLO-Seg |

| Referenzquellen | Garcia-Garcia et al. (2017) | He et al. (2017) |

Datenmanagement: Train-, Validation- und Test-Split

Um das Phänomen des Overfittings (Überanpassung) zu vermeiden und die Generalisierungsfähigkeit des Modells – besonders beim Transferlernen von rein synthetischen auf reale Augendaten – statistisch sicherzustellen, muss der verfügbare Datensatz strikt in separierte Teilmengen untergliedert werden.6 Das Modell lernt seine internen Parameter (die Gewichte der Faltungsfilter) ausschließlich auf den Trainingsdaten.6 Da tiefe neuronale Netze jedoch eine enorme Modellkapazität besitzen, können sie Trainingsdaten schlicht auswendig lernen, was zu einer hervorragenden Leistung auf dem Trainingsset, aber zum völligen Versagen bei neuen Daten führt.6  

Aus diesem Grund wird ein Validierungsdatensatz (Validation Set) benötigt. Dieser dient der iterativen Optimierung der Hyperparameter (wie Learning Rate, Batch-Größe oder der Epochenanzahl für das Early Stopping).6 Das Validierungsset liefert ein unvoreingenommenes Feedback über die Generalisierung während des Trainingsprozesses. Da jedoch die Hyperparameter aktiv auf die Leistung des Validierungssets abgestimmt werden, "leckt" indirekt Information aus diesem Datensatz in das Modell.18 Daher wird das Modell final und absolut unverfälscht ausschließlich ein einziges Mal auf den unabhängigen Testdaten evaluiert, um den wahren Generalisierungsfehler zu schätzen.6 Als Standardlehrbuch für dieses essenzielle Konzept der maschinellen Lernpraxis dient erneut das Werk von Goodfellow et al.: Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. Die detaillierte theoretische Begründung findet sich dort spezifisch in Kapitel 5.1 Ergänzend kann für eine noch tiefergehende statistische Betrachtung des Bias-Variance-Tradeoffs auf Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer, verwiesen werden.5

Evaluationsmetriken in der Segmentierung und das Accuracy-Paradoxon

Die qualitative und quantitative Bewertung von Vorhersagemasken, die von Modellen wie YOLO generiert werden, ist der Kern der methodischen Evaluation. Segmentierungsaufgaben, wie das Extrahieren einer Pupille aus einem hochauflösenden Augenbild, erfordern räumliche Metriken, die die Pixelübereinstimmung präzise messen und gleichzeitig Resilienz gegenüber den spezifischen statistischen Verteilungen von Bilddaten aufweisen.

Räumliche Definition der Verwirrungsmatrix

Um Segmentierungsmetriken mathematisch zu definieren, muss das Problem der Objektextraktion auf die einfachste Ebene heruntergebrochen werden: Es handelt sich um eine pixelweise binäre Klassifikationsaufgabe (Klasse 1: Pupille vs. Klasse 0: Hintergrund). Die klassische Verwirrungsmatrix (Confusion Matrix) wird dabei räumlich auf die Bildpixel projiziert.22 In binären Segmentierungsmasken werden die Vorhersagen des Modells iterativ, Pixel für Pixel, mit der von menschlichen Annotatoren erstellten Ground-Truth-Maske verglichen.24  

Daraus ergeben sich vier fundamentale Mengen:

• True Positives (TP): Dies sind die Pixel, die sowohl in der Ground-Truth-Referenz als auch in der Modellvorhersage korrekt als Vordergrund (Pupille) markiert sind. Sie bilden die tatsächliche Schnittmenge der Erkennung.22  

• True Negatives (TN): Dies sind die Pixel, die das Modell korrekt als Hintergrund identifiziert hat und die auch in der Realität Hintergrund sind. In Augenbildern umfasst dies typischerweise die Sklera, die Haut und Wimpern.  

• False Positives (FP): Dies sind Pixel, die das Modell fälschlicherweise als Vordergrund (Pupille) klassifiziert hat, obwohl sie in der Ground-Truth zum Hintergrund gehören. Dies entspricht einer Übersegmentierung (Over-segmentation) oder einem Fehlalarm ("False Alarms").22  

• False Negatives (FN): Dies sind die Pixel des wahren Vordergrunds, die das Modell verpasst und fälschlicherweise dem Hintergrund zugeordnet hat. Dies stellt eine Untersegmentierung (Under-segmentation) oder ein Verpassen des Objekts ("Misses") dar.22

Eine konzeptionelle geometrische Repräsentation verdeutlicht dies: Die True Positives bilden die exakte Schnittmenge zwischen der Vorhersage und der Ground-Truth-Maske. Die False Positives manifestieren sich als der Bereich der Vorhersage, der über die Ground-Truth hinausragt, während die False Negatives den Bereich der Ground-Truth darstellen, der von der Vorhersage nicht abgedeckt wurde. Die True Negatives hingegen dominieren als gewaltige Hintergrundfläche das restliche Bild, weshalb sie in robusten Metriken wie IoU und Dice, die den Fokus auf das kleine Zielobjekt legen, systematisch ignoriert werden.

Das Genauigkeits-Paradoxon (Accuracy Paradox) bei Klassenungleichgewicht

Es liegt nahe, die Leistung eines Modells durch die simple Metrik der Genauigkeit (Accuracy) zu bewerten. Diese berechnet sich als der Anteil aller korrekten Vorhersagen an der Gesamtzahl der Pixel: \\frac{TP \+ TN}{TP \+ TN \+ FP \+ FN}.26 In der Praxis der medizinischen und biometrischen Bildverarbeitung ist dieser Ansatz jedoch fatal.  

In typischen Augenbildern nimmt die Pupille oft nur einen verschwindend geringen Bruchteil der gesamten Bildfläche ein (beispielsweise 1\\% bis 5\\%), wodurch ein massives Klassenungleichgewicht (Class Imbalance) zugunsten der Hintergrundklasse entsteht.28 Ein völlig triviales, dysfunktionales Modell (ein sogenannter "No-Skill Classifier"), das blind und ignorant jedes Pixel im Bild als "Hintergrund" klassifiziert, würde in einem solchen Szenario, in dem die Pupille 1\\% der Fläche ausmacht, eine beeindruckende Accuracy von 99\\% erreichen.27  

Die Accuracy-Metrik wird bei extrem unbalancierten Datensätzen mathematisch fast ausschließlich durch die gigantische Menge der Mehrheitsklasse (True Negatives) dominiert.28 Sie maskiert somit das völlige Versagen des Modells bei der Erkennung der eigentlich kritischen, aber kleinen Minderheitsklasse (der Pupille). Dieses Phänomen ist in der Literatur als Accuracy Paradoxon bekannt und macht die Genauigkeit zu einer hochgradig irreführenden Metrik für Segmentierungsaufgaben.27 Eine exzellente und in der Forschungsliteratur standardmäßig zitierte Quelle für das Argument, warum Accuracy bei Imbalanced Data versagt und alternative Metriken zwingend erforderlich sind, ist das Paper von He und Garcia: He, H., & Garcia, E. A. (2009). "Learning from Imbalanced Data." IEEE Transactions on Knowledge and Data Engineering, 21(9), 1263-1284.31

Intersection over Union (IoU) und der Jaccard-Index

Um das Genauigkeits-Paradoxon zu umgehen, bedient sich die Computer Vision räumlicher Überlappungsmetriken, die True Negatives vollständig aus der Berechnung ausschließen. Die Intersection over Union (IoU) hat sich hierbei als die De-facto-Standardmetrik zur Evaluierung räumlicher Übereinstimmungen in Objekterkennungs- und Segmentierungsarchitekturen etabliert.24  

Der IoU, mathematisch formalisiert als Jaccard-Index, quantifiziert die Ähnlichkeit und Diversität zweier Mengen durch das Verhältnis ihrer Schnittmenge (Intersection) zu ihrer Vereinigungsmenge (Union).34 In der Bildsegmentierung teilt der IoU die Anzahl der korrekt vorhergesagten Pixel (Schnittmenge) durch die Gesamtanzahl aller Pixel, die entweder in der Ground-Truth oder in der Vorhersage als Vordergrund markiert sind.22  

Die mathematische Formulierung lautet:

IoU \= \\frac{|A \\cap B|}{|A \\cup B|} \= \\frac{TP}{TP \+ FP \+ FN}  

22  

Diese Metrik weist die hochgradig vorteilhafte Eigenschaft der Skaleninvarianz auf. Sie bewertet die Qualität der Segmentierung unabhängig von der absoluten Größe des Objekts im Bild, da die Überlappung stets relativ zur Gesamtfläche der beteiligten Masken betrachtet wird.24 Ein Wert von 1.0 indiziert eine perfekte Übereinstimmung, während 0.0 anzeigt, dass sich Vorhersage und Ground-Truth in keinem einzigen Pixel überschneiden. Da die gewaltige Anzahl der Hintergrundpixel (TN) in der Formel nicht auftaucht, bleibt der IoU auch bei winzigen Pupillen in extrem hochauflösenden Bildern eine schonungslose und verlässliche Metrik für die Leistung des Modells.35  

Hinsichtlich der Zitierfähigkeit existieren zwei komplementäre Ansätze, die den Ursprung und die moderne Anwendung abdecken: Als originäre Quelle, die den mathematischen Ursprung des Indexes als universelles Ähnlichkeitsmaß der Mengenlehre (ursprünglich in der Botanik zur Analyse der alpinen Flora) definiert, dient das Paper von Paul Jaccard: Jaccard, P. (1912). "The Distribution of the Flora in the Alpine Zone." New Phytologist, 11(2), 37-50.34 Für die moderne Einordnung in der Bildverarbeitung und medizinischen Segmentierung ist das Survey-Paper von Taha und Hanbury eine hervorragende und völlig ausreichende Referenz, um die Wahl des IoU für 3D- und 2D-Segmentierungsaufgaben zu rechtfertigen: Taha, A. A., & Hanbury, A. (2015). "Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool." BMC Medical Imaging, 15(1), 29.39

Der Dice-Koeffizient und seine Beziehung zum F1-Score

Neben dem IoU ist der Dice-Koeffizient (auch Sørensen-Dice-Koeffizient genannt) die zweite essenzielle Metrik in der Segmentierungsliteratur. Er korreliert stark mit dem IoU, gewichtet jedoch die True Positives in der Berechnung anders, was zu subtilen, aber wichtigen Unterschieden in der Bewertung führt.35  

Der Dice-Koeffizient ist ein Ähnlichkeitsmaß, das den Überlappungsgrad zweier Stichproben bewertet, indem es die doppelte Schnittmenge durch die Summe der Elemente beider Mengen teilt.23 Die mathematische Formulierung lautet:

Dice \= \\frac{2 \\cdot |A \\cap B|}{|A| \+ |B|} \= \\frac{2 \\cdot TP}{(TP \+ FP) \+ (TP \+ FN)} \= \\frac{2 \\cdot TP}{2 \\cdot TP \+ FP \+ FN}  

23  

Im speziellen Kontext der binären Klassifikation (und somit bei der pixelweisen Erstellung binärer Segmentierungsmasken für eine einzelne Klasse wie die Pupille) ist der Dice-Koeffizient mathematisch absolut identisch mit dem F1-Score.32 Der F1-Score ist definiert als das harmonische Mittel aus Precision (\\frac{TP}{TP+FP}) und Recall (\\frac{TP}{TP+FN}). Setzt man diese beiden Terme in die Formel des harmonischen Mittels ein, kürzt sich der Ausdruck exakt zu \\frac{2TP}{2TP \+ FP \+ FN}, was den Beweis der Äquivalenz liefert.23  

Die Originalpublikation, die diese Metrik in die Wissenschaft einführte, ist durch Lee R. Dice verfasst worden und stellt die kanonische Zitierquelle dar: Dice, L. R. (1945). "Measures of the Amount of Ecologic Association Between Species." Ecology, 26(3), 297-302.41  

Der Dice-Koeffizient und der IoU messen prinzipiell dieselbe räumliche Überlappung, verhalten sich monoton zueinander und lassen sich durch einfache algebraische Umformungen direkt ineinander überführen.40 Die Transformation vom IoU zum Dice-Koeffizienten lautet:

Dice \= \\frac{2 \\cdot IoU}{1 \+ IoU}  

23  

Diese nicht-lineare mathematische Beziehung hat gravierende praktische Implikationen für die Interpretation von Forschungsergebnissen. Da der IoU in seinem Nenner die Schnittmenge subtrahiert (um Doppelzählungen der Vereinigung zu vermeiden), bestraft er räumliche Abweichungen, False Positives und False Negatives signifikant härter als der Dice-Koeffizient.35 Daraus folgt ein axiomatischer Zusammenhang: Der berechnete Dice-Wert für eine gegebene Vorhersage fällt (mit Ausnahme der absoluten Ränder bei exakt 0.0 und 1.0) stets numerisch höher aus als der korrespondierende IoU-Wert.40

![][image1]

In der Deep-Learning-Praxis, insbesondere beim Training von Architekturtypen wie U-Net oder YOLO, wird der Dice-Koeffizient häufig invertiert als Verlustfunktion (Dice Loss = 1 \- Dice) verwendet. Dies liegt daran, dass der Dice Loss differenzierbar angenähert werden kann und durch die Inklusion sowohl von False Positives als auch False Negatives im Nenner bei extrem unbalancierten Klassen (wie sehr kleinen Pupillen) deutlich gutmütigere und stabilere Gradienten für die Backpropagation liefert als die klassische binäre Kreuzentropie (Binary Cross Entropy).40

Statistische Methoden für den Modellvergleich und die Inferenz

Nachdem ein Segmentierungsmodell trainiert und auf einem unabhängigen Testdatensatz evaluiert wurde, resultiert daraus eine Verteilung von Leistungsmetriken (wie IoU-Werten) für jedes einzelne Bild. Ein zentrales Problem der Deep-Learning-Forschung ist, dass viele Arbeiten lediglich den arithmetischen Mittelwert (Mean IoU) berichten, ohne die statistische Signifikanz der Ergebnisse zu prüfen.  

Leistungsmetriken in der Bildsegmentierung sind strikt im Intervall $$ beschränkt und weisen in der Praxis fast immer eine starke Links- oder Rechtsschiefe auf. Ein robustes Modell erreicht bei den meisten Bildern exzellente Werte nahe 1.0, versagt jedoch bei einigen wenigen Ausreißern (beispielsweise durch starke Verdeckung der Pupille durch Wimpern oder extreme Lichtreflexionen) komplett und generiert Werte nahe 0.0. Diese Eigenschaften verletzen die grundlegende mathematische Normalverteilungsannahme parametrischer Tests (wie des gepaarten t-Tests) signifikant.46 Die empirische Verteilung der Fehlerterme zwingt den Forscher dazu, verteilungsfreie (nichtparametrische) Verfahren für Hypothesentests sowie fortgeschrittene Resampling-Methoden für die Berechnung von Konfidenzintervallen anzuwenden.

Der Wilcoxon-Vorzeichen-Rang-Test (Wilcoxon Signed-Rank Test)

Der von Frank Wilcoxon 1945 eingeführte Vorzeichen-Rang-Test ist das verteilungsfreie, nichtparametrische Äquivalent zum klassischen gepaarten t-Test.46 Er bewertet, ob zwei verbundene Stichproben aus derselben Grundgesamtheit stammen, indem er nicht nur die Vorzeichen der Differenzen zwischen den gepaarten Beobachtungen analysiert, sondern auch deren absolute Größe in Form von Rängen berücksichtigt.46  

Dieses Verfahren eignet sich konzeptionell ideal, um die Performance zweier konkurrierender Modelle (beispielsweise ein Baseline-YOLO-Modell im Vergleich zu einem YOLO-Modell, das zusätzlich mit synthetischen Augenbildern trainiert wurde) auf exakt demselben Testdatensatz bildweise zu vergleichen. Da die Evaluierung beider Modelle auf denselben Bildern stattfindet, sind die Ergebnisse inhärent gepaart. Der Test ordnet den absoluten Differenzen der Metriken zweier gepaarter Messreihen Ränge zu und versieht diese anschließend wieder mit dem Vorzeichen der ursprünglichen Differenz.46 Durch diese Rangtransformation wird das Verfahren extrem robust gegenüber starken Ausreißern (kompletten Segmentierungsfehlern auf einzelnen Bildern), die den Mittelwert bei einem t-Test unverhältnismäßig verzerren würden.46  

Formulierung der Nullhypothese (H\_0): Die formale Nullhypothese (H\_0) des Wilcoxon-Vorzeichen-Rang-Tests besagt, dass der Median der Differenzen zwischen den gepaarten Stichproben gleich null ist (m\_D \= 0). Äquivalent und präziser formuliert lautet die Nullhypothese, dass die Verteilung der Differenzen D\_i \= X\_i \- Y\_i symmetrisch um den Wert null liegt.46 Die entsprechende Alternativhypothese (H\_A) für einen zweiseitigen Test besagt, dass der Median der Differenzen ungleich null ist, was statistisch belegt, dass eines der beiden Modelle systematisch bessere Metriken liefert als das andere.46  

Voraussetzungen für die Anwendbarkeit:  

Der Test kommt unter folgenden drei strikten Prämissen zur Anwendung, die ihn für die Segmentierungsevaluation prädestinieren:

1. Gepaarte Stichproben (Abhängigkeit): Die Datenpaare müssen zwingend von denselben Untersuchungsobjekten stammen. Im Kontext der Masterarbeit bedeutet dies, dass der IoU-Score von Modell A und Modell B auf demselben Testbild i berechnet wird, um ein gültiges Paar zu bilden.46  

2. Keine Normalverteilungsannahme: Die Differenzen der Paare müssen nicht aus einer normalverteilten Grundgesamtheit stammen, weshalb der Test bei stark schiefen Segmentierungsmetriken das Mittel der Wahl ist, wenn parametrische Verfahren scheitern.46  

3. Symmetrie der Differenzverteilung: Für eine reine Interpretation des Tests als Test auf den wahren Location-Parameter (den Median) wird theoretisch angenommen, dass die Verteilung der Differenzen symmetrisch ist (auch wenn sie nicht normalverteilt ist).49 Ist diese Symmetrieannahme verletzt, behält der Test dennoch seine Gültigkeit, testet dann jedoch allgemeiner auf stochastische Homogenität (Exchangeability) der Verteilungen.

Unterschied zum Wilcoxon-Rangsummentest (Mann-Whitney-U-Test): Die Terminologie der nichtparametrischen Verfahren führt in der Praxis oft zu Verwirrungen, da die Namen ähnlich sind. Der wesentliche konzeptionelle und mathematische Unterschied liegt in der Natur der Abhängigkeit der Stichproben: Der Wilcoxon-Vorzeichen-Rang-Test (Signed-Rank Test) wird ausschließlich für abhängige beziehungsweise gepaarte Stichproben verwendet.46 Er berechnet die Differenz innerhalb jedes Paares. Der Wilcoxon-Rangsummentest, der in der Fachliteratur synonym und sehr häufig als Mann-Whitney-U-Test bezeichnet wird, ist hingegen für den Vergleich von unabhängigen beziehungsweise ungepaarten Stichproben konzipiert.47 Er würde angewendet werden, wenn man die Leistung eines Modells auf Testdatensatz A mit der Leistung auf einem völlig anderen, unabhängigen Testdatensatz B vergleichen möchte. In diesem Fall gibt es keine Paare, weshalb alle Beobachtungen beider Gruppen gepoolt und gemeinsam in eine Rangreihe gebracht werden.48

| Merkmal | Wilcoxon-Vorzeichen-Rang-Test | Wilcoxon-Rangsummentest (Mann-Whitney-U) |

| :---- | :---- | :---- |

| Abhängigkeit | Gepaarte Stichproben (abhängig) | Unabhängige Stichproben (ungepaart) |

| Parametrisches Äquivalent | Gepaarter t-Test | Unabhängiger Zweistichproben-t-Test |

| Vorgehen bei Rängen | Ränge basieren auf absoluten Differenzen innerhalb der Paare | Ränge basieren auf gepoolten Originalwerten beider Gruppen |

| Anwendungsbeispiel Segmentierung | Vergleich zweier Modelle auf demselben Datensatz (Bild für Bild) | Vergleich der Modellleistung auf zwei unterschiedlichen Datensätzen |

Zitierbare Referenzen:  

Für eine Masterarbeit im Bereich Informatik oder Statistik ist die Referenzierung fundierter Lehrbücher für derartige Tests zwingend. Beide nachfolgenden Werke sind absolute Standardwerke und in der akademischen Literatur uneingeschränkt zitierfähig:

• Hollander, M., Wolfe, D. A., & Chicken, E. (2014). Nonparametric Statistical Methods (3rd ed.). John Wiley & Sons. Dieses Buch ist ein dediziertes, tiefgreifendes Standardwerk für verteilungsfreie Methoden, das detailliert in Formeln und theoretischen Herleitungen ist und den Test umfassend abhandelt.47  

• Sheskin, D. J. (2020). Handbook of Parametric and Nonparametric Statistical Procedures (5th ed.). Chapman and Hall/CRC. Dies ist ein exzellentes Handbuch, das den Test präzise als "Test 6" (bzw. "Test 4" in früheren Auflagen) definiert, die Nullhypothese detailliert aufschlüsselt und exzellente Begründungen für die Wahl des Tests liefert.53

BCa-Bootstrap-Konfidenzintervalle (Bias-Corrected and Accelerated)

Während Hypothesentests wie der Wilcoxon-Test eine binäre Entscheidung über die Signifikanz eines Unterschieds liefern, sind Konfidenzintervalle für die wissenschaftliche Berichterstattung oft von übergeordnetem Wert. Sie quantifizieren die Unsicherheit eines Punktschätzers (wie des aggregierten Mean IoU oder Mean Dice Scores) auf dem Testdatensatz. In der Deep-Learning-Forschung wird typischerweise nur ein einziger Testdatensatz zur finalen Evaluierung herangezogen. Da die zugrundeliegende Verteilung der Metriken wie dargelegt unbekannt und schief ist, scheitern klassische analytische Formeln zur Berechnung des Standardfehlers. Um dennoch ein valides Konfidenzintervall zu berechnen, ohne unrealistische parametrische Verteilungsannahmen zu treffen, ist das statistische Bootstrapping unerlässlich.57  

Das Konzept des Bootstrapping: Bootstrapping ist ein iteratives, computergestütztes, nichtparametrisches Resampling-Verfahren zur empirischen Schätzung von Stichprobenverteilungen.57 Anstatt abstrakte Parameter aus theoretischen Verteilungen (wie der Glockenkurve der Normalverteilung) abzuleiten, nutzt das Verfahren die vorhandenen Daten selbst als Schätzung der Grundgesamtheit. Das Kernprinzip besteht darin, durch $B$-maliges (wobei B typischerweise 1000 bis 10000 beträgt) zufälliges Ziehen mit Zurücklegen aus dem Originaldatensatz eine große Anzahl an künstlichen "Bootstrap-Stichproben" zu generieren.57 Wichtig ist, dass jede Bootstrap-Stichprobe exakt dieselbe Größe aufweist wie der Originaldatensatz.57 Durch das Ziehen mit Zurücklegen werden in einer Bootstrap-Stichprobe einige Originalbilder mehrfach auftauchen, während andere fehlen. Für jede dieser B künstlichen Stichproben wird der interessierende Parameter (beispielsweise der durchschnittliche Dice-Score über den Datensatz) neu berechnet. Die resultierende Verteilung dieser B Schätzwerte bildet die empirische Bootstrap-Verteilung des Schätzers, aus der Varianz und Konfidenzintervalle abgeleitet werden können.58  

Die Notwendigkeit der Bias-Korrektur und Beschleunigung (BCa): Das einfachste Vorgehen, das sogenannte Perzentil-Bootstrap, ermittelt ein Konfidenzintervall (z.B. ein $95\%$-Intervall), indem es schlicht die Werte an den empirischen Quantilen (hier das $2{,}5\%$- und $97{,}5\%$-Perzentil) der geordneten Bootstrap-Verteilung abgreift.58 Dieses naive Vorgehen nimmt jedoch implizit an, dass der Schätzer völlig unverzerrt (unbiased) ist und dass eine (theoretische) Transformation existiert, welche die Verteilung symmetrisch macht und deren Varianz unabhängig vom Parameter selbst ist. Bei den hochkomplexen Verteilungen von neuronalen Netzen, insbesondere bei begrenzten Metriken wie dem IoU, ist dies fast nie der Fall, was beim einfachen Perzentil-Bootstrap zu gravierenden Problemen mit Überabdeckung (Overcoverage) oder Unterabdeckung führt.59  

Das Bias-Corrected and Accelerated (BCa)-Verfahren korrigiert diese beiden wesentlichen Mängel mathematisch fundiert und liefert extrem präzise Intervalle:

1. Bias-Korrektur (\\hat{z}\_0): Das Verfahren misst systematische mediane Verzerrungen der Bootstrap-Verteilung. Es berechnet den Anteil der generierten Bootstrap-Schätzwerte, die strikt kleiner als der Punktschätzer auf dem Originaldatensatz sind. Ist dieser Anteil ungleich 50\\%, liegt ein Bias vor. Ein aus der inversen Standardnormalverteilung (\\Phi^{-1}) abgeleiteter Faktor \\hat{z}\_0 quantifiziert und korrigiert diese systematische Verschiebung.59  

2. Acceleration (Beschleunigung, \\hat{a}): Die Varianz eines Schätzers ist oft nicht konstant, sondern ändert sich in Abhängigkeit vom wahren Parameterwert (Schiefe). Der Beschleunigungsfaktor \\hat{a} modelliert exakt diese Rate der Veränderung des Standardfehlers. Er wird üblicherweise über ein analytisches Jackknife-Verfahren berechnet. Das Jackknife ist ein Resampling-Verfahren ohne Zurücklegen, bei dem iterativ ("leave-one-out") exakt eine Beobachtung aus dem Datensatz entfernt wird, um den Einfluss einzelner Datenpunkte auf die Varianzschätzung zu ermitteln.59

Durch die mathematische Einbeziehung der Faktoren \\hat{z}\_0 und \\hat{a} verschiebt und skaliert das BCa-Verfahren die abzugreifenden Perzentile der Bootstrap-Verteilung dynamisch. Anstatt stumpf bei 2{,}5\\% und 97{,}5\\% abzugreifen, werden die Indizes auf Basis von Bias und Skewness angepasst, was zu weitaus reliableren, asymmetrischen und exakteren Konfidenzintervallen führt, selbst bei starker Schiefe der Metriken und sehr kleinen Teststichproben.59  

Standardquelle für BCa-Konfidenzintervalle: Obwohl Bradley Efron das Konzept des BCa-Bootstraps in einem Paper aus dem Jahr 1987 erstmals vorstellte 59, ist das von ihm und Robert Tibshirani verfasste Lehrbuch aus dem Jahr 1993 das unangefochtene, weltweit anerkannte Standardwerk der Statistik, das die Methodik in der Breite etablierte und umfassend mathematisch erklärt.58 Es ist die von der Fachwelt absolut präferierte Zitierquelle für die anwendungsorientierte Begründung der Methode in Forschungsarbeiten.  

Die korrekte, vollständige bibliographische Angabe lautet: Efron, B., & Tibshirani, R. J. (1993). An Introduction to the Bootstrap. Chapman & Hall/CRC. 58

Synthese der methodischen Evaluation

Für den methodischen Aufbau einer Masterarbeit im Bereich der automatisierten Bildsegmentierung bildet das präzise Zusammenspiel dieser erörterten Komponenten ein extrem robustes und unangreifbares wissenschaftliches Gerüst. Durch die bewusste Entscheidung gegen die irreführende Accuracy und den systematischen Einsatz von IoU 34 und dem Dice-Koeffizient 23 wird garantiert, dass die Segmentierungsleistung am marginalen Zielobjekt (der Pupille) objektiv und skaleninvariant bewertet wird, ohne vom dominierenden Bildhintergrund verfälscht zu werden.  

Durch die Anwendung des Wilcoxon-Vorzeichen-Rang-Tests 46 wird dem Umstand Rechnung getragen, dass die resultierenden Fehlerverteilungen durch ihre Begrenzung auf das Intervall $$ stark von der Normalverteilung abweichen. Dieses nichtparametrische Verfahren erlaubt einen fairen, ausreißerresistenten Vergleich konkurrierender Modelle. Die zusätzliche Flankierung dieser Signifikanztests durch BCa-Bootstrapping 59 zur Ermittlung von Konfidenzintervallen sichert die Ergebnisse statistisch extrem hochwertig ab. Diese Kombination aus spezialisierten Computervision-Metriken und fortgeschrittenen Resampling-Statistiken stellt sicher, dass jede identifizierte Verbesserung der Architektur – etwa durch die Einbeziehung synthetischer Augenbilder – auf echten methodischen Fortschritten beruht und nicht das Artefakt unzureichender Evaluationstechniken darstellt.

Referenzen

1. www.deeplearningbook.org, Zugriff am April 1, 2026, https://www.deeplearningbook.org/contents/mlp.html  

2. Gradient-Based Learning Applied to Document Recognition, Zugriff am April 1, 2026, https://www.iro.umontreal.ca/~lisa/pointeurs/ieeeproc98.ps  

3. LeCun, Y., Bottou, L., Bengio, Y., Haffner, P., et al. (1998) Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86, 2278-2324. - References - SCIRP, Zugriff am April 1, 2026, https://www.scirp.org/reference/referencespapers?referenceid=2571019  

4. (PDF) Gradient-Based Learning Applied to Document Recognition - ResearchGate, Zugriff am April 1, 2026, https://www.researchgate.net/publication/2985446_Gradient-Based_Learning_Applied_to_Document_Recognition  

5. Textbooks — Applied Data Analysis and Machine Learning, Zugriff am April 1, 2026, https://compphysics.github.io/MachineLearning/doc/LectureNotes/_build/html/textbooks.html  

6. Deep Learning - GitHub, Zugriff am April 1, 2026, https://raw.githubusercontent.com/JDwangmo/deepLearningBook/master/book/deeplearning-%E5%B8%A6%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE.pdf  

7. Deep+Learning+Ian+Goodfellow.pdf - AIKosh, Zugriff am April 1, 2026, https://aikosh.indiaai.gov.in/static/Deep+Learning+Ian+Goodfellow.pdf  

8. You Only Look Once: Unified, Real-Time Object Detection | Request PDF - ResearchGate, Zugriff am April 1, 2026, https://www.researchgate.net/publication/278049038_You_Only_Look_Once_Unified_Real-Time_Object_Detection  

9. You Only Look Once: Unified, Real-Time Object Detection - The Computer Vision Foundation, Zugriff am April 1, 2026, https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Redmon_You_Only_Look_CVPR_2016_paper.pdf  

10. Redmon, J., Divvala, S., Girshick, R., et al. (2016) You Only Look Once Unified, Real-Time Object Detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, 27-30 June 2016, 779-788. - References - Scirp.org., Zugriff am April 1, 2026, https://www.scirp.org/reference/referencespapers?referenceid=3532601  

11. You Only Look Once: Unified, Real-Time Object Detection, Zugriff am April 1, 2026, https://oamonitor.ireland.openaire.eu/rfo/sfi_rfo/search/publication?pid=10.1109%2Fcvpr.2016.91  

12. Mask R-CNN, Zugriff am April 1, 2026, https://arxiv.org/abs/1703.06870  

13. Semantic vs Instance vs Panoptic: Which Image Segmentation Technique To Choose?, Zugriff am April 1, 2026, https://www.labellerr.com/blog/semantic-vs-instance-vs-panoptic-which-image-segmentation-technique-to-choose/  

14. Semantic vs instance vs panoptic segmentation | by Abhishek Jain - Medium, Zugriff am April 1, 2026, https://medium.com/@abhishekjainindore24/semantic-vs-instance-vs-panoptic-segmentation-b1f5023da39f  

15. A Review on Deep Learning Techniques Applied to Semantic Segmentation | alphaXiv, Zugriff am April 1, 2026, https://www.alphaxiv.org/overview/1704.06857  

16. A Review on Deep Learning Techniques Applied to Semantic Segmentation - arXiv, Zugriff am April 1, 2026, https://arxiv.org/abs/1704.06857  

17. A Review on Deep Learning Techniques Applied to Semantic Segmentation. - SciSpace, Zugriff am April 1, 2026, https://scispace.com/papers/a-review-on-deep-learning-techniques-applied-to-semantic-1e39t2or5p?citations_page=195  

18. Improving the Validation and Test Split - Chang Hsin Lee, Zugriff am April 1, 2026, https://changhsinlee.com/better-validation-test/  

19. Best Practices for Deep Learning for Science - Argonne Leadership Computing Facility, Zugriff am April 1, 2026, https://www.alcf.anl.gov/files/BestPracticesScientificDL_Bethany-Bethany%20Lusch.pdf  

20. Notes on Goodfellow's "Deep Learning" Textbook - David Stutz, Zugriff am April 1, 2026, https://davidstutz.de/notes-on-goodfellows-deep-learning-textbook/  

21. Which of these textbooks should I start first? : r/learnmachinelearning - Reddit, Zugriff am April 1, 2026, https://www.reddit.com/r/learnmachinelearning/comments/bac1iw/which_of_these_textbooks_should_i_start_first/  

22. INTERSECTION OVER UNION (IoU) - Metrics Reloaded, Zugriff am April 1, 2026, https://metrics-reloaded.dkfz.de/metric-library/intersection_over_union  

23. Dice Coefficient vs. IoU in Medical Image Segmentation - VeraDP, Zugriff am April 1, 2026, https://veradp-ai.com/iou-vs-dice/  

24. Generalized Intersection over Union, Zugriff am April 1, 2026, https://giou.stanford.edu/  

25. Intersection over Union (IoU) for object detection - PyImageSearch, Zugriff am April 1, 2026, https://pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/  

26. Predictive Accuracy: A Misleading Performance Measure for Highly Imbalanced Data - SAS Support, Zugriff am April 1, 2026, https://support.sas.com/resources/papers/proceedings17/0942-2017.pdf  

27. Failure of Classification Accuracy for Imbalanced Class Distributions - MachineLearningMastery.com, Zugriff am April 1, 2026, https://machinelearningmastery.com/failure-of-accuracy-for-imbalanced-class-distributions/  

28. Limitations in Evaluating Machine Learning Models for Imbalanced Binary Outcome Classification in Spine Surgery: A Systematic Review - PMC, Zugriff am April 1, 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC10741524/  

29. Why Accuracy Is Not A Good Metric For Imbalanced Data - Towards AI, Zugriff am April 1, 2026, https://towardsai.net/p/l/why-accuracy-is-not-a-good-metric-for-imbalanced-data  

30. Why is accuracy misleading?. While being an intuitive metric… | by Becaye Baldé - Medium, Zugriff am April 1, 2026, https://medium.com/@becaye-balde/why-is-accuracy-misleading-9465975fa429  

31. Learning from Imbalanced Data Sets: A Comparison of Various Strategies - ResearchGate, Zugriff am April 1, 2026, https://www.researchgate.net/publication/2628420_Learning_from_Imbalanced_Data_Sets_A_Comparison_of_Various_Strategies  

32. Predictive Models for Imbalanced Data: A School Dropout Perspective - MDPI, Zugriff am April 1, 2026, https://www.mdpi.com/2227-7102/9/4/275  

33. Intersection over Union (IoU): Definition, Calculation, Code - V7 Labs, Zugriff am April 1, 2026, https://www.v7labs.com/blog/intersection-over-union-guide  

34. Jaccard index - Wikipedia, Zugriff am April 1, 2026, https://en.wikipedia.org/wiki/Jaccard_index  

35. IoU vs. Dice Coefficient in Segmentation: Which Is More Robust for Noisy Images?, Zugriff am April 1, 2026, https://eureka.patsnap.com/article/iou-vs-dice-coefficient-in-segmentation-which-is-more-robust-for-noisy-images  

36. The distribution of the flora in the alpine zone.1 - SciSpace, Zugriff am April 1, 2026, https://scispace.com/pdf/the-distribution-of-the-flora-in-the-alpine-zone-1-4k0k378t10.pdf  

37. (PDF) The distribution of the flora in the alpine zone.1 (1912) | Paul Jaccard | 4445 Citations, Zugriff am April 1, 2026, https://scispace.com/papers/the-distribution-of-the-flora-in-the-alpine-zone-1-4k0k378t10?citations_page=64  

38. (PDF) The distribution of the flora in the alpine zone.1 (1912) | Paul, Zugriff am April 1, 2026, https://scispace.com/papers/the-distribution-of-the-flora-in-the-alpine-zone-1-4k0k378t10?citations_page=68  

39. Association of Insurance Status with Health Outcomes Following ..., Zugriff am April 1, 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC4427212/  

40. Why Dice Coefficient and not IOU for segmentation tasks? - Stack Overflow, Zugriff am April 1, 2026, https://stackoverflow.com/questions/60268728/why-dice-coefficient-and-not-iou-for-segmentation-tasks  

41. Dice, L.R. (1945) Measures of the Amount of Ecologic Association between Species. Ecology, 26, 297-302. - References - Scirp.org., Zugriff am April 1, 2026, https://www.scirp.org/reference/referencespapers?referenceid=1997958  

42. Measures of the Amount of Ecologic Association Between Species - ScienceOpen, Zugriff am April 1, 2026, https://www.scienceopen.com/document?vid=f11782ef-d3a0-4f86-a753-df951be86aa0  

43. 1945 DICE - Measures of The Amount of Ecologic Association Between Species - Scribd, Zugriff am April 1, 2026, https://www.scribd.com/document/850570641/1945-DICE-Measures-of-the-Amount-of-Ecologic-Association-Between-Species  

44. Measures of the Amount of Ecologic Association Between Species, Zugriff am April 1, 2026, https://biocomparison.ucoz.ru/_ld/0/86_dice_1945.pdf  

45. Measures of the Amount of Ecologic Association Between Species - Semantic Scholar, Zugriff am April 1, 2026, https://www.semanticscholar.org/paper/Measures-of-the-Amount-of-Ecologic-Association-Dice/23045299013e8738bc8eff73827ef8de256aef66  

46. Wilcoxon Signed-Rank Test: Theory and Application - AWS, Zugriff am April 1, 2026, https://rstudio-pubs-static.s3.amazonaws.com/1273706_11d0df92307448f8bab9e1ddb15dfa2a.html  

47. Nonparametric Statistical Methods - download, Zugriff am April 1, 2026, https://download.e-bookshelf.de/download/0004/0695/89/L-G-0004069589-0002628419.pdf  

48. Nonparametric Statistical Methods Hollander - CLaME, Zugriff am April 1, 2026, https://clame.nyu.edu/Download_PDFS/E051DE/311822/Nonparametric%20Statistical%20Methods%20Hollander.pdf  

49. Wilcoxon signed-rank test - Wikipedia, Zugriff am April 1, 2026, https://en.wikipedia.org/wiki/Wilcoxon_signed-rank_test  

50. Stat 5601 (Geyer, Spring 2006) Wilcoxon Signed Rank Test - School of Statistics, Zugriff am April 1, 2026, https://www.stat.umn.edu/geyer/s06/5601/examp/signrank.html  

51. Nonparametric Statistical Methods - ResearchGate, Zugriff am April 1, 2026, https://www.researchgate.net/publication/261659419_Nonparametric_Statistical_Methods  

52. Nonparametric Statistical Methods, 3rd Edition | Wiley, Zugriff am April 1, 2026, https://www.wiley.com/en-us/Nonparametric+Statistical+Methods%2C+3rd+Edition-p-9781119196037  

53. Handbook of Parametric and Nonparametric Statistical Procedures - SciSpace, Zugriff am April 1, 2026, https://scispace.com/pdf/handbook-of-parametric-and-nonparametric-statistical-qg16l9w9ki.pdf  

54. Handbook of Parametric and Nonparametric Statistical Procedures: Third Edition - David J. Sheskin - Google Books, Zugriff am April 1, 2026, https://books.google.ca/books?id=ZvDLBQAAQBAJ  

55. Handbook of Parametric and Nonparametric Statistical Procedures, Fifth Edition, Zugriff am April 1, 2026, https://www.taylorfrancis.com/books/mono/10.1201/9780429186196/handbook-parametric-nonparametric-statistical-procedures-fifth-edition-david-sheskin  

56. Handbook Of Parametric And Nonparametric Statistical Procedures [5 ed.] 1439858012, 9781439858011, 0429186193, 9780429186196, 1000083276, 9781000083279 - DOKUMEN.PUB, Zugriff am April 1, 2026, https://dokumen.pub/handbook-of-parametric-and-nonparametric-statistical-procedures-5nbsped-1439858012-9781439858011-0429186193-9780429186196-1000083276-9781000083279-s-6968972.html  

57. Bootstrapping (statistics) - Wikipedia, Zugriff am April 1, 2026, https://en.wikipedia.org/wiki/Bootstrapping_(statistics)  

58. Bootstrap Confidence Intervals - University of Minnesota Twin Cities, Zugriff am April 1, 2026, http://users.stat.umn.edu/~helwig/notes/bootci-Notes.pdf  

59. Comparison of Bootstrap Confidence Interval Methods for GSCA ..., Zugriff am April 1, 2026, https://pmc.ncbi.nlm.nih.gov/articles/PMC6797821/  

60. Introduction to the Bootstrap - Harvard Medical School, Zugriff am April 1, 2026, https://www.hms.harvard.edu/bss/neuro/bornlab/nb204/statistics/bootstrap.pdf

Claude: Foundations chapter: statistical methods, metrics, and ML references

All bibliographic references below have been cross-verified against publisher databases, JSTOR, IEEE Xplore, Semantic Scholar, and DBLP. Each concept includes a thesis-ready explanation, formal definitions or hypotheses, and citation-ready references with complete bibliographic details.

---

1. Wilcoxon Signed-Rank Test

Explanation (thesis-ready):

The Wilcoxon Signed-Rank Test is a nonparametric statistical test for comparing two related samples or matched pairs. Unlike the paired t-test, it does not require the assumption that the differences are normally distributed — only that the distribution of differences is symmetric around zero under the null hypothesis. The test ranks the absolute values of the pairwise differences, assigns signs based on the direction of each difference, and then evaluates whether the sum of positive ranks differs significantly from the sum of negative ranks. It is more powerful than the simple sign test because it uses rank magnitude information, not just direction.

Null hypothesis (formal):

H₀: The distribution of the paired differences D_i = X_i − Y_i is symmetric about zero.

Equivalently, under the symmetry assumption: the median of the differences equals zero. The alternative hypothesis H₁ states that the distribution of differences is shifted away from zero (two-sided) or shifted in a specified direction (one-sided).

When applicable: Paired or matched samples; ordinal or continuous data; no normality assumption required; requires only that the difference distribution is symmetric.

Distinction from the Wilcoxon Rank-Sum Test (Mann-Whitney U):

The Signed-Rank Test is for paired samples (e.g., same subjects measured before and after treatment), while the Rank-Sum Test is for two independent samples (e.g., treatment group vs. control group). Both are nonparametric, but they address fundamentally different experimental designs. The Rank-Sum Test is the nonparametric analogue of the independent two-sample t-test; the Signed-Rank Test is the analogue of the paired t-test.

References:

Wilcoxon, F. (1945). Individual comparisons by ranking methods. Biometrics Bulletin, 1(6), 80–83. https://doi.org/10.2307/3001968

Hollander, M., Wolfe, D. A., & Chicken, E. (2014). Nonparametric Statistical Methods (3rd ed.). John Wiley & Sons. ISBN: 978-0-470-38737-5.

Note on sources: The 1945 paper is the original introduction of both the signed-rank and rank-sum procedures, spanning just four pages. Hollander, Wolfe & Chicken (2014) is the standard modern textbook for nonparametric methods and the best choice for a comprehensive treatment. An alternative textbook is Sheskin, D. J. (2011), Handbook of Parametric and Nonparametric Statistical Procedures (5th ed.), Chapman & Hall/CRC, ISBN: 978-1-4398-5801-1 — useful as a procedural reference but less theoretically rigorous than Hollander et al. Note that Biometrics Bulletin was renamed to Biometrics in 1947; the 1945 paper must be cited under the original journal name.

---

2. BCa Bootstrap confidence intervals

Explanation (thesis-ready):

Bootstrapping is a resampling method that estimates the sampling distribution of a statistic by drawing repeated samples with replacement from the observed data. A simple percentile bootstrap confidence interval uses the α/2 and 1−α/2 quantiles of the bootstrap distribution directly. The BCa (Bias-Corrected and Accelerated) bootstrap improves upon this by applying two corrections: a bias correction (adjusting for systematic bias in the bootstrap distribution relative to the true parameter) and an acceleration correction (adjusting for skewness in the sampling distribution, i.e., the rate at which the standard error changes with the parameter value). These corrections make BCa intervals second-order accurate, meaning their coverage error decreases at rate O(n⁻¹) rather than O(n⁻¹/²), providing substantially more reliable intervals especially for small samples or skewed statistics.

Key distinction: Simple percentile bootstrap intervals assume the bootstrap distribution is unbiased and symmetric. BCa intervals relax both assumptions, making them robust to bias and skewness — which is why they are the recommended default method for bootstrap confidence intervals in practice.

References:

Efron, B. (1987). Better bootstrap confidence intervals. Journal of the American Statistical Association, 82(397), 171–185. https://doi.org/10.1080/01621459.1987.10478410

Efron, B., & Tibshirani, R. J. (1993). An Introduction to the Bootstrap. Chapman & Hall. ISBN: 978-0-412-04231-7.

Which to cite for BCa specifically: The 1987 JASA paper is the primary citation — it is where BCa was first formally introduced and its second-order accuracy was proven. The 1993 book is a general bootstrap textbook and better suited as a reference for bootstrapping as a whole. For a thesis, cite Efron (1987) for BCa and optionally Efron & Tibshirani (1993) for general bootstrap methodology. Note on page numbers: pp. 171–185 is the article proper; pp. 171–200 includes the published discussion and rejoinder. Either citation format is acceptable in academic use.

Historical context: The percentile method was introduced in Efron (1981), the bias-corrected (BC) method in Efron (1982/1984), and the full BCa method with the acceleration correction in Efron (1987). The "a" in BCa — the acceleration parameter — was the specific innovation of the 1987 paper.

---

3. Intersection over Union (IoU) / Jaccard Index

Explanation (thesis-ready):

The Intersection over Union (IoU), also known as the Jaccard Index, measures the overlap between two sets by dividing the size of their intersection by the size of their union. In the context of binary segmentation masks, this translates to IoU = TP / (TP + FP + FN), where TP are correctly predicted positive pixels, FP are falsely predicted positive pixels, and FN are missed positive pixels. An IoU of 1.0 indicates perfect overlap; an IoU of 0 indicates no overlap. IoU is the standard metric for evaluating segmentation quality because it penalizes both over-segmentation (false positives) and under-segmentation (false negatives) equally.

Formula (verified):

Set-theoretic: IoU = |A ∩ B| / |A ∪ B|

Confusion-matrix: IoU = TP / (TP + FP + FN)

Derivation: Since |A ∪ B| = |A| + |B| − |A ∩ B| = (TP + FP) + (TP + FN) − TP = TP + FP + FN.

References:

Jaccard, P. (1912). The distribution of the flora in the alpine zone. New Phytologist, 11(2), 37–50. https://doi.org/10.1111/j.1469-8137.1912.tb05611.x

Taha, A. A., & Hanbury, A. (2015). Metrics for evaluating 3D medical image segmentation: Analysis, selection, and tool. BMC Medical Imaging, 15, Article 29. https://doi.org/10.1186/s12880-015-0068-x

Which source is more appropriate for a CS thesis: Taha & Hanbury (2015) is the more practical citation for a CS/segmentation thesis because it defines IoU in the context of image segmentation, compares it systematically with 20 other metrics, and is peer-reviewed in a relevant domain. Jaccard (1912) is appropriate as the historical origin citation. Note: The coefficient was originally introduced in French in Jaccard, P. (1901), "Étude comparative de la distribution florale dans une portion des Alpes et du Jura," Bulletin de la Société Vaudoise des Sciences Naturelles, 37, 547–579. The 1912 New Phytologist paper is an English-language translation and the version most commonly cited.

---

4. Dice coefficient and its equivalence to the F1-score

Explanation (thesis-ready):

The Dice coefficient (also called the Sørensen–Dice coefficient) measures the similarity of two sets by computing twice the size of their intersection divided by the sum of both set sizes. In binary segmentation, this equals Dice = 2TP / (2TP + FP + FN). The Dice coefficient is mathematically identical to the F1-score in binary classification, since F1 = 2 · Precision · Recall / (Precision + Recall) = 2TP / (2TP + FP + FN). The Dice coefficient always yields values ≥ IoU for the same prediction, ranging from 0 (no overlap) to 1 (perfect overlap).

Formula (verified):

Set-theoretic: Dice = 2|A ∩ B| / (|A| + |B|)

Confusion-matrix: Dice = 2TP / (2TP + FP + FN)

Relationship to IoU (verified as mathematically correct):

Dice = 2 · IoU / (1 + IoU)

Proof: Let J = IoU = |A∩B| / |A∪B|, and note |A∪B| = |A| + |B| − |A∩B|. Then Dice = 2|A∩B| / (|A| + |B|) = 2|A∩B| / (|A∪B| + |A∩B|) = 2J / (1 + J). The inverse relation is IoU = Dice / (2 − Dice).

Dice ≡ F1 (verified): Yes, these are identical for binary classification. Starting from F1 = 2 · (TP/(TP+FP)) · (TP/(TP+FN)) / (TP/(TP+FP) + TP/(TP+FN)), algebraic simplification yields exactly 2TP / (2TP + FP + FN) = Dice.

References:

Dice, L. R. (1945). Measures of the amount of ecologic association between species. Ecology, 26(3), 297–302. https://doi.org/10.2307/1932409

Note: The same coefficient was independently proposed by Sørensen, T. (1948), "A method of establishing groups of equal amplitude in plant sociology based on similarity of species and its application to analyses of the vegetation on Danish commons," Kongelige Danske Videnskabernes Selskab, 5(4), 1–34. Dice (1945) has priority by three years and is the standard citation.

---

5. TP, FP, FN, TN and the accuracy paradox

Definitions for binary segmentation masks (thesis-ready):

In pixel-wise binary segmentation, each pixel is classified as either positive (foreground/object) or negative (background). Comparing the predicted mask against the ground truth mask yields four categories:

• True Positive (TP): Pixel correctly classified as positive — present in both the prediction and the ground truth.

• False Positive (FP): Pixel incorrectly classified as positive — present in the prediction but not in the ground truth (over-segmentation).

• False Negative (FN): Pixel incorrectly classified as negative — present in the ground truth but not in the prediction (under-segmentation).

• True Negative (TN): Pixel correctly classified as negative — absent from both the prediction and the ground truth.

Why accuracy is misleading with class imbalance: In pupil segmentation, the pupil region typically covers only a small fraction of the image (e.g., 2–5% of all pixels). Accuracy = (TP + TN) / (TP + TN + FP + FN) is dominated by the overwhelming number of TN background pixels. A trivial classifier predicting "background everywhere" would achieve >95% accuracy while detecting zero pupil pixels. This is known as the accuracy paradox. IoU and Dice are preferred because they exclude TN from their computation, focusing evaluation on the small foreground class.

References:

He, H., & Garcia, E. A. (2009). Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, 21(9), 1263–1284. https://doi.org/10.1109/TKDE.2008.239

Provost, F., Fawcett, T., & Kohavi, R. (1998). The case against accuracy estimation for comparing induction algorithms. In Proceedings of the 15th International Conference on Machine Learning (ICML '98) (pp. 445–453). Morgan Kaufmann.

Note: He & Garcia (2009) is the standard survey on imbalanced learning, with 4,000+ citations, and explicitly discusses why accuracy fails under class imbalance. Provost et al. (1998) provides the classic formal argument against accuracy as a comparison metric. Either is appropriate; He & Garcia (2009) is the more comprehensive and widely cited reference.

---

6. Convolutional Neural Networks

Standard references (verified):

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. ISBN: 978-0-262-03561-3.

LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. https://doi.org/10.1109/5.726791

Notes: Goodfellow et al. (2016) is the standard deep learning textbook (freely available at deeplearningbook.org). LeCun et al. (1998) is the foundational paper introducing LeNet-5 and establishing convolutional neural networks for practical applications. Note that Proceedings of the IEEE is a journal (despite the name), not a conference proceedings.

---

7. YOLO

Reference (verified):

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 779–788). https://doi.org/10.1109/CVPR.2016.91

Notes: This is the original YOLOv1 paper, presented at CVPR 2016 in Las Vegas, NV. All four authors confirmed: Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. If the thesis uses a specific later YOLO version (e.g., YOLOv5, YOLOv8, YOLOv11), the corresponding Ultralytics documentation or paper should also be cited.

---

8. Semantic vs. instance segmentation

Explanation (thesis-ready):

Semantic segmentation assigns a class label to every pixel in an image, producing a dense per-pixel classification map. All pixels belonging to the same class receive the same label, without distinguishing between individual objects — two adjacent persons would both be labeled "person" with no boundary between them. Instance segmentation extends this by additionally separating individual object instances within the same class. Each distinct object receives a unique identifier, enabling the model to distinguish, for example, "person 1" from "person 2." Instance segmentation thus combines the goals of semantic segmentation (pixel-level classification) and object detection (identifying individual instances). For pupil segmentation where typically only one pupil instance per image is relevant, both approaches converge to the same practical task.

References:

Minaee, S., Boykov, Y., Porikli, F., Plaza, A., Kehtarnavaz, N., & Terzopoulos, D. (2022). Image segmentation using deep learning: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(7), 3523–3542. https://doi.org/10.1109/TPAMI.2021.3059968

Important finding on Garcia-Garcia et al. (2017): This paper was published only on arXiv (arXiv:1704.06857) and was never accepted in a peer-reviewed journal. It was not published in ACM Computing Surveys or any other venue. For an academic thesis, Minaee et al. (2022) is the strongly recommended replacement — it is peer-reviewed, published in the top-tier journal IEEE TPAMI, more comprehensive, and more recent.

Supplementary foundational references (optional, for the seminal works in each subfield):

Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 3431–3440). https://doi.org/10.1109/CVPR.2015.7298965

He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask R-CNN. In Proceedings of the IEEE International Conference on Computer Vision (ICCV) (pp. 2961–2969). https://doi.org/10.1109/ICCV.2017.322

Long et al. (2015) is the foundational work for semantic segmentation with deep learning (FCN). He et al. (2017) is the foundational work for instance segmentation (Mask R-CNN). Together with Minaee et al. (2022), these three papers provide authoritative coverage of the segmentation landscape.

---

9. Train/validation/test split

Explanation (thesis-ready):

Splitting data into training, validation, and test sets is the standard methodology for unbiased model evaluation. The training set is used to fit model parameters. The validation set (sometimes called development set) is used to tune hyperparameters and select among competing models — it provides feedback during the development process without touching the test data. The test set is held out entirely and used only once for final performance estimation, ensuring an unbiased evaluation of generalization performance. A common split ratio is 70/15/15 or 80/10/10, though optimal proportions depend on dataset size.

References (all verified):

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer. ISBN: 978-0-387-84857-0.

Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN: 978-0-387-31073-2.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. ISBN: 978-0-262-03561-3.

Which to cite: Hastie, Tibshirani & Friedman (2009), Chapter 7 ("Model Assessment and Selection") provides the most rigorous and thorough formal treatment of train/validation/test methodology and is the most widely cited source for this concept in the statistical learning literature. Bishop (2006), Section 1.3, also gives an excellent treatment. For a deep learning thesis, citing Goodfellow et al. (2016) alongside Hastie et al. (2009) provides both the statistical foundation and the deep learning context. Using two of the three is sufficient; all three together offers comprehensive coverage.

---

Quick-reference table of all verified citations

| # | Reference | Venue | Year | Use for |

|---|-----------|-------|------|---------|

| 1 | Wilcoxon, F. | Biometrics Bulletin, 1(6), 80–83 | 1945 | Original signed-rank test |

| 2 | Hollander, M., Wolfe, D. A., & Chicken, E. | Wiley, 3rd ed. | 2014 | Nonparametric methods textbook |

| 3 | Efron, B. | JASA, 82(397), 171–185 | 1987 | BCa bootstrap (original) |

| 4 | Efron, B. & Tibshirani, R. J. | Chapman & Hall | 1993 | Bootstrap textbook |

| 5 | Jaccard, P. | New Phytologist, 11(2), 37–50 | 1912 | Jaccard Index origin |

| 6 | Taha, A. A. & Hanbury, A. | BMC Medical Imaging, 15, Art. 29 | 2015 | Segmentation metrics |

| 7 | Dice, L. R. | Ecology, 26(3), 297–302 | 1945 | Dice coefficient origin |

| 8 | He, H. & Garcia, E. A. | IEEE TKDE, 21(9), 1263–1284 | 2009 | Class imbalance survey |

| 9 | Goodfellow, I. et al. | MIT Press | 2016 | Deep learning textbook |

| 10 | LeCun, Y. et al. | Proc. IEEE, 86(11), 2278–2324 | 1998 | CNNs foundational paper |

| 11 | Redmon, J. et al. | CVPR, pp. 779–788 | 2016 | YOLO original paper |

| 12 | Minaee, S. et al. | IEEE TPAMI, 44(7), 3523–3542 | 2022 | Segmentation survey |

| 13 | Hastie, T. et al. | Springer, 2nd ed. | 2009 | Train/val/test split |

| 14 | Bishop, C. M. | Springer | 2006 | Pattern recognition textbook |

Key warnings for the thesis:

• Garcia-Garcia et al. (2017) is arXiv-only — do not cite as a journal paper. Replace with Minaee et al. (2022) for a peer-reviewed alternative.

• Wilcoxon (1945) appeared in Biometrics Bulletin, not Biometrics — the journal was renamed in 1947.

• Efron (1987) pages 171–185 is the article; pages 171–200 includes published discussion. Both citation formats are acceptable.

• Jaccard's original work is from 1901 (French); the 1912 reference is the English translation most commonly cited in CS literature.