Metrics (Bewertungsmaße) beziehen sich im Bereich des Maschinellen Lernens und der Künstlichen Intelligenz auf die Maße und Kennzahlen, die verwendet werden, um die Leistungsfähigkeit und Genauigkeit von Algorithmen zu bewerten. Diese Maße sind entscheidend, um die Qualität eines Modells zu bestimmen, Verbesserungspotenziale zu identifizieren und differente Modelle miteinander zu vergleichen.
Eine Vielzahl von Metriken wird je nach Anwendungsszenario und Aufgabenart eingesetzt. Bei Klassifikationsaufgaben, bei denen das Ziel darin besteht, Objekte oder Datenpunkte in bestimmte Kategorien einzuteilen, sind gängige Metriken unter anderem Genauigkeit (Accuracy), Präzision (Precision), Rücklauf (Recall), der F1-Score sowie die ROC-AUC-Kurve. Die Genauigkeit beschreibt den Anteil der korrekt klassifizierten Datenpunkte, während Präzision und Recall jeweils Aspekte der Vorhersagen hinsichtlich positiver Ergebnisse hervorheben. Der F1-Score dient als ausgewogene Mischung aus Präzision und Recall.
Für Regressionsaufgaben, bei denen kontinuierliche Werte vorhergesagt werden, wie beispielsweise die Prognose von Preisen oder Temperaturen, werden Metriken wie der mittelte quadratische Fehler (MSE) oder der R-squared-Wert verwendet. Der MSE misst die durchschnittliche Abweichung zwischen vorhergesagten und tatsächlichen Werten, während R-squared die Varianz erklärt, die durch das Modell erfasst wird.
Die Wahl der geeigneten Metrik hängt maßgeblich von der spezifischen Aufgabe und den Daten ab. So kann beispielsweise die Genauigkeit bei unbalancierten Datensätzen, in denen eine Klasse überproportional häufig ist, nicht immer die beste Wahl sein. In solchen Fällen sind Präzision und Recall oder der F1-Score aussagekräftigere Maße.
Zusammenfassend sind Metriken unerlässlich, um die Leistungsfähigkeit von Algorithmen zu messen, zu vergleichen und kontinuierlich zu optimieren. Sie liefern wertvolle Einblicke in die Stärken und Schwächen eines Modells und ermöglichen fundierte Entscheidungen im Entwicklungsprozess.