Qualitätsmetriken für KI

Aufgrund der Natur von KI-basierten Systemen entstehen in Projekten dieser Art neben den klassischen Produkt- und Projektrisiken zusätzliche KI-spezifische Risiken, wie beispielsweise, dass das KI-basierte System aufgrund falscher oder nicht ausreichend repräsentativer Trainingsdaten falsche Entscheidungen trifft. Weiterhin können durch falsch gewählte Trainingsdaten Phänomene wie Bias, Overfitting, Underfitting oder weitere Qualitätsprobleme sowie ebenfalls falsche Entscheidungen der KI erlernt werden.

Dazu kommt, dass ein gewisser Anteil von Menschen, im konkreten Fall ein Anteil der Nutzer bzw. Betroffenen, Entscheidungen von autonomen Systemen oder gar Künstlicher Intelligenz möglicherweise nicht akzeptiert. Es kann also sein, dass ein KI-basiertes System zwar objektiv alle Anforderungen erfüllt oder sogar deutlich bessere Ergebnisse zeigt als der Einsatz konventioneller Systeme oder menschlicher Entscheider, dass es aber nicht gekauft oder genutzt wird, weil die Nutzer kein Vertrauen in das System haben.

Deshalb entstehen im Umfeld von Künstlicher Intelligenz neue Qualitätsmerkmale wie „Vertrauenswürdigkeit“ (trustworthiness), die den Grad des Vertrauens ausdrückt, den ein Nutzer hat, oder „Erklärbarkeit“ (explainability)“, die den Nutzern von KI ein situationsbezogenes und verständliches Erklärungsmodell liefert, um z.B. eine getroffene Entscheidung nachvollziehen zu können. Je nach Kontext können auch weitere Qualitätsmerkmale beim Einsatz KI-gestützter Systeme eine Rolle spielen. Auch hier sind die entsprechenden Qualitätsmerkmale zu prüfen und deren Erfüllung mit einer geeigneten Qualitätssicherung abzusichern.

Bei der Auswahl entsprechender Qualitätsmerkmale und Metriken und deren Test sowie der Überprüfung auf die Einhaltung von Normen und gesetzlicher Vorschriften kann imbus Sie beraten und mit entsprechenden QS-Maßnahmen und Tests unterstützen.

Gleich mit einem Experten in Kontakt treten!