Evaluation eines KI-Modells mittels Methoden der erklärbaren KI (XAI

KI-Modelle, z. B. neuronale Netze, sind schwer vollumfänglich zu evaluieren, insbesondere hinsichtlich sogenannter Shortcuts und anderer Fehler in der Entscheidungslogik. Shortcuts beschreiben Wege, auf denen das Modell – über seine gelernten Repräsentationen – die beabsichtigte Entscheidungslogik umgeht und Entscheidungen auf Basis irrelevanter Informationen trifft, insbesondere häufig in Bildern. Solche Modelle können auf den Testdaten gute Ergebnisse erzielen, versagen jedoch im realen Einsatz. Gerade bei Hochrisikosystemen müssen derartige Fehler vor dem Einsatz identifiziert werden. Shortcuts und verwandte Defekte in KI-Modellen lassen sich mithilfe von explainable AI (XAI) Methoden erkennen. Das Fraunhofer IPA hat eine XAI-Methode (RENTT – Runtime Efficient Network to Tree Transformation) entwickelt, die eine Garantie hinsichtlich der Korrektheit bzw. Treue der Erklärungen bietet – etwas, das andere Methoden nicht schaffen. In diesem Service werden diese und weitere XAI-Methoden eingesetzt, um Shortcuts in Ihrem KI-Modell zu entdecken und dessen allgemeine Entscheidungslogik zu bewerten, damit es bereit für den realen Einsatz wird.