Studie: Welche Software schafft Transparenz in Sachen KI?

Das Fraunhofer IPA hat in einer Analyse IT-Anwendungen untersucht, die komplexe KI-Lösungswege erklärbar machen sollen.

Welche Software kann Lösungswege von KI-Anwendungen besonders gut erklären? Dieser Frage ging das Fraunhofer IPA in einer Studie nach. (Symbolbild: RS Studios/Adobe Stock)
Welche Software kann Lösungswege von KI-Anwendungen besonders gut erklären? Dieser Frage ging das Fraunhofer IPA in einer Studie nach. (Symbolbild: RS Studios/Adobe Stock)
Sandra Lehmann

Um die Algorithmen und Lösungswege hinter Anwendungen künstlicher Intelligenz besser zu verstehen, können Interessierte seit Längerem auf sogenannte „Explainable Artificial Intelligence“, kurz „xAI“ zurückgreifen. Diese digitalen Hilfen markieren etwa in einem Bild diejenigen Pixel, die dazu geführt haben, dass fehlerhafte Teile im Produktionsprozess aussortiert wurden. Das Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA aus Stuttgart hat nun nach eigenen Angaben neun gängige Erklärungsverfahren – wie „LIME“, „SHAP“ oder „Layer-Wise Relevance Propagation“ – miteinander verglichen und mithilfe von beispielhaften Anwendungen bewertet. Dabei kamen laut dem Institut folgende Kriterien zum Tragen:

  • Stabilität: Bei gleicher Aufgabenstellung soll das Programm stets dieselbe Erklärung liefern. Es könne nicht sein, dass für eine Anomalie in der Produktionsmaschine einmal Sensor A und dann Sensor B verantwortlich gemacht wird. Das würde das Vertrauen in den Algorithmus zerstören und das Ableiten von Handlungsoptionen erschweren.
  • Konsistenz: Gleichzeitig sollten nur geringfügig unterschiedliche Eingabedaten auch ähnliche Erklärungen erhalten.
  • Wiedergabetreue: Besonders wichtig ist nach Angaben des Fraunhofer IPA auch, dass Erklärungen tatsächlich das Verhalten des KI-Modells abbilden. Es dürfe nicht passieren, dass die Erklärung für die Verweigerung eines Bankkredits ein zu hohes Alter des Kunden benennt, obwohl eigentlich das zu geringe Einkommen ausschlaggebend war.

Fazit der Studie: Alle untersuchten Erklärungsmethoden haben sich als brauchbar erwiesen. „Doch es gibt nicht die eine perfekte Methode“, sagt Nina Schaaf, die beim Fraunhofer IPA für die Studie verantwortlich ist. Große Unterschiede gäbe es beispielsweise bei der Laufzeit, die ein Verfahren benötigt. Die Auswahl der besten Software sei zudem maßgeblich von der jeweiligen Aufgabenstellung abhängig. So sind aus Sicht der Studien-Autoren etwa Layer-Wise Relevance Propagation und Integrated Gradients für Bilddaten besonders gut geeignet. „Und schließlich ist immer auch die Zielgruppe einer Erklärung wichtig: Ein KI-Entwickler möchte und sollte eine Erklärung anders dargestellt bekommen als der Produktionsleiter, denn beide ziehen jeweils andere Schlüsse aus den Erklärungen“, resümiert Schaaf.

Die vollständige Studie stellt das Fraunhofer IPA zum kostenlosen Download bereit.

Printer Friendly, PDF & Email