Neuronales Netz - ist dies eine Black Box?
Anlässlich unseres Vortrags auf der AI4U[1] im Juni möchten wir die Gelegenheit nutzen, nochmal das Thema Erklärbarkeit im Bereich Machine Learning zu motivieren und auf deren Bedeutung hinzuweisen.
Bereits letztes Jahr im Juli haben wir auf der IJCAI Konferenz[2,3] unsere Erkenntnisse präsentiert, wo es u. a. darum ging, wie einzelne Datenpunkte die Stabilität eines Modells beeinflussen können. Die stetigen Erfolge von Neuronalen Netzen sind mit einem Preis verbunden, nämlich das Millionen von Parametern und Dutzende von Schichten notwendig sind, um anspruchsvolle Aufgaben zu lösen.
Diese steigende Komplexität erfordert viel Fachwissen für eine korrekte Umsetzung, dass auf der anderen Seite trotzdem nicht ausreicht, um genau zu erklären, wie alle Komponenten in Netzen zu der eigentlichen Entscheidung kommen.
Hier handelt es sich im wahrsten Sinne des Wortes um eine Blackbox. Ein kürzlich herausgegebener Leitfaden[4] für das Training von Neuronalen Netzen unterstreicht ebenfalls die Wichtigkeit, dass es notwendig ist, zu verstehen, wie Netze im Inneren funktionieren. Allerdings ist die Motivation hier, dass kleinere Fehler bei der Implementierung möglicherweise nicht erkannt werden und dadurch die Genauigkeit des Netzes -marginal- verschlechtern. Um solche Fehler aufzudecken ist es hilfreich, die inneren Abläufe zu visualisieren, um die Chance zu erhöhen, Anomalien aufzudecken. So ist es möglich, dass eine z. B. eine Teilmenge einer Kategorie wesentlich schlechter abschneidet, weil möglicherweise ein Fehler in der Vorverarbeitung stattgefunden hat. Die mittlere Genauigkeit des Netzes kann dennoch gut sein, sodass das Problem erstmal gar nicht auffällt. Ein Debugging zu einem späteren Zeitpunkt ist ohne ein tieferes Verständnis der Blackbox oft eine Herausforderung, weshalb auch hier die Erklärbarkeit ein wichtiger Aspekt ist.
Ein weiteres Beispiel ist der Bereich der Medizin, wo es von großer Bedeutung ist, dass Netze die richtigen Aspekte der Daten nutzen, um korrekte Vorhersagen zu treffen. So wäre es fatal, wenn Modelle sich auf Nebensächlichkeiten stützen, die zwar zufälligerweise bei einer Kategorie vorhanden sind, aber dennoch unwesentlich für eine korrekte Prognostizierung des Krankheitsbildes.
Insgesamt gibt es viele Gründe, sich mit der Erklärbarkeit zu beschäftigen, sei es, weil es gesetzlich vorgeschrieben ist, um ein Modell zu verbessern oder als Form der Qualitätssicherung, bzw. um das Vertrauen in die Technologie zu stärken. Als Berater wissen wir, wie wichtig das Vertrauen von Kunden ist und deshalb versuchen wir aktiv mitzuwirken, dass Vertrauen in A. I. zu stärken, indem wir versuchen transparent zu machen, wie unsere A. I. Modelle zu einer Entscheidung kommen.
[1] <https://www.ai4u-konferenz.de/speaker/timo-schulz/>
[2] <http://home.earthlink.net/~dwaha/research/meetings/faim18-xai/>
[3] <https://arxiv.org/abs/1807.07404>
[4] <https://karpathy.github.io/2019/04/25/recipe/>