Künstliche Intelligenz in der Automotive-Branche
Blackbox neuronales Netzwerk: Interaktive Visualisierung verbessert das Verständnis von Entscheidungsprozessen in autonomen Fahrzeugen
In zunehmend selbstfahrenden Autos sind zuverlässige Convolutional Neuronal Networks (CNN) essenziell. Denn mit ihrer Hilfe soll die künstliche Intelligenz (KI) automatisch andere Verkehrsteilnehmer erkennen. Je selbständiger ein Auto aber fährt, desto größer werden die Anforderungen an die Sicherheit der Algorithmen. Um Menschenleben zu schützen, ist daher ein tiefes Verständnis der Klassifizierung dieser neuronalen Netzwerke notwendig. Ein CNN arbeitet allerdings per se als Blackbox, die komplexen Entscheidungswege sind also schwer nachzuvollziehen, wodurch eine Bewertung der Sicherheitsrisiken schwierig ist. Diese Probleme können durch eine entsprechende Visualisierung abgemildert werden. Die ARRK Engineering GmbH hat hierzu ein Validierungstool mit einer Methodik zur Analyse dieser Entscheidungsprozesse entwickelt. Das Programm ermöglicht dank seiner interaktiven Visualisierung einen tieferen Einblick in jede Schicht eines CNN. Dabei lassen sich sämtliche Gewichtungen der Neuronen manuell anpassen, um ihre Auswirkung auf die finale Objekterkennung zu sehen. Außerdem können die Einflüsse unterschiedlicher Störfaktoren sowie bestimmter Trainingsmethoden unkompliziert erkannt und somit das CNN in einem späteren Schritt optimiert werden.
Die aktuellen Methoden zur Analyse und Validierung neuronaler Netzwerke entstammen vor allem der wissenschaftlichen Forschung. Allerdings berücksichtigen diese Methoden selten branchenübliche Anforderungen an die funktionale Sicherheit. So fordern etwa die ISO26262 und ISO/PAS21448 von den Automobilherstellern ein deutlich umfassenderes Wissen über die konkrete Funktionsweise und die Entscheidungspfade neuronaler Netzwerke, als dies im wissenschaftlichen Diskurs bisher besprochen wird. „Um Präzisionsprobleme bei der Objekterkennung durch CNNs besser zu verstehen, haben wir daher eine Software entwickelt, mit der eine standardisierte Validierung möglich ist“, berichtet Václav Diviš, Senior Engineer ADAS & Autonomous Driving bei ARRK Engineering. „Bei der Entwicklung dieses Visualisierungs-Tools legten wir die Grundlage einer neuen Bewertungsmethode: die sogenannte Neurons’ Criticality Analysis (NCA).“ Aufgrund dieses Prinzips lässt sich eine zuverlässige Aussage darüber abgeben, wie wichtig oder schädlich einzelne Neuronen für eine korrekte Objekterkennung sind.
Interaktive Visualisierung der Entscheidungsprozesse
Das Zusammenspiel der einzelnen Neuronen in den zahlreichen Schichten eines CNN ist überaus komplex. Jede Schicht und jedes Neuron übernehmen darin besondere Aufgaben bei der Erkennung eines Objekts – beispielsweise ein grobes Aussortieren nach Formen oder das Filtern bestimmter Farben. Jeder Arbeitsschritt trägt aber in unterschiedlichem Ausmaß zum Erfolg einer korrekten Objekterkennung bei und kann im schlimmsten Fall das Ergebnis sogar verschlechtern. Diese Komplexität führt dazu, dass die Wichtigkeit einzelner Neuronen für die Entscheidung bisher undurchschaubar war. Daher hat ARRK Engineering als Herzstück seines neuen Tools eine interaktive und nutzerfreundliche Grafik-Oberfläche zur Visualisierung dieser Pfade entwickelt. „Auf diese Weise lässt sich die Entscheidungsfindung eines CNN optisch darstellen“, so Diviš. „Außerdem kann die Relevanz bestimmter Schritte für die finale Entscheidung erhöht, verringert oder sogar ganz ausgeschaltet werden. In Echtzeit ermittelt das Tool nach jeder erfolgten Anpassung unmittelbar die Auswirkung dieser geänderten Parameter. Somit kann die Wichtigkeit bestimmter Neuronen und deren Aufgabe leichter erkannt und nachvollzogen werden.“ Das Streaming der Daten lässt sich jederzeit pausieren, um eine stressfreie und bequeme Analyse vorzunehmen. Während dieses Stopps können dann die einzelnen Elemente über eine intuitive Bedienung genauer untersucht werden.
Für dieses visuelle Backen wählten die Experten von ARRK Engineering die plattformübergreifende Programmierschnittstelle OpenGL, um eine größtmögliche Flexibilität zu gewährleisten. Dadurch ist die Software auf jedem Gerät universell einsetzbar – sei dies PC, Handy oder Tablet. „Besonderen Wert haben wir außerdem auf die Optimierung der Berechnung und der folgenden grafischen Darstellung gelegt“, erläutert Diviš. „Daher wurden in unseren abschließenden Benchmark-Tests besonders die Framedrops überprüft. In diesem Rahmen konnten wir feststellen, dass selbst bei der Verarbeitung eines Videos und unter Verwendung einer Webcam die Framerate stabil bei circa 5 FPS lag – sogar bei der Visualisierung von 90 Prozent aller möglichen Feature-Maps, was in etwa 10.000 entspricht.“ Trotz der Vielzahl an grafischen Informationen und Daten sind somit keinerlei FPS-Einbrüche zu erwarten.
Analyse der kritischen und antikritischen Neuronen
Beim Anlernen des CNN innerhalb des Visualisierungs-Tools von ARRK Engineering werden die Deep-Learning-APIs TensorFlow und Keras als Grundlage verwendet, wodurch allgemeine Standards wie eine flexible Implementierung sämtlicher Klassen und Funktionen in Python bedient werden. Auch weitere externe Bibliotheken lassen sich einfach anbinden. Sobald das neuronale Netzwerk ausreichend trainiert wurde, kann die Analyse der kritischen und antikritischen Neuronen beginnen – die Neurons’ Criticality Analysis.
„Dafür bieten wir als modifizierbare Parameter zusätzliches Bildrauschen (noise), das Hinzufügen oder Entfernen von Farbfiltern sowie die Maskierung bestimmter benutzerdefinierter Bereiche“, erläutert Diviš. „Eine Veränderung dieser Werte zeigt direkt, wie stark einzelne Neuronen die Entscheidung am Ende beeinflussen. Auch wird so deutlich, welche Stellen des neuronalen Netzwerkes möglicherweise den gesamten Erkennungsprozess stören.“
Mithilfe eines durchdachten Algorithmus wird basierend auf dieser Analyse automatisch die Kritikalität jedes einzelnen Neurons berechnet. Liegt der Wert eines Neurons darüber, stört es die korrekte Bilderkennung. Der kritische Schwellenwert kann beliebig angepasst werden. „Die finale Definition dieses Schwellenwertes hängt von zahlreichen Faktoren ab – beispielsweise von der erwünschten funktionalen Sicherheit, aber auch ethische Aspekte spielen hierbei eine nicht zu unterschätzende Rolle“, ergänzt Diviš. „Je nach Wunsch kann dieser Wert selbst darüber hinaus noch angepasst werden, wodurch die größtmögliche Flexibilität des Tools gewährleistet ist.“ Auf diese Weise ist das Tool nicht auf die derzeitigen Ansprüche und Normen fixiert, sondern kann bei Änderungen der Sicherheitsvorschriften jederzeit den neuen Anforderungen angepasst werden.
Höhere Sicherheit durch tieferes Verständnis von CNNs
Mit diesem Visualisierungs-Tool ermöglicht ARRK Engineering eine grafische Validierung neuronaler Netzwerke. Dank der Software in Verbindung mit der NCA können nun weitere Schritte folgen, um die Sicherheitsrisiken beim autonomen Fahren durch zusätzliche Mechanismen zur Plausibilisierung weiter zu reduzieren. „Unser Ziel ist es, die Anzahl der kritischen Neuronen zu minimieren oder besser aufzuteilen, sodass wir auf eine robuste Bilderkennung der KI vertrauen können“, resümiert Diviš. „Wir freuen uns daher bereits auf das Feedback aus der Praxis, denn so werden wir das Tool weiter optimieren können.“ Im Augenblick arbeitet ARRK Engineering beispielsweise bereits an einer Ergänzung der Klassifizierung mit der Lokalisation von Objekten. Hier besteht allerdings noch die Herausforderung, dass neben der Klassifizierung auch die Koordinaten der Objekte auf übersichtliche Weise visualisiert werden müssen.