DB: Was sind Algorithmen und wie hängen sie mit KI zusammen?
Berge: Algorithmen sind von der reinen Definition her einfach Verarbeitungsregeln – also eine definierte Abfolge von Befehlen bzw. Regeln, die auf Eingaben angewendet werden und die dann eine Ausgabe erzeugen. Der Algorithmus ist der klassische Schritt der regelbasierten „Verarbeitung“ von Daten im EVA-Prinzip: Eingabe, Verarbeitung, Ausgabe.
Wenn wir im Bereich der künstlichen Intelligenz sind, wird mit Hilfe des KI-Algorithmus das eigentliche KI-Modell auf Basis von Trainingsdaten erzeugt. Der KI-Algorithmus sorgt „eigenständig“ für die Programmierung des KI-Modells und erstellt sozusagen die Verarbeitungsregeln für das Modell maschinell und kann dieses ggf. auch selbstständig anpassen und weiterentwickeln.
Vielfach werden heute aber auch oft komplexere, klassische Algorithmen – ich will jetzt nicht sagen „fälschlicherweise“, aber doch nicht trennscharf – unter KI subsumiert.
Vereinfacht kann man sagen, das traditionelle Algorithmen fest programmierte Verarbeitungsregeln sind, die einmalig definiert wurden und auch klar im Programmcode nachvollziehbar sind, während wir wie bei KI-Systemen von Verarbeitungsregeln sprechen, die sich dynamisch anhand von Eingaben anpassen und weiterentwickeln können.
DB: Wo sind aktuell KI-Systeme zu finden und wo werden sie eingesetzt?
Berge: Der Haupteinsatzzweck von KI-Systemen sind Aufgabenfelder, wo kognitive Fertigkeiten benötigt werden – also eine Wahrnehmung und Interpretation von externen Signalen bzw. Eingaben. Einer der Hauptanwendungszwecke ist das Erkennen von Mustern und daraus abgeleitet die Klassifizierung von Daten. Beispiele hierfür sind im Bereich der Bilderkennung (Computer Vision) das autonome Fahren oder die Diagnoseunterstützung bei Auswertung von Röntgen-/MRT-Bildern in der Medizin. Bei der Erkennung und Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) sind einfache Beispiele Personal Assistants, Chatbots oder Übersetzungssysteme. Darüber hinaus lassen sich mit NLP aber auch Texte, wie z.B. Vertragsdaten analysieren oder Zusammenfassungen generieren oder auch dass die KI eigenständig Texte und Nachrichten verfasst.
Flath: Im Rahmen von kaufmännischen Geschäftsprozessen lässt sich der Einsatz von KI-Systemen vor allem aufteilen in Vorhersagen – zum Beispiel automatisierte Umsatzprognosen im Rahmen der Unternehmensplanung, Analysen wie beispielsweise das Überwachen von schwachen Signalen in sozialen Netzen und Klassifikationen, also etwa die selbstständige Zuordnung und Buchung von Rechnungen auf die korrekten Konten.
Die große Herausforderung liegt folglich in der Überprüfung der Ordnungsmäßigkeit der einer Entscheidung zugrundeliegenden Verarbeitungsregel, und somit auch in der Erklärbarkeit und Nachvollziehbarkeit, wie die Ausgabe zustande gekommen ist. Das gilt sowohl für klassische – und insbesondere für KI-Algorithmen. Diese Informationslücke kann über passgenaue Prüfungsleistungen wie beispielsweise Algorithm Assurance geschlossen werden, wodurch das Vertrauen in die zugrundeliegenden KI nachhaltig wächst.
DB: Worin unterscheidet sich die Prüfung von KI-Systemen zu normalen IT-Audits?
Berge: Die Prüfung von Algorithmen und KI-Systemen (Algorithm Assurance) geht über den normalen IT-Audit hinaus, um die spezifischen Risiken dieser Anwendungen zu adressieren.
Prüfungen von Algorithmen finden prinzipiell ja auch schon heutzutage statt, in der Form der Überprüfung von Programmfunktionen und der Überprüfung von automatischen Kontrollen. Zu den automatischen Kontrollen zählen – angelehnt aus der Definition aus dem angelsächsischen Raum – auch klassische Programmfunktionen wie durchgeführte Berechnungen in IT-Systemen.
Algorithm Assurance fokussiert sich darüber hinaus auf spezifische Risiken, die die Verwendung von lernenden Algorithmen mit sich bringen. Ein Beispiel sind hier ethische und auch Compliance Fragestellungen, ob der Algorithmus bestimmte Personengruppen benachteiligt, Ergebnisse in der Darstellung verfälscht oder sogar den Anwender in seiner Entscheidungsfindung manipuliert. Der Fokus solcher Prüfungen ist hierbei auf den Algorithmus als eigenständige Programmfunktion gerichtet, auch wenn dieser in einer IT-Anwendung eingebettet ist.
Flath: Die Prüfung von KI-Systemen umfasst über die eben schon angesprochenen ethischen und Compliance-bezogenen Fragestellungen hinaus zusätzliche Bereiche wie die Eignung von Trainings- und Testdaten, die Verfahren zur Modellerstellung oder auch das Monitoring im Live-Betrieb, zum Beispiel hinsichtlich Model-Drift.
DB: Weshalb ist die Unterscheidung von zu auditierenden und nicht zu auditierenden KI-Systemen so wichtig?
Flath: Der Prüfungsumfang als auch überhaupt die Fragestellung, ob ein KI-System geprüft werden sollte, hängt natürlich vom Einsatzzweck und dem damit verbundenen Risiken ab. Sprich welche Risiken können durch den Einsatz dieses bestimmten Algorithmus oder dieses KI-Systems entstehen, für die ich schlussendlich verantwortlich bin.
Berge: Genau. Wir empfehlen daher, eine Inventarisierung der von Unternehmen genutzten Algorithmen und KI-Systeme und für jeden Eintrag eine entsprechende Risikoklassifizierung des jeweiligen Algorithmus/KI-Systems durchzuführen. Dieses Vorgehen raten wir, da dies auch in naher Zukunft aufgrund regulatorischer Vorgaben erforderlich werden wird. Das Proposal zum EU AI Act beinhaltet bereits eine Klassifizierung in vier Risikogruppen: Systeme mit inakzeptablem Risiko, Systeme mit hohem Risiko, Systeme mit mittlerem Risiko (die bestimmte Transparenz-Kriterien erfüllen müssen) und Systeme mit minimalem oder keinem Risiko.
Daraus abgeleitet ergibt sich dann auch die Tiefe der Prüfung dieser Algorithmen und KI-Systeme.
DB: Das heißt, neue Regularien und Gesetze werden die Unternehmen in naher Zukunft weiterhin auf Trab halten?
Berge: Die Risiken im Zusammenhang mit dem Einsatz von KI-Systemen sind vielfältig und reichen von falschen Ergebnissen über Diskriminierung, Manipulation bis hin zu ethisch nicht vertretbaren Entscheidungen.
Aus diesem Grund wird momentan weltweit an Regularien für die Entwicklung, den Einsatz und die Prüfung von KI-Systemen gearbeitet. Bisher wurden eher freiwillig anzuwendende und vornehmlich allgemeinere Leitlinien wie beispielsweise die „Ethics Guidelines for Trustworthy AI“ von der EU veröffentlicht. Wir sehen jetzt aber rechtlich verbindliche Regularien auf die Unternehmen zukommen. Unter anderem hat die EU Anfang dieses Jahres das bereits erwähnte Proposal zum EU AI Act vorgestellt, welches in den nächsten Jahren in nationales Recht umgesetzt werden wird. Darüber hinaus wird an verschiedenen Stellen – zu Beispiel auch beim Institut der Wirtschaftsprüfer – an neuen Prüfungsstandards gearbeitet, die eine gewisse Bindungswirkung entfalten werden. Bereits heute gibt es zudem vielfältige branchenspezifische Leitlinien und Regularien, wie zum Beispiel von der BaFin.
Um die Frage zu beantworten: Ja, KI muss zukünftig eine Vielzahl regulatorischer Anforderungen erfüllen. Der KI-Begriff wird darüber hinaus wohl auch weiter gefasst werden und wird auch Algorithmen miteinschließen, die zum Beispiel auf bestimmten statistischen Verfahren basieren.
DB: Was raten Sie Unternehmen, die Algorithmus-basierte Technologien und künstliche Intelligenz einsetzen?
Berge: Wir gestalten mit vielen Unternehmen zusammen gerade den Übergang von der Phase des „Ausprobierens“ und einzelnen Proof of Concepts für KI-Anwendungen in die produktiven Prozesse und der Integration in die konzernweiten IT-Systeme.
In der von Deloitte durchgeführten KI-Studie gaben mehr als dreiviertel der befragten Unternehmen den Einsatz von KI als bedeutend, wenn nicht sogar als erfolgskritisch für den Geschäftserfolg an. Ein wesentlicher Punkt dabei ist, Vertrauen in den Einsatz von KI-Systemen zu schaffen. Dazu gehört auch insbesondere die Einhaltung ethischer und rechtlicher Anforderungen.
Flath: Ganz unabhängig davon sollten Unternehmen auch erkennen, dass die entschlossene und frühzeitige Anwendung von KI-Systemen die Chance für einen Wettbewerbsvorteil ist. Unternehmen sollten also frühzeitig Maßnahmen ergreifen, um die Einhaltung der internen und externen Anforderungen an KI-Systeme sicherzustellen.
Gerade das Thema Sicherheit und Vertrauen kann hier entscheidend sein, ob man die immensen Vorteile, die sich aus dem Einsatz von KI ergeben können, heben kann.
Mit unserem Algorithm Assurance Services unterstützen wir Unternehmen dabei sicherzustellen, dass Algorithmen und KI-Systeme ordnungsgemäß funktionieren und potenzielle Risiken, minimiert werden sind.
