Business Case Künstliche Intelligenz

Durch standardisierte und Metrik-gestützte Entwicklung zum erfolgreichen KI-Projekt

Prof. Dr. Matthias Meinecke (Professor für Operations Management, Vorstand am Institut für Digitalisierung Aachen, FH Aachen) lehrt, forscht und berät zu Themen der Optimierung und Automatisierung von Geschäftsprozessen.


Prof. Dr. Bodo Kraft (Professor für Wirtschaftsinformatik, Vorstand am Institut für Digitalisierung Aachen, FH Aachen) leitet das Labor Business Programming und forscht mit seinen Mitarbeitern im Bereich Softwaretechnik in Verbindung mit Verfahren der künstlichen Intelligenz.

Beide Autoren sind Coaches des Start-Ups TaggingMatters, welches Produkte und Services für die effiziente, automatisierte Verarbeitung menschlicher Sprache zur Optimierung von Unternehmensprozessen entwickelt

Künstliche Intelligenz

Der Einsatz von künstlicher Intelligenz zur Digitalisierung von Unternehmensprozessen und zur Schaffung von Dienstleistungsangeboten ist für viele Unternehmen eine große Herausforderung. Nicht selten scheitern entsprechende Projekte. Dank zahlreicher am Markt verfügbarer KI-Services zur Verarbeitung natürlicher Sprache ist der Einstieg zunächst einfach und führt zu vielversprechenden ersten Experimenten. KI-basierte Services erzeugen aber nur dann einen hohen und verlässlichen Nutzen, der die professionellen Qualitätsstandards eines Unternehmens erfüllt, wenn die Entwicklung zielgerichtet erfolgt und eine Überwachung der Qualität in ausreichendem Maße stattfindet. Die Entwicklung solch spezifischer KIs ist jedoch aufwändig und der Aufwand schwer abschätzbar. Die hier beschriebene Lösung ist ein standardisiertes Vorgehen, das den Entwicklungsprozess konsequent an den Anforderungen des KI-Modells und der Implementierung in eine Anwendungsumgebung ausrichtet.

Die Einsatzmöglichkeiten von künstlicher Intelligenz sind riesig. Im industriellen Kontext sind keine Branche und kein Fachgebiet ausgenommen und die Zahl der Anwendungsfelder nimmt täglich zu. Eine von der International Data Group in Kooperation mit Microsoft und Lufthansa Industry Solutions durchgeführte Studie kommt zu dem Ergebnis, dass vier von fünf Unternehmen ein dediziertes Budget für KI- und Machine Learning-Projekte haben und zwei Drittel der Unternehmen bereits KI-Anwendungen einsetzen. Jedoch kommen die meisten Studien, die sich mit der Verbreitung und dem Einsatz solcher Anwendungen befassen, wie auch die oben zitierte, gleichermaßen zu dem Schluss, dass fehlende Kompetenz einer noch schnelleren Verbreitung von KI-Unterstützung im Wege steht.

Das Ergebnis ist weder verwunderlich noch falsch. Dieses recht grob umschriebene Hindernis gibt jedoch nur die ebenso unscharfe Fragestellung der durchgeführten Studien wieder. Die Frage welche Kompetenz konkret benötigt wird, bleibt meist unbeantwortet. Ebenso bleibt unklar, was Erfolgsfaktoren für den gewinnbringenden Einsatz von KI-Anwendungen sind und welche typischen Risiken die Anwendung dieser Technologie mit sich bringt. Dieser Beitrag beleuchtet die Herausforderungen bei der Entwicklung von KI-Anwendungen, zeigt Lösungsansätze und liefert so eine Grundlage zur Ableitung von Kompetenzanforderungen. Ein Fokus liegt auf KI-basierten Verfahren zur Verarbeitung von natürlicher Sprache.

KI-basierte Automatisierung

Vielen Unternehmen mangelt es nicht an Ideen, was sie durch den Einsatz von KI alles realisieren könnten. Unzählige Aufgaben bei der Verarbeitung von Daten ließen sich automatisieren und die gewonnene Arbeitszeit der bisher benötigten Fachkräfte für wichtigere Dinge einsetzen. Oder sie könnten schlicht den Mangel an qualifizierten Arbeitskräften senken. Allein die Verarbeitung von Eingangspost, wie sie in der Versicherungs-, Finanz- und Telekommunikationsindustrie jeden Tag durchgeführt wird, bindet in Deutschland tausende Mitarbeiter. Und dennoch wachsen die Berge der unbearbeiteten Schreiben vor und hinter diesem einen Arbeitsschritt. Wer in den letzten 2 Jahren versucht hat, von einer Bahn- oder Fluggesellschaft Entschädigung für Verspätung oder Ausfall einer Verbindung zu erhalten, hat einen Eindruck von den Bearbeitungszeiten bekommen. In Abbildung 1 ist der Ablauf der manuellen Tätigkeiten inkl. der benötigten Zeiten eines solchen Prozessdurchlaufs dargestellt. TaggingMatters schätzt, dass durch eine KI-basierte Automatisierung mindestens 80% der Zeit für manuellen Tätigkeiten eingespart werden kann. Das entspricht in diesem Beispiel 4 Minuten pro Vorgang.

Abb. 1: exemplarischer Ablauf bei der Verarbeitung von Eingangspost und Schätzung möglicher Einsparung

Im simpelsten Fall würde eine KI im skizzierten Anwendungsszenario alle eingegangenen Schreiben so weit kategorisieren, dass diese in den richtigen Fachabteilungen landen. Auch eine teilautomatisierte Verarbeitung wird durch den Einsatz einer KI möglich. Dabei würde die KI zusätzliche Aufgaben übernehmen, beispielweise das Erkennen der Dringlichkeit, den Abgleich mit anderen Schreiben und gegebenenfalls sogar weitergehende Verarbeitungsschritte, wie die Prüfung auf Validität einer Forderung oder sogar die Erfüllung einer beantragten Dienstleistung.

Diese sehr unvollständige Aufzählung möglicher Aufgaben deutet an, dass funktionale Anforderungen an die zu entwickelnde KI sehr breit gestreut sein können. Hinzu kommt, dass der fachliche Kontext – also die Domäne, in der die KI eingesetzt werden soll – nicht für alle Anwendungen gleich ist. Treiber der Heterogenität sind unter anderem Branchen, Geschäftsbereiche oder Regionen. In einer Domäne zu funktionieren, heißt nicht, es in allen zu können.

Ein zusätzliches Kriterium, welches die Komplexität noch erhöht, ist die erforderliche Verarbeitungsqualität der KI. Ist es wichtiger, jedes gesuchte Merkmal zu identifizieren und dabei in Kauf zu nehmen, dass ein Wort (bei Text) oder ein Gegenstand (bei Bildern) fälschlicherweise als gesuchtes Merkmal erkannt wird? Oder ist es genau andersherum: Lieber einmal etwas übersehen, als zu viel erkennen. Wie wichtig es ist, diese Anforderung präzise zu formulieren und zu erfüllen, wird leicht deutlich, wenn man sich ein selbstfahrendes Fahrzeug vorstellt, das durch den Einsatz von KI automatisiert Verkehrssituationen bewerten muss. Offensichtlich ist es besser, für einen Luftballon eine Vollbremsung zu viel zu machen, als für Menschen auf der Fahrbahn einmal zu wenig zu bremsen. Wenn die KI allerdings andere Gegenstände, welche häufiger als ein Luftballon vorkommen, wie vom Wind gefüllte Plastiktüten als Gefahr klassifiziert, ist die damit verbundene Vollbremsung vielleicht schon wieder ein nicht zu akzeptierender Risikofaktor. Um Geschäftsprozesse zu automatisieren, ohne Stabilität, Verlässlichkeit und Planbarkeit zu verlieren, ist die Spezifikation der Qualität und eine entsprechend zielgerichtete Entwicklung der KI also unverzichtbar.

Wer KIs zur Automatisierung einsetzen möchte, hat es mit drei Herausforderungen zu tun:

Erforderliche Kompetenzen beschränken sich also nicht auf die technische Befähigung zur Programmierung von KIs. Vielmehr muss das Kompetenzprofil um die Fähigkeit erweitert werden, die beschriebenen Herausforderungen zu bewältigen und vor allem den Aufwand dafür zuverlässig planen zu können. Die Kosten der Entwicklung maßgeschneiderter KIs sind nämlich nicht unerheblich und haben einen großen Einfluss auf die Frage, ob Entwicklung und Betrieb einer KI überhaupt einen positiven Business Case liefern.

Die Entwicklung eines KI-Modells

Die reine Entwicklung eines KI-Modells und Integration in einen Service lässt sich entsprechend Abbildung 2 und am Beispiel einer KI, die frei formulierte Texte verarbeiten soll, in 3 Phasen unterteilen:

  1. Die Verarbeitung frei formulierter Texte, wie am Beispiel der Eingangspost bereits beschrieben, kann nur durch eine KI übernommen werden, wenn die Integration des KI-Modells in bestehende Geschäftsprozesse vorgenommen und die KI so in einen Service (C) überführt wird.
  2. Der Weg dorthin führt über die Textdokumente im unverarbeiteten Zustand. Die relevanten Teile des Textes werden dazu markiert und die Markierungen den erwünschten Kategorien zugeordnet. Die Kategorien werden als Named Entities bezeichnet und der Vorgang der Kennzeichnung nennt sich Annotieren oder Taggen (A). Als Ergebnis entsteht ein annotierter Korpus aus Dokumenten mit Daten, welche die später zu verarbeitenden Textdaten repräsentieren. Diese Textdaten enthalten somit bereits das gewünschte Verarbeitungsergebnis in Form von Markierungen, die auch als Annotationen oder Tags bezeichnet werden.
  3. Das Trainieren eines Modells (B) ist prinzipiell ein automatisierter Vorgang. Auf Basis des annotierten Korpus wird hierbei eine statistische Verteilung errechnet, die für unbekannte Dokumente die Grundlage für eine Klassifikation bildet.
Abbildung 2: Phasen bei der Entwicklung einer KI zur Verarbeitung von Text

So simpel dieser Ablauf scheint, so zeitintensiv und teuer kann er werden. Das Annotieren (Taggen) von Textdatensätzen ist ein manueller Vorgang. Bei einem naiven Vorgehen ist die erforderliche Menge zu annotierender Textdatensätze und der damit verbundene händische Tagging-Aufwand immens. Selbst wenn man nur eine geringe Bearbeitungszeit von 30 Sekunden je Datensatz annimmt, ergeben sich schnell mehrere 100 Stunden Bearbeitungszeit. Die Entscheidung über die Menge der zu annotierenden Daten hat also offenbar einen erheblichen Einfluss auf die Kosten der Entwicklung. Da der Korpus maßgeblich die Qualität des KI-Modells bestimmt, ist die Frage nach einem, dem Verarbeitungsziel genügenden, Korpus essenziell für die Auswahl der Datensätze. Folglich fehlen im in Abbildung 2 dargestellten Ablauf Aufgaben, die für die zielgerichtete und effiziente Entwicklung einer KI zur Verarbeitung natürlicher Sprache wichtig sind.

Abbildung 3 zeigt ein erweitertes Phasenmodell zur Entwicklung und Implementierung von KI-Anwendungen, das diesem Defizit Rechnung trägt. Die grau eingefärbten Phasen sind aus Abbildung 2 bereits bekannt. Hinzu kommen die Phasen 1 und 2, in denen systematisch die Anforderungen an Funktion, Qualität, Performance und Integration der KI ermittelt werden. Auf dieser Basis werden bedarfsgerecht die Trainingsdatensätze ausgewählt. Dennoch bleibt das Annotieren ein wesentlicher Kostentreiber beim Entwickeln von KIs. 

Abbildung 3: Phasenmodell zur standardisierten Entwicklung und Implementierung von KI-Anwendungen
REF: Kohl et al: STAMP 4 NLP – an agile framework for rapid quality-driven NLP applications development, https://link.springer.com/chapter/10.1007%2F978-3-030-85347-1_12

Es stellt sich daher die Frage nach der erforderlichen Menge. Viel hilft viel mag zwar eine weit verbreitete Annahme sein, lässt aber so manches KI-Projekt unwirtschaftlich werden. Als Konsequenz unüberlegt Tagging-Aufwände zu sparen, kann jedoch dazu führen, dass die spezifizierten Anforderungen nicht erreicht werden und dass der automatisierte Prozess mit hohem Aufwand manuell unterstützt werden muss.

Die Lösung für das Vermeiden von Über- oder Unterspezifikation und für das Einsparen unnötiger Tagging-Aufwände ist ein inkrementelles, Metrik-basiertes Vorgehen. Dabei wird die erreichte Qualität laufend überwacht und verbessert (Phase 5). Unter Umständen kann es dabei notwendig werden, die Auswahl der Trainingsdaten noch einmal anzupassen, um das Qualitätsziel überhaupt oder in kürzerer Zeit zu erreichen. Ein weiteres Mittel zur Reduktion des Aufwandes ist der Einsatz von vortrainierten Modellen für das Annotieren oder die Verwendung bereits vorhandener Korpora für das Training. Einsparpotentiale finden sich allerdings nicht nur bei der erstmaligen Entwicklung und Implementierung einer KI. Über die Zeit der Nutzung eines KI-Services kommt es häufig vor, dass die Qualität der Verarbeitung nachlässt, weil sich die zu verarbeitenden Daten verändern. Die Ursachen dafür sind vielfältig – zum Beispiel verändern sich sowohl die menschliche Sprache als auch das Kundenverhalten fortlaufend. Eine kontinuierliche Überwachung der Qualität (Phase 7) erkennt solche Erscheinungen und liefert eine quantitative Grundlage, um über ein gezieltes Nachtrainieren des eingesetzten Modells zu entscheiden.

Fazit

Die Umsetzung der hier beschriebenen Maßnahmen und das Erreichen des gewünschten Erfolges einer kostenoptimalen KI-Entwicklung erfordern sicherlich die fachliche Qualifikation eines Datas-Scientists. Ebenso wichtig sind das Verständnis für die Anforderungen der Anwender sowie die Kompetenz, die fachlichen Domänen systematisch zu erkunden. Zusammenfassend erfordert eine erfolgreiche KI-Entwicklung mehrere fachliche Qualifikationen:

  1. Die Kompetenz eines Domänen-Experten, der die fachlichen Anforderungen im unternehmerischen Kontext exakt kennt und Qualitätsziele als Basis für eine inkrementelle Entwicklung formulieren kann.
  2. Die Qualifikation eines Data-Scientists, der das KI-Modell im Kern entwickelt und optimiert.
  3. Die Fähigkeiten eine Software-Technikers, der betrieblich integrierbare Software-Services bereitstellt und betreibt

Die Zusammenarbeit dieser Kompetenzen sollte prozessual am abgebildeten Vorgehensmodell durch eine iterative Vorgehensweise organisiert sein und technisch durch einen standardisierten und optimierter KI-Software-Erstellungsprozess unterstützt werden. Nur durch die kontinuierliche Transparenz in Bezug auf den Erreichungsgrad der Qualitätsziele ist eine Beurteilung des Projektfortschritts und der erforderlichen Restaufwände möglich.

Tagging Matters ist ein junges Start-Up der FH Aachen. Es bietet dieses Wissen und darüber hinaus Applikationen, welche den beschriebenen standardisierten, inkrementellen und Metrik-basieren Entwicklungsprozess unterstützten. Sprechen Sie bei Interesse gerne die Autoren dieses Beitrags an.

Registrieren sie sich jetzt KOSTENLOS um von folgenden Vorteilen zu profitieren:

Newsletter

iDA Shop

Weitere Fachbeiträge rund ums Thema Digitale Transformation