Was ist KI-Anomalieerkennung?

Das Ziel der Anomalieerkennung ist es, Abweichungen in Daten zu erkennen. Da Unternehmen jedoch immer mehr Informationen an immer mehr Orten sammeln, kann es äußerst schwierig sein, Abweichungen von der Norm zu entdecken. Hier kommt KI ins Spiel. Nun können riesige Datensätze schnell gescannt werden, um Muster zu finden, die außerhalb der Norm liegen, und so Anomalien aufzuspüren. Die KI-gestützte Anomalieerkennung ist unter anderem nützlich, um Finanzbetrug, bestimmte Erkrankungen und Netzwerkangriffe aufzudecken.

Was ist KI-Anomalieerkennung?

KI-Anomalieerkennung ist ein Prozess, bei dem ein KI-Modell einen Datensatz überprüft und Datensätze markiert, die als Ausreißer von einer Baseline angesehen werden, die normales Verhalten darstellt und als Referenzpunkt für Vergleiche dient. Die erwartete Baseline für einen Datensatz wird während des Modelltrainingsprozesses anhand einer Kombination aus historischen Daten, Branchenerwartungen und Projektzielen festgelegt.

Die Anomalieerkennung kann mit herkömmlichen Datenanalysen durchgeführt werden, die jedoch auf manuell festgelegten Regeln basieren. Der statische und begrenzte Anwendungsbereich dieser Regeln schafft Einschränkungen, die durch die Fähigkeit eines KI-Modells, sich im Laufe der Zeit weiterzuentwickeln und anzupassen, überwunden werden können. Die KI-Anomalieerkennung kann auch ohne Basisdaten durchgeführt werden, wenn das System halbüberwachte und unüberwachte Daten verarbeitet.

Anomalieerkennung findet sowohl branchenspezifische als auch betriebliche Anwendungen; Beispiele hierfür sind die Analyse von Kreditkartentransaktionen, Sicherheitsprotokollen und Produktionsdaten. Da Unternehmen zunehmend auf eine IT-Landschaft mit Multicloud-Umgebungen und generativen KI-Projekten umstellen, gewinnt die KI-Anomalieerkennung noch mehr an Bedeutung. Für IT-Abteilungen, die beispielsweise auf Multicloud setzen, bedeuten die nativen Komplexitäten der Umgebung – mehrere Ebenen und Arten von Sicherheitsprotokollen, unterschiedliche Konfigurationen und angepasste APIs für Interoperabilität –, dass ein KI-Modell dazu beitragen kann, die Problemerkennung zu vereinfachen und zu verbessern.

Wichtige Erkenntnisse

• KI kann die Geschwindigkeit, Genauigkeit und Anwendbarkeit der Anomalieerkennung verbessern.
• Während die traditionelle regelbasierte Anomalieerkennung häufige Aktualisierungen erfordert, kann sich die KI-gestützte Anomalieerkennung automatisch an neue Muster und Trends anpassen.
• Beim Training von GenAI mit synthetischen Daten kann die KI-Anomalieerkennung Ausreißer hervorheben, und diese Ergebnisse können die Grundlage für die Ausrichtung weiterer synthetisch generierter Datensätze bilden.
• KI-Anomalieerkennung kann auch bei der Validierung synthetischer Datensätze helfen, die für Trainingszwecke verwendet werden.

KI-Anomalieerkennung erklärt

Die Anomalieerkennung hat ihren Ursprung in der Statistik, insbesondere in industriellen Anwendungen in der Fertigung zu Beginn des 20. Jahrhunderts. Kryptographen verwendeten manuelle Anomalieerkennung, um Codes zu knacken, indem sie nach ungewöhnlichen Mustern oder Abweichungen von der erwarteten statistischen Verteilung von Buchstaben oder Symbolen Ausschau hielten. Mit zunehmender Datenfülle wurde die computergestützte Anomalieerkennung zur Norm in Bereichen wie Betrugsaufdeckung, Bestandsverwaltung und Qualitätskontrolle.

Die KI-Anomalieerkennung verändert den Prozess von einem statischen Satz statistischer Regeln zu einem flexibleren Modell, das darauf trainiert ist, eine Ausgangsbasis für „Normalität“ zu schaffen. Durch das Training mit Daten bietet das KI-Modell eine präzisere und verfeinerte Definition der erwarteten Daten – und je mehr Daten es verarbeitet, desto genauer wird es. Dadurch entsteht ein Modell, das die vielen Facetten jeder Anwendung besser widerspiegelt und sich besonders für komplexe Einsatzzwecke eignet, wie beispielsweise die Überwachung von IoT-Geräten und anderen Systemen, die große Datenmengen generieren und bei denen die Beziehungen zwischen den Datenpunkten nicht immer offensichtlich sind.

Generative KI ist ein Beispiel dafür, wie die KI-Anomalieerkennung einer Reihe von Projekten und Dienstleistungen zugute kommen kann. Nahezu alle GenAI-Projekte sind nur aufgrund von Durchbrüchen bei der Datenerfassung, -speicherung und -verarbeitung realisierbar. Zwar kann bei diesen Projekten die traditionelle regelbasierte Anomalieerkennung angewendet werden, doch mangelt es oft an der Präzision und Feinheit, die für eine saubere Verarbeitung solch großer Datenmengen erforderlich sind. Daher kann die KI-Anomalieerkennung eine Notwendigkeit bei der Datentransformation und Normalisierung von Trainingsdatenquellen sein, um Ausreißer zu erkennen, Verzerrungen in Daten zu erfassen und sogar bei der Generierung synthetischer Daten für das Algorithmus-Training zu helfen.

Funktionsweise der KI-Anomalieerkennung

Der Prozess der KI-Anomalieerkennung ähnelt stark dem Prozess für jedes KI-Modell – Datenbeschaffung, Training und Iteration sind erforderlich. Der Hauptunterschied liegt in den spezifischen Zielen, da sich die Anomalieerkennung auf Ausreißer konzentriert. Die allgemeinen Schritte zur Erkennung von Anomalien durch KI sind wie folgt:

1. Datenerfassung und -vorverarbeitung: Wie bei anderen KI-Projekten beginnt auch die KI-Anomalieerkennung mit der Festlegung einer Projektrichtung. Zunächst müssen die übergeordneten Ziele des Projekts definiert werden: Was ist der Normalzustand der Daten und welcher Umfang der Daten soll berücksichtigt werden? Von dort aus sollten die Teams Datenquellen für das Training identifizieren und ein Repository für die Erfassung und Kategorisierung von Daten einrichten – welche Datensätze sind anomal und welche nicht? Unternehmen können diesen Prozess der Erstellung von Trainingsdaten vereinfachen, indem sie automatisierte Transformationen zwischen der Quelle und dem Trainingsrepository einrichten.
2. Auswahl eines Algorithmus: Anstatt nur allgemeine Ziele zu berücksichtigen, können Teams auch detailliertere Ziele und Einschränkungen berücksichtigen, um Funktionen auszuwählen, Attribute zu identifizieren und den besten Algorithmus für eine bestimmte Situation auszuwählen. Für die Anomalieerkennung eignen sich statistische Verfahren (Regression), Clustering (K-means) und neuronale Netze hervorragend. Alle Algorithmen, die für die KI-Anomalieerkennung verwendet werden, versuchen, Datensätze zu kategorisieren. Die erfolgreichsten verwenden oft neuronale Netze, die Daten auf komplexe Weise kategorisieren. Beispielsweise könnten Finanztransaktionen als typisch für ein Konto oder als hochwertig klassifiziert werden. Sie könnten dann als von erwarteten Standorten oder einem neuen Standort stammend kategorisiert und weiter als typische Ausgaben oder ungewöhnliche Ausgaben klassifiziert werden. Wenn zwei anomale Zustände in einer einzigen Transaktion auftreten, könnte es sich um Betrug handeln. Wenn alle drei Bedingungen zutreffen, handelt es sich wahrscheinlich um Betrug. Durch Training kann KI diese Art von Analyse über viele Kategorien hinweg durchführen und Gewichtungen anwenden, um zu entscheiden, wann eine Transaktion weiter geprüft werden sollte.
3. Modelltraining und -auswahl: Sind diese Komponenten vorhanden, können die Teams mit dem Training eines Modells beginnen. Zu den Schritten gehören die Festlegung der Architektur, die Auswahl eines verfügbaren Grundlagenmodells, die Vorbereitung der Trainingsdaten und die Verarbeitung der Trainingsdaten durch das Modell. Als Nächstes werden die Teams einen weiteren Datensatz verwenden, um das trainierte Modell zu testen und zu beurteilen, wie gut es Anomalien erkennt. Das Training wird fortgesetzt, bis das Modell wie gewünscht funktioniert. Je nach zugrunde liegendem Algorithmus kann das Modell weiterhin aus Live-Daten lernen, um sich im Laufe der Zeit weiter zu verbessern.
4. Echtzeit- versus Batch-Verarbeitung: Je nach Anwendung kann die KI-Anomalieerkennung in Echtzeit erfolgen oder Daten in großen Stapeln verarbeiten. Die Echtzeiterkennung kann erhebliche Rechen- und Verarbeitungsressourcen erfordern, die für diesen Prozess bereitgestellt werden müssen. Im Gegenzug liefert die Echtzeit-Erkennung zwar schnelle Ergebnisse, diese sind jedoch möglicherweise weniger aufschlussreich und detailliert als die Ergebnisse, die in der kontrollierten Umgebung der Stapelverarbeitung erzielt werden. Daher kann die Echtzeit-Erkennung subtile Anomalien zugunsten der Geschwindigkeit übersehen.

Vorteile der KI-Anomalieerkennung

Die KI-Anomalieerkennung stellt einen bedeutenden Fortschritt gegenüber der herkömmlichen regelbasierten Anomalieerkennung dar. KI-basierte Systeme können eine robustere Recheninfrastruktur erfordern, bieten jedoch in der Regel eine deutlich bessere Leistung. Im Folgenden sind einige der häufigsten Vorteile der KI-Anomalieerkennung aufgeführt:

• Verbesserte Genauigkeit und Präzision: Richtig trainierte neuronale Netze entwickeln Tausende von Kategorien oder Clustern und lernen zu verstehen, wie die Zugehörigkeit zu diesen Clustern auf miteinander in Beziehung stehende Daten hinweisen kann. Das Ergebnis ist die Fähigkeit, Datenabweichungen zu erkennen, die mit von Menschen geschriebenen Regeln niemals gefunden würden. Diese Modelle erkennen subtilere Anomalien und verfügen über den richtigen Kontext, um Urteile zu fällen. All das zusammen sorgt für einen genaueren Erkennungsprozess.
• Skalierbarkeit: KI kann nicht nur große Datenmengen verarbeiten – das können regelbasierte Systeme auch –, sondern auch komplexere Datensätze. In aktuellen Algorithmen für sehr große, sehr komplexe Datensätze werden für jeden komplexen Datensatz Vektordarstellungen erstellt. Anschließend werden Ähnlichkeitssuchen verwendet, um die nächsten Nachbarn zu finden. Wenn sich die nächsten Nachbarn des Vektors in einem Cluster befinden, von dem bekannt ist, dass er betrügerische Datensätze enthält, kann man mit ziemlicher Sicherheit davon ausgehen, dass dies auch auf den betreffenden Datensatz zutrifft. Dieser Ansatz lässt sich auf Datensätze mit Milliarden von Datensätzen skalieren, die jeweils komplexe Daten enthalten.
• Echtzeit-Überwachungsfunktionen: Der gleiche Ansatz, der es Erkennungssystemen ermöglicht, in großem Maßstab zu arbeiten, lässt sie auch schnell arbeiten. Ähnlichkeitssuchen können sehr schnell durchgeführt werden, selbst bei komplexen Daten.
• Verbesserte Anpassungsfähigkeit an sich ändernde Muster: Algorithmen, die Datensatzcluster erstellen, können potenzielle neue Anomalien erkennen, indem sie neue Datensatzcluster finden. Diese Cluster können einerseits neue Anomalien darstellen, andererseits aber auch einfach nur eine Verschiebung in den Aufzeichnungen bedeuten. Nehmen wir zum Beispiel an, dass ein Produkt, das ein Geschäft führt, in den sozialen Medien viral geht; dann entsteht innerhalb der Daten ein neuer Cluster. In diesem Beispiel ist die Anomalie eine erfreuliche. Eine Analyse der Umstände könnte einem Geschäft oder Hersteller helfen, einen solchen Erfolg zu wiederholen. Wenn der Hype nachlässt, wächst der Cluster möglicherweise nicht weiter. Auch das sind Daten, die es zu analysieren gilt.
• Weniger Fehlalarme: Eine Abweichung in den Aufzeichnungen kann für das Unternehmen von Vorteil sein, wie im vorherigen Beispiel. Andererseits könnten statische Regeln diese neuen viralen Verkaufsrekorde als Betrug einstufen. Bei KI-basierten Systemen, die Datenbeziehungen in der Regel differenzierter betrachten, ist eine solche Fehlklassifizierung weniger wahrscheinlich.

Wichtige Techniken zur Erkennung von Anomalien durch KI

Während KI-Anomalieerkennungsmodelle vielen der gleichen allgemeinen Schritte und Regeln folgen wie andere KI-Entwicklungsprojekte, stützt sich der Prozess auf spezifische Methoden, die für diesen Zweck gut geeignet sind. Im Folgenden werden die wichtigsten Techniken zur Erkennung von Anomalien durch KI vorgestellt:

1. Überwachtes und unüberwachtes Lernen: Teams müssen sich bei der KI-Anomalieerkennung zwischen überwachtem Lernen und unüberwachtem Lernen entscheiden. Beide funktionieren. Allerdings sind gekennzeichnete Anomalien in Datensätzen eher selten, und das Kennzeichnen von Daten kann ein langwieriger und kostspieliger Prozess sein. In den meisten Fällen wird unüberwachtes Lernen bevorzugt, da es schneller und kostengünstiger ist. Dadurch ist es möglich, Datensätze zu gruppieren und Anomalien zu erkennen. Es sind jedoch weitere Trainings oder Programmierungen erforderlich, um festzustellen, ob die gefundenen Anomalien harmlos sind oder eine Gefahr darstellen, die bekämpft werden muss.
2. Clustering-basierte Methoden: Clustering ist eine gängige KI-Technik, die häufig zur Erkennung von Anomalien eingesetzt wird, da Modelle Datenpunkte anhand von sich überschneidenden Merkmalen und anderen auffälligen Ähnlichkeiten gruppieren. Durch die Clusterbildung von Datenpunkten werden Ausreißer erkannt und Anomalien markiert. Zu den gängigen Clustering-Algorithmen gehören K-means, Isolation Forest und Gaußsche Mischmodelle. Vektordarstellungen von Datensätzen werden zunehmend für komplexe oder hochdimensionale Datensätze verwendet. Multimodale Datenbanken, die die Erstellung und Verarbeitung von Vektoren unterstützen, können die Erkennung von Anomalien in komplexen Daten erleichtern.
3. Neuronale Netze: Neuronale Netze können komplexe Muster erkennen und nichtlineare Beziehungen analysieren, was dabei hilft, Ausreißer und Anomalien zu finden. Einige neuronale Netzwerkarchitekturen für die KI-Anomalieerkennung sind Autoencoder, die Anomalien während der Rekonstruktionsphase erkennen können, und generative gegnerische Netzwerke (GAN), die das Generator-/Diskriminator-Paradigma nutzen können, um Ausreißer durch den Diskriminator zu identifizieren.
4. Techniken zur Erkennung von Anomalien in Zeitreihen: Für Daten, die über einen bestimmten Zeitraum aufgezeichnet wurden, sind die oben genannten Techniken nützlich, aber die ideale Auswahl hängt von Ressourcen, Zielen, Datenpunkten und anderen Faktoren ab. Beispielsweise können Clustering-Algorithmen Kreditkartentransaktionen auf Betrug überprüfen, indem sie bestimmte Dimensionen wie geografische Lage, Kaufkategorie und Kosten gruppieren. In einem anderen Beispiel könnte ein neuronales Netzwerk die Beziehungen zwischen der Genauigkeit der Ausgabe und den Nutzungszyklen bei komplexen Produktionsmaschinen beobachten. Durch die Auswertung der Beziehungen zwischen verschiedenen Monitoren an der Maschine könnte das neuronale Netzwerk erkennen, dass eine Kombination von Datenpunkten darauf hindeutet, dass eine Wartung früher als üblich durchgeführt werden muss.

Anwendungsfälle für KI-Anomalieerkennung

Die KI-Anomalieerkennung ist in einer Vielzahl von Anwendungen und Branchen hilfreich. Zu berücksichtigende Faktoren sind unter anderem, ob Ihr Anwendungsfall interne oder externe Daten oder beides erfordert und ob Echtzeit-Erkennung das Ziel ist.

Zu den beliebten Einsatzgebieten der Anomalieerkennung gehören:

• Cybersicherheit: Durch die ständige Überwachung aller Aspekte der IT-Infrastruktur eines Unternehmens können Anomalien erkannt werden, die auf einen Angriff hindeuten könnten. Im Falle einer Multicloud-Konfiguration kann die KI-Anomalieerkennung IT-Teams, die möglicherweise mit einer Reihe sich überschneidender Systeme und Konfigurationen zu kämpfen haben, eine erhebliche Hilfe sein. Bei Multicloud-Konfigurationen kann KI automatisch die vielen Details von Vorgängen überwachen, die Fachwissen über den Betrieb jeder einzelnen Cloud erfordern.
• Finanzen: Die Betrugserkennung ist einer der ältesten Anwendungsfälle für die Anomalieerkennung. Angesichts der wachsenden Finanzdatenmengen ist es sinnvoll, dies mit KI zu unterstützen. Mit der KI-Anomalieerkennung erhalten Institutionen genauere Modelle, die von diesen großen Datensätzen profitieren. Gleichzeitig entwickeln Finanzbetrüger ständig neue Techniken, und KI ermöglicht es dem Modell, sich weiterzuentwickeln und neue Muster besser zu erkennen, indem es einen breiteren Kontext heranzieht.
• Gesundheitswesen: KI kann Krankenhausdaten analysieren, um Anomalien zu identifizieren, die auf Ineffizienzen, nicht ausgelastete Einrichtungen oder Betrug hindeuten können.
• IT-Betrieb: Da die IT-Landschaften von Unternehmen immer komplexer werden und der Umfang der Netzwerküberwachung zunimmt, kann die KI-Anomalieerkennung menschliche Experten ergänzen und die Alarmsättigung minimieren. Beispielsweise könnte KI Anwendungsprotokolle analysieren, um Anomalien zu identifizieren, die auf eine verminderte Leistung hindeuten, wie langsame Reaktionszeiten oder Fehler.
• Fertigung: KI-Anomalieerkennungssysteme für die Fertigung können nun deutlich mehr Datenpunkte auswerten, um potenzielle Probleme zu erkennen und zu beheben, bevor sie zu kostspieligen Ausfallzeiten, Defekten oder Sicherheitsrisiken führen. Beispielsweise könnten ungewöhnliche Temperaturschwankungen in Geräten auf eine Überhitzung hindeuten, während KI-gestützte Kameras Fehler in Produkten erkennen könnten, bevor diese an Kunden ausgeliefert werden.
• Kommunalverwaltung und Bauwesen: Die Anomalieerkennung bietet Vorteile für alle, die Infrastrukturen überwachen müssen, insbesondere beim Einsatz von Drohnen. Für Kommunen kann KI aufgenommene Bilder von Brücken, Straßen und Stromleitungen analysieren, um Anomalien zu erkennen und eine proaktive Instandhaltung zu ermöglichen. Ebenso können Drohnen, die mit KI-gestützter Anomalieerkennung ausgestattet sind, den Projektfortschritt anhand von Modellen überwachen, Sicherheitsrisiken wie fehlende Ausrüstung oder falsche Materialplatzierung identifizieren und strukturelle Mängel in im Bau befindlichen Gebäuden erkennen.

Anomalieerkennung mit Oracle Cloud AI Service entdecken

KI-Services auf Oracle Cloud Infrastructure (OCI) bieten eine Reihe vorgefertigter Tools, Modelle und Funktionen zur Integration von KI in Anwendungen und Workflows, darunter spezielle Funktionen zur Erkennung von Anomalien in verschiedenen Konfigurationen. OCI bringt KI-gestütztes Lernen und Anpassungsfähigkeit in die Überwachung, Wartung und Kontrolle in verschiedenen Branchen und Anwendungsfällen.

Die Aussichten für die KI-Anomalieerkennung sind außerordentlich vielversprechend, da das Datenvolumen und die Komplexität der Daten in allen Branchen zunehmen und Betrugsfälle und andere Probleme proaktiv identifiziert werden müssen. Es ist zu erwarten, dass immer ausgefeiltere KI-Modelle, darunter Deep Learning und unüberwachte Verfahren, eine immer zentralere Rolle bei der Erkennung von Anomalien spielen werden, da sie in der Lage sind, subtile Anomalien zu erkennen, ohne auf umfangreiche gekennzeichnete Daten zurückgreifen zu müssen. Unternehmen streben außerdem nach verbesserten Echtzeitanalysen, einer besseren Integration in bestehende Systeme und dem Einsatz von Anomalieerkennung am Netzwerkrand.

OCI Anomaly Detection Service in der Praxis erleben

Häufig gestellte Fragen zur KI-Anomalieerkennung

Was unterscheidet die KI-Anomalieerkennung von herkömmlichen Methoden?

Die traditionelle Anomalieerkennung basiert auf Teams, die Regeln und Datenschwellenwerte festlegen. Das kann zwar zu Ergebnissen führen, bringt jedoch erhebliche Einschränkungen mit sich, wie z. B. die Unfähigkeit, sich an Veränderungen in der Branche anzupassen, und das Übersehen nichtlinearer Zusammenhänge. Die KI-Anomalieerkennung passt sich besser an sich ändernde Daten an und kann mehr Datentypen verarbeiten.

Wie können Unternehmen feststellen, ob sie KI-Anomalieerkennung benötigen?

Die KI-Anomalieerkennung ist in der Regel leistungsfähiger, genauer und schneller als die herkömmliche Anomalieerkennung und somit für viele Unternehmen ein nützliches Geschäftsinstrument. Es gibt jedoch Umstände, unter denen traditionelle Methoden ausreichen. Um die beste Lösung zu finden, sollten Unternehmen die Komplexität ihrer Daten, die Strenge ihrer regulatorischen Anforderungen und die Sicherheitsrisikofaktoren untersuchen. Darüber hinaus muss der Umfang der verfügbaren Ressourcen berücksichtigt werden. Kann das Unternehmen beispielsweise den Kauf und die Weiterentwicklung eines vorab trainierten Modells unterstützen und verfügt es über die erforderlichen Rechen- und Datenressourcen, um diese Bemühungen zu unterstützen? Ist die Cloud die beste Option? In vielen Fällen ist sie der kostengünstigste Weg.

Was sind die grundlegenden Schritte, um mit der KI-Anomalieerkennung zu beginnen?

Die grundlegendsten Schritte zur Verwendung der KI-Anomalieerkennung umfassen

• Festlegung des Ziels, der Datenquellen und der Einschränkungen,
• Auswahl des geeigneten KI-Algorithmus zur Erreichung der Ziele,
• Training, Vorbereitung und Feinabstimmung des Modells, unabhängig davon, ob es vortrainiert oder intern entwickelt wurde,
• Starten des Modells mit Live-Daten und kontinuierliche Überwachung seiner Ergebnisse,
• Auswertung der Ergebnisse, um festzustellen, ob sich überraschende Trends abzeichnen.