AI異常検出とは

異常検出の目的は、データの異常を発見することです。しかし、組織がより多くの情報をより多くの場所で収集するようになると、標準からの逸脱を発見することは非常に困難になることがあります。そこでAIの出番となります。現在では、膨大なデータセットを素早くスキャンして、標準から外れたパターンを検出し、異常を突き止めることができます。AIによる異常検出は、金融詐欺、特定の病状、ネットワーク侵入の発見など、さまざまな用途に役立ちます。

AI異常検出とは

AI異常検出は、人工知能モデルがデータ・セットを確認し、ベースラインから外れ値とみなされるレコードにフラグを付けるプロセスです。これは通常の動作を表し、比較の参照ポイントとして機能します。データセットの予測ベースラインは、履歴データ、業界の期待値、プロジェクト目標の組み合わせを利用して、モデルのトレーニング・プロセス中に確立されます。

異常検出は従来のデータ分析でも可能ですが、それは手動で確立されたルールに基づいて実行されます。これらのルールの静的で狭い範囲では、AIモデルが時間とともに進化し適応する機能によって克服できる制限が生じます。AI異常検出は、システムが半教師付きデータや教師なしデータを処理する場合、ベースラインデータなしで実行することもできます。

異常検知には、クレジットカード取引、セキュリティログ、生産データの分析など、業界特有の用途と運用上の用途があります。組織がマルチクラウド環境と生成AIプロジェクトのIT環境に移行するにつれて、AIの異常検出はさらに有用になっています。たとえば、マルチクラウドを利用しているIT部門にとって、環境のネイティブな複雑さ（複数のレイヤーや種類のセキュリティ・プロトコル、さまざまな構成、相互運用性のためのカスタマイズされたAPI）は、AIモデルが問題の検出を簡素化および改善するうえで支援となる可能性があることを表しています。

主なポイント

• AIは異常検出のスピード、精度、適用力を向上させることができます。
• 従来のルールベースの異常検出は頻繁な更新を必要としますが、AIを活用した異常検出は新しいパターンや傾向に自動的に適応することができます。
• 合成データで生成AIをトレーニングする場合、AIの異常検出は異常値を明確化することができ、その検出結果はさらに合成的に生成されたデータセットの方向性の基盤を形成することができます。
• またAI異常検出は、トレーニング目的で使用される合成データセットの検証にも役立てることができます。

AI異常検出の説明

異常検出の起源は統計学、特に20世紀初頭の製造業における産業への応用にあります。暗号解読者は、文字や記号の予測される統計的分布からの異常なパターンや逸脱を監視することで、手動の異常検出を用いて暗号を解読していました。データがより豊富になるにつれ、不正検出、在庫管理、品質管理などの分野では、コンピューター主導の異常検出が一般的になりました。

AI異常検出は、静的な一連の統計的ルールから、「正常」のベースラインを作成するために訓練されたより柔軟なモデルへとプロセスを変化させます。データを基に学習することで、AIモデルは期待されるデータのより正確で高度な定義を提供し、より多くのデータを処理すればするほど、その精度は高まります。これにより、それぞれのアプリケーションのさまざまな側面をよりよく反映し、IoT機器や多くのデータを生成し、データポイント間の関係が常に明らかではないその他のシステムを監視するような複雑な用途に優れたモデルが実現します。

生成AIIは、AI異常検出がさまざまなプロジェクトやサービスにメリットをもたらす方法を示す一例です。ほぼすべての生成AIプロジェクトが実現可能である理由は、データ収集、ストレージ、処理における飛躍的な進歩に他なりません。従来のルールベースの異常検出は、こうしたプロジェクトに適用することができますが、このような膨大なデータセットをクリーンに処理するための精度や ニュアンスが欠けていることがよくあります。したがって、AI異常検出は、トレーニング・データソースのデータ変換と正規化、異常値の特定、データの先入観の検出、さらにはアルゴリズム・トレーニングのための合成データの生成のサポートで必要となる可能性があります。

AI異常検出の仕組み

AI異常検出のプロセスは、データ・ソーシング、トレーニング、反復など、あらゆるAIモデルのプロセスと非常に類似しています。異常検出は異常値に焦点を当てるため、主な違いは特定の目的にあります。AI異常検出の一般的なステップは次のとおりです。

1. データ収集と前処理:他のAIプロジェクトと同様、AI異常検出はプロジェクトの方向性を定めることから始まります。まず、プロジェクトの大局的な目標を定める必要があります。データの正常な状態とはどのようなもので、考慮すべきデータの範囲はどこまででしょうか。そこから、チームはトレーニング向けのデータソースを特定し、どのレコードが異常で、どのレコードが異常でないかといったデータを収集および分類するためのリポジトリを確立する必要があります。組織は、ソースとトレーニング・リポジトリ間の自動変換を組み込むことで、トレーニング・データの作成プロセスを簡素化することができます。
2. アルゴリズムの選択: 大局的な目標だけでなく、チームはより細かい目標や制約を考慮して、機能の選択、属性の特定、特定の状況に最適なアルゴリズムの選択を行うことができます。異常検出には、統計（回帰）、クラスタリング（K-means）、及びニューラル・ネットワークが非常に適しています。AI異常検出に使用されるすべてのアルゴリズムは、データ・レコードの分類を試みます。最も成果を上げているものは、複雑な方法でデータを分類するニューラル・ネットワークを使用していることがよくあります。たとえば、財務取引はそのアカウントにとって一般的なものか、価値の高いものかに分類されることがあります。そして、予測される場所からの支出か新しい場所からの支出か、さらに典型的な支出か異常な支出かに分類さ れる可能性があります。単一の取引に2つの異常な状態が発生した場合、それは不正である可能性があります。3つの条件がすべて揃った場合、それはおそらく不正取引です。AIはトレーニングを通じて、多くのカテゴリにわたりこのような分析を行い、取引をさらにチェックすべき時期の決定を支援するために重み付けをすることができます。
3. モデルのトレーニングと選択:これらの準備が整えば、チームはモデルのトレーニングを開始できます。ステップには、アーキテクチャの確立、利用可能な基盤モデルの選択、トレーニング・データの作成、モデルによるトレーニング・データの実行が含まれます。次に、チームは別のデータセットを使用してトレーニングされたモデルをテストし、異常の検出度を測定します。トレーニングは、モデルが希望どおりに機能するまで継続されます。基盤となるアルゴリズムによっては、モデルはライブ・データから学習し続け、時間とともに継続的に改善されます。
4. リアルタイム検出とバッチ処理検出： アプリケーションによっては、AI異常検出はリアルタイムに実行される場合もあれば、大量バッチのデータ処理として実行される場合もあります。リアルタイム検出には、多大なコンピュート・リソースと処理リソースをプロセスに専任と して使用することが必要な場合があります。その結果、リアルタイム検出は迅速に結果を出しますが、その結果はバッチ処理の制御された環境から得られる結果よりも本質的で詳細ではない可能性があります。したがって、リアルタイム検出は、微妙な異常の検出が速度の代償となる可能性があります。

AI異常検出のメリット

AI異常検出は、従来のルールベースの異常検出と⽐較すると⼤幅な飛躍を⽰しています。AIベースのシステムは、より堅牢なコンピュート・インフラストラクチャを必要とする場合がありますが、通常、はるかに優れたパフォーマンスを発揮します。以下は、AI異常検出の最も一般的なメリットです。

• 精度と精度の向上:適切にトレーニングされたニューラル・ネットワークは、何千ものカテゴリまたはクラスタを開発し、それらのクラスタのメンバーシップが相互に関連するデータを示すことができる方法を理解するようになります。その結果、人間が書いたルールでは決して検出できないようなデータの異常を特定する機能が生まれます。これらのモデルは、より微妙な異常を検出し、判断を下すための適切なコンテキストを備えています。これらすべてを組み合わせることで、より正確な検出プロセスを実現します。
• スケーラビリティ: 大規模なデータセットをAIで処理できるだけでなく、ルールベースのシステムでも可能ですが、AIはより複雑なデータセットも処理できます。非常に大規模で複雑なデータセットに対する現在のアルゴリズムでは、それぞれの複雑なレコードに対してベクトル表現が作成されます。次に、類似性検索を使用して最も近いネイバーを検索します。ベクトルの最も近いネイバーが不正レコードを含むことが判明しているクラスタにある場合、その元となるレコードも不正レコードであることは確実です。このアプローチは、それぞれが複雑なデータを含む数十億レコードのデータセットにスケールすることができます。
• リアルタイム監視機能： 検出システムを大規模に機能させるアプローチと同じように、検出システムも迅速に機能させることができます。類似検索は、複雑なデータでも迅速に実行できます。
• 変化するパターンへの適応性の強化：レコードのクラスタを作成するアルゴリズムは、新しいレコードのクラスタを検索することで、新しい異常の可能性を検出できます。これらのクラスタは新しい異常を示す場合もありますが、単にレコードの内容の変化を示す場合もあります。たとえば、店舗が扱っている製品がソーシャルメディア上で流行した場合、データ内に新しいクラスタが発生します。この例の異常は好ましいものです。この異常がいかにして発生したかを分析することは、店舗や生産者が再びこの異常を発生させるよう支援することにつながる可能性があります。ブームが去れば、クラスタは成長しない可能性があります。これもまたデータとしてマイニングできます。
• 誤検出の減少:レコードの内容に変化が生じることは、さきほどの例のようにビジネスにとって有益な意味を持つ場合があります。あるいは、静的なルールでは、そうした新たな流行りによる販売記録は不正として分類される可能性があります。しかしこのような誤分類は、よりニュアンスに基づいた方法でデータの関係を見ている一般的なAIベースのシステムでは起こる可能性が低くなります。

AI異常検出の主な手法

AI異常検出モデルは、他のAI開発プロジェクトと同じ一般的なステップやルールの多くに従いますが、そのプロセスは目的に最適な特定の手法に基づいています。AI異常検出で使用される主な手法は次のとおりです。

1. 教師あり学習と教師なし学習:チームは、AI異常検出のために、教師あり学習と教師なし学習のいずれかを選択する必要があります。どちらも有効です。しかし、ラベル付きデータセットの異常は稀である傾向があり、データのラベリングには時間とコストがかかる場合があります。たいていの場合、教師なし学習の方が高速でコストもかからないので好まれます。その結果、記録をクラスタし、異常を発見する機能が得られますが、発見された異常が無害なものなのか、管理しなければならない脅威を示すものなのかを判断するには、さらなるトレーニングやプログラミングが必要になります。
2. クラスタリングに基づく手法: クラスタリングは、モデルが重複する特徴やその他の顕著な類似性に基づいてデータポイントをグループ化する方法により、異常検出に使用されることの多い一般的なAI手法です。データポイントをクラスタリングすることで、異常値を検出し、異常のフラグを設定します。一般的なクラスタリング・アルゴリズムには、K-means、アイソレーション・フォレスト、ガウス混合モデルなどがあります。レコードのベクトル表現は、複雑なレコードや高次元のレコードにますます使用されるようになっています。ベクトル作成および処理をサポートするマルチモーダル・データベースは、複雑なデータの異常検出を簡素化します。
3. ニューラル・ネットワーク: ニューラル・ネットワークは、複雑なパターンを識別し、非線形関係を分析することができ、外れ値や異常の検出を支援します。AI異常検出のためのニューラル・ネットワークのアーキテクチャには、再構成段階で異常を検出できるオートエンコーダや、生成／識別器パラダイムを使用して識別器を通して異常値を識別できる生成敵対的生成ネットワーク（GAN）などがあります。
4. 時系列異常検出手法： 長期にわたって記録されたデータについては、上記の手法が役立ちますが、最適な選択はリソース、目的、データポイント、その他の要素により決まります。たとえば、クラスタリング・アルゴリズムは、地理、購入カテゴリ、コストなどの特定の要素をグループ化することで、クレジット・カード取引の不正を評価することができます。その他の例を挙げると、ニューラル・ネットワークは、複雑な生産機械の出力精度と使用サイクルの間の関係を監視することができます。機械のさまざまなモニター間の関係を評価することで、ニューラル・ネットワークは、データポイントの組み合わせが通常よりも早期のメンテナンスの必要性を示していることを特定できる場合があります。

AI異常検出のユースケース

AI異常検出は、さまざまな用途や業界で役立ちます。考慮すべき要素としては、ユースケースに必要なデータが社内データか社外データか、またはその両方か、リアルタイム検出がその目標かなどがあります。

異常検出の一般的な用途には、次のようなものがあります。

• サイバーセキュリティ:組織のIT設定のあらゆる面を常に監視することで、異常検知は攻撃を示す可能性のある指標を特定することができます。マルチクラウド構成の場合、AI異常検出は、重複するさまざまなシステムや構成に苦戦している可能性のあるITチームに大きな支援をもたらすことができます。またマルチクラウド設定の場合、個々のクラウドの運用に関する専門知識が必要な多くの運用の詳細をAIが自動的にモニターできます。
• 金融： 不正検知は、最も長い歴史を持つ異常検知のユースケースに数えられます。金融データ量が増大する中、AIによる不正検知の強化は理にかなっています。AIによる異常検出により、金融機関は膨大なデータ・セットからメリットを得る、より正確なモデルを取得します。同時に、金融詐欺師は常に新しい手法を見出しており、AIによりモデルは進化し、より広範なコンテキストを適用することで新しいパターンの検出にさらに優れた能力を発揮できるようになります。
• 医療： AIは病院のデータを分析し、非効率、十分に利用されていない施設、または不正を示す可能性のある異常の特定を支援することができます。
• IT運用：企業のIT環境がますます複雑になり、ネットワーク・モニタリングの範囲が拡大する中、AIによる異常検出は人間の専門家を補完し、「アラート疲れ」を最小限に抑えることができます。たとえば、AIはアプリケーション・ログを分析して、応答時間の長期化やエラーなど、パフォーマンスの低下を示す可能性のある異常を特定することができます。
• 製造： 製造業向けのAI異常検出システムは、コストのかかるダウンタイム、欠陥、または安全上の危険を引き起こす前に、潜在的な問題を見つけて対処するための継続的な取り組みにおいて、はるかに多くのデータポイントを評価できるようになりました。たとえば、機器の異常な温度変動はオーバーヒートを示している可能性があり、またAI搭載のカメラは顧客に出荷される前に製品の欠陥を検出する可能性があります。
• 自治体の管理および建設： 異常検出は、特にドローンの活用時、インフラストラクチャのモニタリングを必要とするすべてに対してメリットをもたらします。自治体では、AIが橋や道路、送電線の撮影画像を分析して異常を特定し、先行保全を実現することができます。同様に、AIによる異常検出を搭載したドローンは、モデルに対するプロジェクトの進捗状況をモニターしたり、機器の紛失や材料の不適切な配置などの安全上の危険を特定したり、建設中の建物の構造上の欠陥を検出することができます。

Oracle Cloud AI Serviceを使用した異常検出の詳細

Oracle Cloud Infrastructure(OCI)上のAIサービスは、さまざまな構成でAI異常検出に特化した機能を含む、AIをアプリケーションやワークフローに統合するためのデフォルトのツール・スイート、モデル、機能を提供します。OCIは、さまざまな業界やユースケースにおいて、モニタリング、メンテナンス、監視にAIによる強力な学習と適応性を提供します。

あらゆる業界にわたりデータの量と複雑さが増していることに加え、不正やその他の問題を先行的に検出する必要性が高まっているため、AIの異常検出の将来性は極めて有望です。ディープラーニングや教師なし技術を含むより高度なAIモデルは、幅広いラベル付けされたデータにアクセスすることなく微妙な異常を検出する機能により、異常検出の中心的存在になることが見込まれます。また、企業はリアルタイム分析の向上、既存システムとの統合の強化、エッジでの異常検出の導入を求めています。

OCI Anomaly Detection Service inの動作を見る

AI異常検出に関するFAQ

AI異常検出と従来の手法との違いを教えてください。

従来の異常検出は、チームによるルールとデータしきい値の設定に基づいています。この方法は成果を上げることができるものの、進化する業界の変化に適応できなかったり、非線形の関係を見落とすなど、重大な限界が伴います。AI異常検出は、変化するデータにより適応し、より多くのデータ型を利用することができます。

ビジネスにAI異常検出が必要であるかを判断する方法を教えてください。

一般的にAI異常検出は、従来の異常検出よりも強力で正確、かつ高速であるため、多くの組織にとって役立つビジネス・ツールとなっています。ただし、従来の手法で十分な場合もあります組織は、最適なシステムを決定するために、データの複雑さ、規制ニーズの厳しさ、セキュリティ・リスク要因を確認する必要があります。また、利用可能なリソースの範囲も考慮する必要があります。たとえば、企業は事前学習済みモデルの購入と改善への対応が可能で、その取り組みをサポートするコンピュート・リソースとデータ・リソースを備えているのでしょうか。また、クラウドは最適な選択肢でしょうか。これは、多くの場合において最もコスト効果の高い方法です。

AI異常検出を使い始めるための基本的なステップを教えてください。

AI異常検出を使用するための最も基本的なステップは以下の通りです。

• 目的、データソース、制限の決定
• 目的達成に適切なAIアルゴリズムの選択
• 事前学習済みモデルでも社内開発モデルでも、モデルのトレーニング、作成、チューニングの実行
• ライブ・データを使用したモデルの起動とその出力の継続的監視
• 意外な傾向の検出が始まっていることを確認するための結果の評価