トレンド解説 2023/12/21

AIのセキュリティリスクと対策

コラム

近年、AIは飛躍的に進化し、さまざまな目的、分野で活用が進められています。しかし、AIを用いたサイバー攻撃や、AIを活用する際に発生し得るセキュリティリスクについても考慮しなければなりません。AIが身近なものになったいま、AIに関するセキュリティリスクについても理解を深めましょう。

この記事では、AI活用におけるセキュリティリスクと併せて、AIを用いたサイバー攻撃の例やAIを用いたサイバーセキュリティ対策などについて解説します。

AI活用とセキュリティリスク

AIは事前に与えられたデータを元に学習を行い、業務の自動化やテキスト、画像などのコンテンツの作成などを行います。加えて、AIは継続的に学習を続け、その精度を高めることが可能です。

この場合に注意すべきポイントは、未知のデータを与えられたAIがどのように動作するのかを完璧に予測することは難しい、ということです。AIの学習には大量のデータが必要ですが、それらのデータを与えられたAIがどのように動作するのかをすべて確認することは困難です。

そのためAIが思わぬ脆弱性をもつ可能性も十分に考えられ、この点がAIの持つセキュリティリスクの一つとなります。また、AIの脆弱性を狙ったサイバー攻撃や、AIの特性（技術）が悪用されるケースも考える必要があります。

Adversarial Attack（敵対的攻撃）とは

AIで用いられる技術を悪用する攻撃の一つに「Adversarial Attack（敵対的攻撃）」が挙げられます。ここでは、この攻撃の仕組みや想定される被害、対策方法について見ていきましょう。

仕組み

敵対的攻撃とは、機械学習モデルの認識を混乱させる攻撃手法です。機械学習モデルが入力に対して誤った出力をするように加工をします。代表的な手法として次の2つが挙げられます。

敵対的サンプル：入力データにノイズを加えて想定外の挙動を引き起こす
モデル反転攻撃：入力と出力を反転させデータを盗み取る

敵対的サンプルの代表的な例としては、パンダの入力画像にノイズを加えることで、もともとパンダと正しく認識していた機械学習モデルが、テナガザルと誤って認識する例が挙げられます。モデル反転攻撃では、ランダムなデータを訓練データに近づけていくことで、訓練データを盗み取る手法です。

想定される被害

意図的にAIの認識を誤らせることができれば、次のようなことが実現できます。

顔認証システムでのなりすまし
物体検知の回避
マルウェア検知の回避

など

顔認証システムでのなりすましの例では、男性が「敵対的メガネ」を着用するだけで女性へのなりすましができ、認証を突破できたという実験結果が報告されています。顔認証などの生体認証は、本人以外のなりすましが難しいとされていますが、AIに対する敵対的攻撃によって突破される可能性があるのです。

その他にも、監視カメラなどの物体検知を特殊な柄のTシャツを着用することで回避したり、AIによるマルウェア検知を回避したりするなど、敵対的攻撃の手法を用いてセキュリティ対策が突破される事例は様々です。

対策

敵対的攻撃に対しては、次のような対策が有効です。

モデルをソフトウェアに同梱しない
推論をサーバー上で行う
システムの推論回数に上限を設ける
予測確率（確信度）を攻撃者に与えない

など

機械学習のモデルをソフトウェアに同梱してしまうと、攻撃者の手元にモデルが残ることになり、悪用しやすくなってしまいます。そのため、モデルは同梱せず推論はサーバー上で行う仕組みにすることが有効です。

推論とは、AIが学習した情報を元に予測したり問題を解決したりできるかを実際に試すことを言います。システムの推論回数に上限を設けることも、敵対的攻撃の対策になります。また、モデル反転攻撃では予測確率が高くなるように入力を調整しながら攻撃が行われるため、この情報を攻撃者に与えないようにすることも重要です。

ディープフェイクとは

ディープフェイクとは、実在する人物の動画や音声を人工的に合成した偽物の動画や音声のことです。近年AIが注目されるようになった要因の一つに、生成系AIの発展が挙げられます。生成系AIとは、コンテンツを学習して新しいアウトプットを生み出す機械学習の手法です。例えば、質問に対して文章を生成して回答するテキスト生成AIや、テキストから画像を生成する画像生成AIなどが該当します。これらの生成系AIの発展は新たな可能性を作り出しましたが、この技術を悪用した「ディープフェイク」に注意しなければなりません。

仕組み

ディープフェイクは「GAN（Generative Adversarial Network：敵対的生成ネットワーク）」と呼ばれるディープラーニングの技術を使って作成されています。GANは生成ネットワークと識別ネットワークの2つを競い合わせることで、精度の高い画像や映像の生成を実現する技術です。

おもに元となる動画や音声を用意し、差し替え対象の人物の画像などをAIに学習させ、動画や音声と同期させることで偽物の動画や音声を作り出します。

想定される被害

代表的な例として、政治家のなりすまし動画が挙げられます。元の動画には出演していない、AIが作り出した偽の政治家を動画に出演させたり、存在しない動画をAIによって一から作り出したりすることが可能です。あたかも本物の政治家が発言しているかのように演出するフェイク動画により、選挙への影響や社会的混乱を引き起こす可能性があります。2022年に話題となったフェイク動画では、ウクライナのゼレンスキー大統領がロシアへの降伏を発表するかのような動画になっており、戦争状態にある両国間に多大な影響を及ぼすのではないかと危険視されました。この動画は即座に削除され、大きな問題にはなりませんでしたが、今後同様のことが発生して国際問題に発展する可能性も考えられるでしょう。

また、ディープフェイクの悪用例として「フェイクポルノ」の存在も挙げられます。おもにポルノ動画に出演する女優の顔を差し替えるものであり、多くの有名人が被害に遭っています。一般人であっても「リベンジポルノ」として公開される危険性が考えられ、重大な名誉毀損に繋がりかねません。

対策

自身がディープフェイクの対象とならないようにするためには、画像や音声などの学習サンプルを作成者に渡さないことが重要です。近年では多くの方がSNSを利用していますが、SNSは誰もが閲覧可能な場所であるため、安易に画像や音声などをアップロードしないように気をつけましょう。

また、ディープフェイク動画を見抜く力を身につけることも今後重要視されます。政治家や有名俳優などのディープフェイク動画によって世論を操作する、というようなことも考えられます。そのため、まずはディープフェイクというものが存在する、ということを認識しておきましょう。そのうえで、顔の輪郭に違和感はないか、顔以外の特徴に違和感はないか、発声方法や抑揚に違和感はないか、などの観点からディープフェイクを疑う癖を身につけておくことをおすすめします。

AIを安全に活用するためのセキュリティ対策

AIを安全に活用するためには、従来のセキュリティ対策はもちろん、AIに対するセキュリティ対策も実施する必要があります。例えば、AI機器の動作を監視して異常を検知する仕組みを取り入れる、などが挙げられます。加えて、AIが学習するデータの安全性を確保することも重要です。AIは常に学習を続けており、精度向上のために大量のデータが必要になります。AI運用においては、安全なデータの収集と管理にも注力しなければなりません。

また、従来どおりのセキュリティ対策だけでは、AIを活用したサイバー攻撃を防ぎきれない可能性があります。このような攻撃に対しては、AIを活用したセキュリティ対策が有効です。今後AIはより身近なものになると考えられ、AIを安全に活用するためにAIによるセキュリティ対策をする必要がある、といえるでしょう。

セキュリティ対策で活用されるAI技術

ここまではAIの悪用について焦点を当てて解説してきましたが、セキュリティ対策におけるAI活用も進んでいます。AIは大量のデータを学習し、そこからパターンを導き出すことを得意としています。そのため、通常とは異なるパターンを検出することで、サイバー攻撃を検知、防御することも可能なのです。

ICTの発展に伴い、サイバー攻撃は巧妙化、多様化が進み、人間の手だけでは対応が難しくなっています。AI技術をセキュリティ対策に活用することは、今後の対策方法として欠かせないものとなるでしょう。具体的な対策方法については、次項で説明します。

AIを活用したセキュリティ対策とは

AIを活用した具体的なセキュリティ対策の例として、代表的な3つの対策方法を解説します。

ログ監視・解析

システムが稼働する際には、大量のログが発生します。サーバーやアプリなどが稼働した状態や結果をテキストに出力し、これらを監視・解析することで異常を発見しやすくなります。AIに「正常時の特徴」と「攻撃を受けたときの特徴」を学習させておけば、ログ監視・解析の自動化が実現可能です。また、様々なログを組み合わせ、AIによる相関分析を実現できれば、従来発見できなかったサイバー攻撃も検知できるようになります。

マルウェアの検知

不正なソフトウェアの総称であるマルウェアへの従来の対策は、データベースにマルウェアの特徴を記録してパターンマッチングすることで検知していました。しかし、この方法ではデータベースに記録されていない新しいマルウェアに対応できません。AIを用いることで「マルウェアのような振る舞い」を検知できるようになり、新しいマルウェアにも対応できるようになります。

AIファジング

AIファジングとはAIによって脆弱性を検知する攻撃手法のことですが、対策の一環としてこれを実施することで事前に脆弱性を知ることができます。従来、システムの脆弱性をチェックするペネトレーションテストなどは、人の手で実施する必要があり検証のための十分な期間も必要でした。しかし、AIファジングによって自動的に脆弱性を検知すれば、短い期間で脆弱性のチェックが行なえます。脆弱性をあらかじめ知り、事前に対策を実施することでセキュリティを強化できます。