生成AIの悪用リスク

Microsoft CopilotやChatGPT4など各方面で目覚ましい活躍ぶりの生成AIですが、脚光を浴びる反面さまざまなサイバー攻撃への転用が懸念され、今後さらにその悪影響は未知の領域へと拡がっていくことが懸念されます。

デジタルトランスフォーメーションが進むなかサイバーセキュリティは企業や組織にとって最重要な課題となり、従来のサイバー攻撃と並行して生成AIがもたらす新しいリスクへの警戒感はいまだに希薄ですが、実は新たなるリスク要因を孕んでいるのです。今回はこの話題を取り上げて解説します。

リスク要因

ChatGPTが公開された2022年末以降、世間ではビジネスや生活でAIがどのように活用できるかという話題で持ちきりですが、サイバー攻撃を行う犯罪グループの世界にあってもその話題性は例外ではありません。彼らもまたChatGPTなどの生成AIをどのように犯罪などの違法行為に悪用できないか探求し続けているのです。

では具体的にどのような脅威やリスクを生み出しえるのか。これまでに確認されている事例をご紹介します。たとえばChatGPTをはじめ生成AIは通常では不適切な質問には回答しない制御がかけられていますが、特殊な質問を投げかけることでそうした制御を迂回して回答を引き出す手法が実際に存在します。

なかでも「ジェイルブレイク（脱獄）」と呼ばれる手法がよく知られ、それは開発元が施した機能制限を不正に解除させ使用できるようにすること。たとえば不適切な言動を行う映画の悪役であったり、あらゆる発言が許可された（本来は存在しない）『開発者モード』を有効にした万能AIの役といったさまざまな架空のキャラクターを演じさせる特殊な手口が用いられると通常では回答を拒否するような倫理上問題となる質問にも生成AIが答える危険性が生じるのです。

実際、サイバー犯罪グループがやりとりしているアンダーグラウンドのインターネット掲示板では、さまざまな悪用方法について日々活発に情報交換が行われているのが実情。「強制脱獄」により既存マルウェアをChatGPTに改悪させたり、作成させたマルウェアを共有し合うと言った不正な悪用に手を染める様子が当局から確認されています。

どのような「不適切な質問」にも答えるアンダーグラウンド版のChatGPTとでもいえる有料サービスも複数出現していることが確認されており、実際その一つを検証したところ、一般生成AIでは回答が拒否される「ランサムウェアのソースコードの作成」といった不適切な投げかけにスラスラ答え、生成されたコードが実際のランサムウェアとして機能しているようです。

要因分析

生成AI作成のマルウェアは簡易的で脅威ではないと一蹴する声もありますが、マルウェアとして実動作ができている事実は十分に意味があり、その危険性を無視することは自分たちの首を絞めることと同義です。将来を見据え今後も注視すべきなのは間違いありません。

一方脱獄など特殊な方法を使用せず、質問を工夫するだけで安全制限を迂回して解除されるリスクも存在します。不適切な質問でも細かいタスクに分解すれば悪意が薄れ、一つずつ答えられれば目的を達成できるケースも考えられます。

「ランサムウェア」と言った直接的言い回しを避け「ファイルを暗号化するプログラム」と表現を変えて悪意を隠蔽し迂回する方法、正当な目的があると偽って回答を引き出す方法もありえます。これは生成AI全体に共通する抜け道と言え、脱獄と比較して対処が難しいのが現状です。

加えて不正コンテンツを生成させる手法にとどまらない、逆にAIへ情報を渡して仕組みを解説させるなどサイバー犯罪の学習にも応用できると言った問題が生じかねません。現在、最も効果的な悪用方法はフィッシングメールの作成と言われており、生成AIは「もっともらしく見える文面」を作ることが得意。その性質を利用した悪意ある文面を簡単に作り出せます。障壁だった言語の壁も容易に乗り越えられるため、以前は不自然な日本語として『不審』に感じられていた感覚も通用しなくなりました。

悪用の具体的手法

サイバー攻撃者はこれまで以上に精巧なフィッシングメールを少ない労力で大量生成が可能になったとも判断できます。ChatGPTが公開された昨年終盤以降、フィッシングメールの増加をさまざまな調査機関が報告しており、生成AIの悪影響が疑われる事態となっています。

また、これまでにもChatGPTを装ったマルウェアや偽サイトなどが多数確認されており、そうした経路で盗まれたChatGPTのログイン情報がアンダーグラウンドで多数販売されている状況も生じています。他にも生成AIサービスでは会話履歴が記録される場合があり、ログイン情報が盗まれると履歴から個人情報などが流出する可能性もあります。業務利用している場合などは特に、ほかの会員サイトと同じログイン情報を使い回さないよう履歴の無効化が推奨されます。

ビジネス利用の危険性と対策とは

ビジネスシーンにおいて生成AIを導入する際は顧客向けAIサービス提供の場合など、AIそのものがサイバー攻撃の対象になることを想定して顧客情報等が漏洩しないよう設計段階から適切な対策を講じておくことが絶対に必須の条件です。

社内におけるAI活用では、不正侵入によりAI学習用データ自体が汚染されるリスクや情報漏洩に対する考慮も必須。リスク軽減には、多層防御やネットワーク分離と可視化、攻撃検知や監視の強化など、従来型のセキュリティ対策は不可欠な要素となります。

社員のITリテラシーを底上げしてAI取り扱いに関する社内教育を徹底、自社組織のみがアクセス可能なリソース上でAIのデータが完結するサービスや仕組みを取り入れることが重要なのです。昨今、情報漏洩事故等の発生を当局へ報告義務化が報じられましたが、サイバー攻撃は財務上の損失、風評被害、法的責任問題にも直結する非常事態です。厚い信用や信頼を築くには長い時間と手間がかかりますが、失うのはほんの一瞬。

とは言え、AI利用のメリットを積極的に活用するのはデジタルトランスフォーメーション時代には当然の帰結、過度に恐れる必要は全くありません。
AI活用の光と影の両面に等しく目を向ける姿勢が問われ続けています。