「AI vs. AI」の構図となるセキュリティー対策
社会や企業はどう理解し、対処していくべきかを考えるとき

お役立ち情報

2024年05月13日

AI
セキュリティー対策

OpenAIがChatGPTを2022年11月30日に発表して以来、多くのIT企業が同様のプラットフォームの利用やそれらを活用したサービスの提供を開始しています。こうした「生成AI」は利用シーンを広げるとともに、社会やビジネスのあり方に大きな影響を与えようとしています。ただし、生成AIもまたITシステムである以上、サイバーセキュリティーの問題と無縁ではいられません。私たちは、生成AIのセキュリティーをどのように理解し、付き合っていけばよいでしょうか。ユニアデックスでエバンジェリストを務める高橋優亮に聞きました。

生成AIの利用拡大とともに高まるセキュリティーの懸念

ユニアデックス株式会社
マーケティングコミュニケーション本部プロモーション戦略部セールスマーケティング推進室
エバンジェリスト高橋優亮

——2022年11月のChatGPT登場から、約1年半が経過しました。その間の生成AIを中心としたAIの利用領域拡大は、企業のITシステムやITサービスにどんな影響を及ぼしたとお考えですか。

ユニアデックス高橋優亮（以下、高橋）：ITの世界に限っても、生成AIは劇的な変化をもたらしました。例えばプログラムのソースコードの記述からレビュー、テストに至るまで、アジャイル開発におけるプロセスの多くの部分を生成AIで行えるようになりました。

個人的な話ですが、私は“話すのと同じくらいのスピードでソースコードを書ける”ことを自分の強みとしてきました。ところが生成AIが登場した途端に、そんなことは強みでも何でもなくなりました。生成AIを使えば、同じようなことが誰にでもできるのですから。

もちろん生成されたソースコードの品質などにある程度の差はありますが、ソースコードを書くというこれまで特殊な能力とされてきたことが、あらゆる人の手元に近づいてきたことは事実です。

——そうした高度な能力を持った生成AIによって、セキュリティー対策のあり方も変わってくるのでしょうか。

高橋：生成AIに限らず、AI技術は古くからセキュリティー対策に用いられてきました。例えば、アプリケーションやネットワークトラフィックの普段と異なる振る舞いを検知する異常値検出や、未知のウイルスの挙動を予測するヒューリスティック評価といった機能です。時代が進むにつれてAIが検出する情報やパターンはさらに広がっており、現在ではバーチャルだけでなく、防犯カメラ映像なども含めたフィジカルなセキュリティー領域でも振る舞い検知が試みられるようになってきています。

ただし、AIを利用するのは防御側だけではありません。攻撃側もAIを用いてマルウエアを生成したり、マルウエアの中にAI的な挙動を組み込んで高度化させたりしています。身近な例ですと、少し前であれば偽装メールが届いたとしても、明らかに文面が不自然で簡単に見破ることができました。ところが現在の偽装メールは日本語にまったく不自然なところがなく、誘導されたリンク先も著名な企業のサイトがほぼ完璧に再現されているため、見破るのは困難となっています。ここでも、フィッシングメールの文面や画像を自然なものに仕立てるためにAIが利用されているのです。

——攻撃する側も防御する側もAIを使う、「AI vs. AI」の構図となっているということですか。

高橋：その通りです。さらに言えば、この戦いは圧倒的に攻撃側に有利です。仮にその時代の最高の防御を整えていたとしても、攻撃側は常に新しい手法を用いてきますので、防御側は後手に回ることになります。最高の防御を突破するほどの高度化された攻撃には、ひとたまりもありません。

従って“攻撃が成立してしまうのは当たり前”ということを前提にして、その後の対策を準備しておく必要があります。データのバックアップやセキュリティー教育、連絡体制の整備、インシデント発生を想定した訓練など、地味に思えるかもしれませんが、こうした対策が被害軽減や防止に非常に有効です。

生成AIをビジネス利用する上で考慮すべきポイント

——生成AIをビジネス利用する上で、どのような影響が生じているのでしょうか。セキュリティー上の懸念や課題があれば教えてください。

高橋：各種プラットフォームで提供されている生成AIは、主にWebサイトなどで公開されているコンテンツを読み込んで学習しているため、一般情報はよく知っています。しかし、個別企業の情報やルールは知らないため、いわば「雑学知識の世界チャンピオン経験を持つ新人社員」という存在です。

従って本格的にビジネス利用するためには、自社の業務内容やビジネスルール、顧客や取引先に関する情報、あるいはソースコードなど、機密に該当する情報も含めて生成AIと共有する必要が出てきます。

しかし生成AIの多くは、パブリッククラウド上で運用されているサービスです。特に、無償で提供されているサービスでは、ユーザーが入力した情報は基本的に生成AIによって再学習されることになります。アップロードした文書から自社独自のビジネスルールや顧客情報などを学習し、競合他社を含めた第三者への回答結果として広く示してしまうとしたら、企業は許容できないのではないでしょうか。

すでにパブリッククラウド上にアップロードすることが許されている情報の範囲内であれば、過度に恐れる必要はありませんが、学習データがどこまで利用されるのか、自社にとっての利便性や安全性などのトレードオフをよく検討する必要があります。アップロードした情報が、クラウド事業者側のAIトレーニングに使われる可能性があるのかないのか。オプトアウトできるのかできないのか。できない場合にそれを許せるのかどうかが、極めて重要なポイントとなります。

——生成AIに再学習されてしまうことを避ける方法はありますか。

高橋：基本的にオプトアウトを宣言できる生成AIサービスであれば、自社のデータを学習に使わせないことは可能ですが、どこまで徹底されるのかは疑問が残ります。従って、例えばMicrosoft社が提供しているAzure OpenAI Serviceのような、自社だけのクローズドな環境で運用できる生成AIを利用することが現実的な選択肢になるでしょう。

また、コンプライアンス対応などさまざまな理由で、パブリッククラウドにアップロードできないデータを生成AIで活用するには、自社のデータセンターやサーバールームなどのオンプレミス環境で、独自の生成AIを動かすという方法もあります。大規模なITリソースが必要とされ、最先端の生成AIには機能や能力面で一歩及ばないといった弱みはありますが、安全性やレスポンスタイムの安定化といったことが最優先で求められる案件では有力な選択肢となり得ます。

AI環境そのものが攻撃対象となるおそれ

——ここまで伺ってきたような利用上の懸念点とは別に、企業が利用・運用するAI環境そのものが攻撃対象となる可能性もあるのでしょうか。

高橋：これは、生成AI活用が拡大していく中で最も懸念すべきことかもしれません。例えば、自社が育てた大規模言語モデル（LLM）に対して、悪意を持った“毒情報”を与えることによって、システムプロンプトの内容や、内部に学習されている機密データを吐き出させたり、学習データを混乱させて破壊したりする攻撃が考えられます。AIが価値ある情報資源になっていくにつれて、これは見逃せない攻撃です。こうした攻撃に対する防御についても、技術と運用の両面での対応が必要となります。

また、個別の企業や個人に対する直接的な攻撃でなくとも、じわじわとAI全体の危機として広がっているのが、AIが出力した文書によるネット文書の汚染および、それらの汚染データを取り込むことによって発生するAIの“自家中毒”です。実際、AIが事実と異なる情報を生成する“ハルシネーション”と呼ばれる現象によって生成された記事がWeb上に流布し、AIのトレーニングに取り込まれるといった弊害がすでに起こりはじめています。

人類の歴史を振り返ってみると、根拠のない旧来の因習を子孫に伝承し続けてきた一方で、人類はそういった悪習を科学の力や試行錯誤によって改善し、より良い社会を築こうとしてきました。AIの世界でも、そういった改善のサイクルを回していけるのでしょうか。AIはAIの嘘を見抜けるのか、ファクトやエビデンスを正しく扱えるのか、改善していく際の方向性たる「善」を見極められるのかなど、非常に難しい問題をはらんでいます。

——そんな生成AIと、私たちはどのように付き合っていけばよいのでしょうか。

高橋：生成AIにはユーザーの数だけ使い方があり、ユーザーの数だけ課題や論争が発生します。また、今回の記事の趣旨から外れるため触れませんでしたが、学習対象となるデータの著作権やAIの利用領域が拡大することで求められるIT技術者のリスキリングなど、発生する課題や論争も多様です。現時点ではそれらに対して「これが絶対的な正解」と言える方法を提示することはできず、しばらくの間は試行錯誤を続けるしかないでしょう。強いて挙げるとすれば、“そういった取り組みを支え続けてくれる良いパートナーを選ぶこと”が大切です。

ユニアデックスは、生成AIの利用環境の防御から運用、教育、ルールづくりまで、あらゆるフェーズの支援を提供し、お客さまと同じ未来を想いながら試行錯誤に寄り添っていきます。AIに関するお悩みがありましたら、ぜひご相談ください。

高橋優亮（たかはしゆうすけ）

ユニアデックス株式会社
マーケティングコミュニケーション本部プロモーション戦略部セールスマーケティング推進室
エバンジェリスト

小学生プログラマーとして10歳でプロデビュー。あらゆる種類のソフトウエアを書き、新卒で日本ユニシス（現BIPROGY）に入社。先端技術の調査・習得と社内教育を担当。毎日環境設定を変える研修センターの運用を自動化するうちに、IT基盤技術の面白さを知りユニアデックスに転籍。さまざまな業務や研究と並行して、レイヤーを問わずITを遊び倒し、お客さまにその味わいと楽しみを伝える、フルスタック雑食系IT漫談家。