ChatGPT がつくる未来の脆弱性診断、いち早く取り組むエーアイセキュリティラボ

　「ChatGPT」をはじめとする生成系AI の登場は、およそ新技術に関心を持つ人すべての注目を一身に集めた。他愛のない質問からコーディング支援、ドキュメント生成など、あれこれプロンプトに入力しては、どんな結果が得られるかを繰り返し試し、大きな可能性を感じ取った人も多いだろう。

　株式会社エーアイセキュリティラボの取締役副社長、安西 真人（あんざい まさと）氏もその一人だ。約 20 年近くセキュリティプロダクト開発に携わってきたエンジニアの立場から生成系AI で何ができるかを試し、セキュリティ診断の分野で大いに活用できそうな手応えをつかんだという。そして早速、自然言語による脆弱性診断の設定が可能なプロトタイプを開発し、特許を出願した。

　具体的に生成系AI はこれまでのセキュリティ診断の弱点をどう補ってくれる可能性があるのだろうか。同氏に取材した。

●開発スタイルの進化を踏まえ、「知識がなくても使える診断ツール」を開発

　安西氏はエーアイセキュリティラボが提供する Webアプリケーション脆弱性診断ツール「AeyeScan」の開発者の一人だ。そして、セキュリティコンサルタントなどセキュリティのプロが用いる診断ツール「Vex」の開発者でもある。

　元々金融系のシステム開発に携わるエンジニアだった安西氏だが、あるとき、ハッキングを特集したテレビ番組を目にしてセキュリティという分野に興味を抱いた。ちょうど kakaku.com での不正アクセスが話題となっていた時期ということもあり、セキュリティコンサルタントとして働き始めた。

　そして身につけた Webアプリケーションの脆弱性診断の経験と技術を盛り込んで開発したのが Vex だ。やがて Vex は、多くのセキュリティベンダーやコンサルタントに利用されるようになったものの、Webサービスの広がりを背景に、徐々に課題を感じるようになったそうだ。

　「SaaS やクラウドサービスが昔に比べて格段に増え、システム開発のあり方もウォーターフォールからアジャイルへと変化してきました。ウォーターフォール方式ならば、開発プロセスの最後に診断ベンダーに依頼すれば済みましたが、リリースが一ヶ月に一回、一週間に一回と開発サイクルが短くなってくると間に合いません（安西氏）」

　最近でこそ、開発とセキュリティ診断の内製化が広がりつつあるが、当時はまだ外部の専門ベンダーに依頼するのが「常識」だった。にもかかわらず、開発スタイルの変化を踏まえ、社内の開発者や運用担当者が自分たちでセキュリティ診断を実施する未来が来ることを予想し、「セキュリティコンサルタントだけではなく、知識がない人でも使えるツール」を目指して開発に取り組んだのが、AeyeScan の原型だ。

●リリース当初から認識AIを活用するも、自動化できる範囲には頭打ちが

　こういった背景から生まれたこともあり、AeyeScan は 2019 年 10 月にリリースされた当初から「自動化」を軸に据えていた。その手段として活用したのが、当時の AI技術だったという。「自動化の追求をコンセプトに作り始めたのが AeyeScan。AI を組み込むことでどこまで自動化できるかにチャレンジしたいと考えていました（安西氏）」

　AeyeScan が提供する機能は、大きく、テストシナリオを作成する「巡回」機能と、脆弱性を洗い出す「診断」の二つに分かれている。

　当時の診断ツールの巡回機能は、ほとんど手作業に頼っていた。検査を行いたいサイトを手作業で周り、シナリオを作成することではじめてテストに移ることができるが、この巡回作業の工数が少なくなかった。

　安西氏らは、何とか当時の AI技術を用いてこの作業を自動化しようと試みた。うまくいったのは、深層学習を用い、ボット対策として多くの Webサイトに組み込まれている CAPTCHA を突破する仕組みで、99 ％を超える精度で自動化を実現できた。

　一方、ログインをはじめとする各種フォームの自動認識はなかなかうまくいかなかったという。「当時の AI技術を用いて HTML のテキストを分析させたり、頻出するキーワードを分析させたりといろいろ試したのですが、うまくいきませんでした（安西氏）」

　当時主流だった AI技術は、いま話題の「生成AI」ではなく、画像を解析・判別する「認識AI」だった。たとえば、ログイン用に用意したボタンが画像であれば、画像解析を用いてそのボタンに書いてある文字列を認識させる、という段階まではある程度うまくいった。一方、テキスト解析は求める精度になかなか達しなかった。

　「精度は 8 割程度しか出ませんでした。8 割でもいいと思うかもしれませんが、仮に診断対象のサイトに 1,000 画面あったら、不正解はかなりの数に上り、実運用には耐えません。やはり 90 ％を越える精度がないと製品には組み込めないと判断しました」（安西氏）

　結局その時点ではフォーム認識の自動化は諦め、安西氏が思いつく限りのロジックを書き連ね、ログインフォームかどうかを判定させるという、ある意味「力業」で実装した。

●人間の知性がなければ不可能なことまで実現するChatGPTを取り込み「未来の診断」を目指す

　AI なしでロジックで実装すると割り切り、十分な精度を実現していた AeyeScan。だが、2020 年 10 月のサービスイン時点で自動化できていたのは全体の 5 割程度だった。その後ブラッシュアップを重ね、認識AI も活用しながら、自動化比率を 8 割程度まで高めていたものの、その先は頭打ちだと感じていた。

　そこに登場したのが OpenAI の ChatGPT だ。率直に言って、エンジニアとして働き出してから数十年に及ぶキャリアの中で最も大きな衝撃を受けた技術だったと安西氏は語る。

　同氏は早速、時間を見つけては ChatGPT に向き合い、セキュリティ診断がどのくらい自動化できそうか試してみた。たとえば複数のセッションID を並べ「これらの規則性を探してほしい」と問いかけると、きちんと正しい答えが返ってきた。

「脆弱性診断士としての知見や人間の知性がないと検出が難しかった、不可能だと考えられていたものが、ChatGPT では実現できました（安西氏）」。

　特に、現時点での最新バージョンである GPT4 では、回答がぶれないような明確な質問をすれば、かなりの高精度で答えが返ってくることが確認できたという。

　人間のコンサルタントと比較してもかなりのレベル、具体的には、一定の資格を持つ診断士レベルの診断が実現できると感じている。

「もし、人間と GPT4 がよーいドンで一定時間内にどのくらいの脆弱性を見つけられるかを勝負したら、おそらく GPT4 が勝つと思います（安西氏）」

　もちろん、いくらツールが進化したとしても、最終的には人間の手が加わることになるだろうが、一斉に検査を始めたとしたら AI には勝てない時代が来る予感も感じているという。

「これなら、自動化できていなかった残りの二割のうち、かなりの部分を埋めることができるだろうと判断しました。今まさに、AeyeScan に ChatGPT を組み込むタスクに着手しています（安西氏）」

　具体的には、GUI に ChatGPT を組み込んで自然言語で検査対象を指定できるようにしていくほか、自動巡回エンジン、スキャンエンジンにも組み込み、より広範囲の診断を自動的に行えるようにしていく。

　将来的には、同社が蓄積してきたスキャンデータを機械学習に利用し、fine-tune していくことによって、もっと大きな可能性が開けると考えている。人間の診断士の中には、URL やサイトを眺めるだけで、「このサイトには脆弱性がありそうだ」とひらめく人がいるが、それと同じように、まだ診断すらしていないのに「この URL のこのパラメータには脆弱性がありそうだ」と示唆してくれる、そんな AI が生まれるかもしれない。

　AI 自身の進化も相まって、より性能の優れた AI が登場していけば、最終的には人間を越える可能性もあると安西氏は予測する。もちろんそれは今すぐではなく、未来の話。といっても数十年といったスパンではなく、数年後の未来なら十分現実味のある話だ。エーアイセキュリティラボでは、そうした可能性を貪欲に、いち早く模索することによって、より簡単に高度な診断が行える環境を目指していく。

編集部註
　生成 AI の脆弱性診断への活用を模索して、ここ数ヶ月にわたってエーアイセキュリティラボが行ったさまざまな実験や検証成果を積極的に共有するオンラインミーティングが、7 月 13 日 (木) 11:00 ～ 11:45 AM に開催される。約 30 分間の「生成AIで、脆弱性診断はここまで変わる」と題した発表の後に、約 10 分間 QA の時間がある。登壇者はエーアイセキュリティラボの “信頼できる男” 執行役員 関根 鉄平 氏。本記事公開後も参加受けつけ中とのこと。セミナータイトルにわざわざ「デモ有り」ではなく「実演有り」と表記されているから、よりライブ感のある情報に触れられるかも（「実演」とは通常、俳優や歌手の演技や歌唱を指す）。腕におぼえのある診断士や脆弱性診断発注者必見。登録申込は下記 URL から。
https://www.aeyesec.jp/post/event_20230713