要約
- GPT-5.6はリコールスコアで最高値を記録し、 26件中23件という結果となり 、grok-4.5（20件）、Claude Opusモデル（15～18件）、およびテスト対象となったその他のすべてのモデルを上回りました。つまり、CVEの88.5%を再発見できるということです。
- 最も高価なオプションは必ずしも必要ではありません。GPT-5 .6の 低価格版は、フラッグシップモデルと1～2件の検出結果の差しかないにもかかわらず、コストはごくわずかです。また、中級モデルの実行結果を数回分まとめて処理すれば、フラッグシップモデルの1回の実行に匹敵する性能を発揮します。
- モデルの実行結果はばらつきがあるが、結果を統合することで優れた性能を発揮する。個 々の実行では、 別の実行では検出できたはずのバグを見逃してしまうことがある。 モデルを数回実行して結果を統合する（pass@3）方が 、より高性能で高コストなモデルを1回実行するよりも確実に優れた結果をもたらす。
- オープンウェイトが急速に追い上げている。GLM-5 .2は すでにデータセットの59％（26件中16件）を再発見しており、独自開発モデルの中では中位に位置している。
最近、新しいサイバーセキュリティモデルの発表には、必ず「脆弱性を検出する」という主張が伴います。しかし、それは実際のリポジトリにある実際のバグに対して機能するのでしょうか、それとも単に厳選されたサンプルに対してだけなのでしょうか？数あるモデルの中から、コードレビューを任せても信頼できるのはどれでしょうか？また、最も高性能なモデルは、最も安価なモデルに比べて1回の実行あたりのコストが10倍以上もかかるため、その追加費用に見合うだけのバグ検出効果は実際に得られるのでしょうか？
モデルを純粋な性能だけでランク付けし、最も高価なモデルを勝者と呼ぶのは簡単ですが、より重要なのは、その価格に見合う価値があるかどうかです。そこで、現在各チームが導入を検討している13のモデルについて、GitHubのアドバイザリデータベースに登録されている26件の既知の脆弱性を対象にテストを実施しました。これらの脆弱性は、さまざまなプログラミング言語やプロジェクトタイプにまたがっています。測定したのは、各モデルが発見したバグの数と、それらを発見するのにかかったコストの2点です。
ベンチマークの仕組み
GitHubのアドバイザリデータベースから、WebフレームワークにおけるSQLインジェクションからMLツールキットにおけるデシリアライゼーションによるRCEに至るまで、言語やプロジェクトの種類をランダムに網羅した26件の脆弱性を選定し、本番環境で稼働しているのと同じAIコード分析ハブ内で、各モデルにリポジトリを1つずつ検証させ、これらの脆弱性を再発見させました。これは単なるチャットウィンドウではなく、実際のツールを駆使してリポジトリを操作し、監査員と同じようにコードを分析・推論するモデルです。
ハーネスこそが、言語モデルを監査ツールへと変えるものです。汎用的なコーディングアシスタントは、タスクを受け取って動作するコードを生成するという、別の目的のために構築されています。リポジトリを指定して「これは安全か」と尋ねると、それは開発者のように明らかに不具合のある箇所をざっと確認し、もっともらしい問題が見つかった時点で調査を停止します。AIコード分析は、これとは異なる仕組みで構築されています。コードベースから候補となる侵入ポイントを探索し、不審なフローを一つひとつ詳細に調査した上で、その結果を精査し、真の脆弱性のみを抽出します。
脆弱性 把握していたため、調査担当エージェントをすべて、脆弱性のあるコードスニペットに直接向けました。そうすることで、見落としがあった場合でも、それは推論の誤りによるものであり、コードベースの誤った箇所をさまようことで予算を無駄にしたことにはなりません。モデルは依然としてフローを理解し、悪用可能性を判断し、それを正しく報告する必要があります。プロンプトは短く、モデルに依存しないものに統一したため、表現の仕方によって特定のベンダーが有利になることはありませんでした。
各モデルを3回実行し、その結果を統合した。いずれかの実行（pass@3）でモデルがCVEを検出すれば、そのCVEは「発見された」とみなされる。
さまざまなベンダーの最新モデルを幅広く選びました：
- OpenAI：gpt-5.4-nano、gpt-5.4-mini、gpt-5.5、およびgpt-5.6シリーズ（luna／terra／sol）
- Anthropic：claude-haiku-4-5、claude-opus-4-7、claude-opus-4-8
- xAI:grok-4.5
- Google：gemini-3.1-pro、gemini-3.5-flash
- オープンウェイト：glm-5.2
深刻度および脆弱性別の結果
どのモデルも、重大なCVE（デシリアライゼーションによるRCEと保存型XSS）の両方を再発見しました。真の差は、高深刻度および中深刻度の発見項目において明らかになります。
最も難易度の高いCVEと最も難易度の低いCVE
すべてのモデルにおいて、2つの重大なバグと、いくつかの明らかなインジェクション／アクセス制御の脆弱性が発見された。ごく少数の特定の攻撃チェーンによって、それらのほぼすべてが突破されてしまった。
各モデルが検出するCVEには共通のパターンが見られます。それは、攻撃者が制御する入力が、デシリアライゼーション呼び出し、シェル実行、HTMLシンク、あるいは不適切な署名チェックといった、短く局所的なフローを経由して、既知の危険な操作に到達するというものです。これはパターン認識の問題であり、効果的に解決されています。低価格モデルもフラッグシップモデルも、機能の分離を一切行わずに、これらを13問中13問すべて正解しています。
真の限界、そしてモデルの能力が実際に分かれる点は、存在しないチェックについて推論し、単一の行からは読み取れない複雑な連鎖を追跡することにあります。最も明確な例は、当社のデータセットに含まれる「SQLインジェクション-1」です。これは、ORMがエスケープ処理を行わないカラムエイリアスを介した間接的なインジェクションです。これを追跡できたのは、GPT-5.5と、最も高性能なGPT-5.6モデル（solおよびterra）のみでした。
「平均」と「和」の違いが示すもの
このベンチマークにおいて最も有用な数値は、モデルの平均実行結果とその実行結果の和集合との間の距離である。各パスで異なるバグのサブセットが検出されるため、それらを統合（pass@3）することで、驚くほど多くのバグが検出される：
gpt-5.4-nanoを見てみましょう。単一の実行では14を超えるものはありませんが、3回の実行結果を合算すると18に達し、CVEが4ポイントも上昇しています。これは、実行のたびに異なるバグが検出されるためです。claude-haiku-4-5はばらつきの最も顕著な例であり、同じモデルで同じタスクを実行しても、ある実行では7、別の実行では13という結果が出ています。
ここで重要なのは、必ずしも最も高価なモデルを選ぶ必要はないということです。gpt-5.4-nanoを3回実行すると約170ドルかかり、スコアは18/26に達します。これは、gpt-5.6-terraのようなフラッグシップモデルを1回実行した際の平均スコアと同等であり、その価格のほんの一部で実現できるのです。 GPT-5.4-miniを3回実行（約460ドル）すると、スコアは20に達します。堅実なミッドレンジモデルを繰り返し実行することは、価格差が示唆するよりもはるかに頻繁に、フラッグシップモデルの1回の実行を上回る結果をもたらします。
高度な推論にはそれだけの価値があるのだろうか？
該当するモデルを、2つの推論レベル（デフォルトの「high」と、各モデルで利用可能な最高レベル（GPT-5.4/5.5およびClaudeモデルでは「xhigh」、GPT-5.6、grok-4.5、glm-5.2では「max」））で実行しました。すべての数値はpass@3のユニオンであるため、直接比較が可能です。
明らかに優れているのは、gpt-5.5（コストが1.5倍で+3）とglm-5.2（コストが1.3倍で+3）です。claude-opus-4-8は+2の向上を見せたものの、その代償としてコストが2倍になっています。 その他のモデルでは、トップクラスのモデルでも1つの発見しか得られないか、あるいは全く得られない場合があり、gpt-5.6-lunaとgpt-5.4-nanoについては、実行ごとのばらつき（ノイズの範囲内で、1つ少ない結果にとどまりました。gpt-5.6-terraは、費用対効果の低下が最も顕著な例であり、コストが2.2倍にもかかわらず、発見数は同じ23にとどまりました。
Geminiシリーズには「高」以上の設定がないため、今回の比較対象からは除外されています。
まとめ
Frontierモデルを、その目的のために構築されたテスト環境内のコードベースに向けると、既知の脆弱性のほとんどが再発見されます。明らかな危険なシンクを持つバグは解決されます。依然としてモデル間で差異が生じているものは、特定できるシンクを持っていません。例えば、欠落している権限チェックや、複数のファイルにまたがる長くて分かりにくいチェーンをたどらなければ到達できないインジェクションなどです。
最も高価なティアが、その価格に見合う成果を上げることはめったにありません。安価なモデルを数回実行して結果を統合すれば、フラッグシップモデルを1回実行するよりも、より少ないコストでより多くの成果が得られます。そして、モデルの価格が下がり、性能が向上するにつれて、その優位性はさらに大きくなります。そもそも、その推論がコードベースの適切な部分に的を絞られているかどうかを決めるのは、依然としてハーネス次第です。
