AIKIDO ARENA
サイバーセキュリティ向けAIモデルのベンチマーク
サイバーセキュリティに最適なモデルをご覧ください。当社は、実世界のソフトウェアに見られる脆弱性に対して、最先端のモデルを適用しています。新しいモデルがリリースされるたびに更新されます。
変更履歴
2026年11月12日
- ジェミニ4号のアルゴン実験結果を追加しました
- その結果、32件の脆弱性のうち28件がpass@3を通過し、DeepSeek V4.1 Flash 1017と同率で、GPT-6 Astraに1件差で及ばなかった。
- 1回の実行では平均82.3%の精度でしたが、3回を組み合わせると87.5%に達しました。
- その精度は93%でした。
- 発見されたCVE 1件あたりのコストは59.59ドルで、GPT-6 Astra(135.23ドル)の半分以下です。
- Gemini 3.8 Flash Cyberの結果を追加しました
- その結果、32件の脆弱性のうち25件がpass@3を通過し、Xiaomi MiMo 2.6 Pro、GLM-5.3、GPT-5.6 Solと同等の結果となった。
- 1回の実行では平均65.6%の精度でしたが、3回を組み合わせると78.1%に達しました。
- その精度は80.4%で、ボード上のどのモデルよりも低かった。
- 発見されたCVE 1件あたりのコストは37.14ドルで、同じ数のCVEを発見したXiaomi MiMo 2.6 Pro(11.79ドル)やGLM-5.3(19.65ドル)よりも高くなっています。
- 「Retired Muse Wonder 1.0」、「Kimi K3」、および「Qwen3.8 Max」
2026年10月28日
- GPT-5.6 Terra、Grok 4.6、DeepSeek V4 Pro 0813、DeepSeek V4 Flash 0731、GLM-5.3 Flash、およびClaude Haiku 5.5は提供を終了しました。
2026年10月27日
- DeepSeek V4.1 Flash 1017の結果を追加しました。これにより、0910のスナップショットが置き換えられます。
- その結果、32件の脆弱性のうち28件がpass@3を通過し、DeepSeek V4 Pro 0813と同率で、GPT-6 Astraに1件差で及ばなかった。
- その精度は86.4%を記録し、0910スナップショットの78.9%から向上し、ボード上のDeepSeekモデルの中で最高値を記録した。
- 1回の実行では平均70.8%の精度でしたが、3回を組み合わせると87.5%に達しました。
- 発見されたCVE 1件あたり2.40ドルという報酬額は、「Claude Haiku 5.5」と同額であり、「GPT-6 Luna」(2.01ドル)に次ぐ水準となっている。
- MiniMax M3.1のフラッシュテスト結果を追加しました
- その結果、32件の脆弱性のうち24件がpass@3と判定されたのに対し、DeepSeek V4.1 Flash 1017では32件中28件がpass@3と判定された。
- 1回の実行では平均59.4%の精度でしたが、DeepSeek V4.1 Flash 1017では70.8%でした。3回を組み合わせると、精度は75%に達しました。
- その精度は80.5%を記録した。これは、DeepSeek V4.1 Flash 1017に比べて偽陽性率が約40%高いことを意味する。
- 発見されたCVE 1件あたり4.20ドルという価格は、DeepSeek V4.1 Flash 1017(2.40ドル)を大幅に上回っています。
- 3回の実行すべてにおいて、spring-kafka にデシリアライゼーションのバグが見つかったが、Opus 5 と Qwen3.8 Max はいずれも毎回このバグを見逃していた。
- トレースでは、隣接するエンドポイント間の権限を比較し、攻撃者がすでにどのようなアクセス権を必要としているかを確認するため、ノイズ はレポートの対象外となります。
- また、推論のループに陥ってしまうこともあります。ある調査では、100万文字を超える推論が生成されました。
- それなりに機能はしていますが、現在の他の選択肢と比較すると、サイバーセキュリティのタスクにはお勧めできません。
- DeepSeek V4.1 Flash (0910) の提供を終了しました
2026年10月13日
- 「Muse Wonder 1.0」の結果を追加しました
- その結果、32件の脆弱性のうち26件がpass@3と判定され、これはOpus 5やGrok 4.6と同じ件数であった。
- 1回の実行では平均57.3%の検出率でしたが、3回を組み合わせると81.3%に達しました。3回の実行すべてで検出されたCVEはわずか12件だったため、3回実行するのが最も効果的です。
- その精度は80.8%を記録し、ボード上のDeepSeekモデル以外には上回るものはありませんでした。精度の低いレポートでは、攻撃者がそのバグに到達できることや、下流のコードがそれを悪用することを前提としていましたが、いずれも検証されていませんでした。
- 根拠のない仮説は排除します。あるトレースでは、所有権チェックが欠落しているのではないかと疑い、すべての呼び出し元を追跡し、それぞれが保護されていることを確認した後、27ターン後に調査を打ち切りました。
- 発見されたCVE 1件あたりのコストは71.75ドルで、Opus 5(64.96ドル)よりも高くなっています。キャッシュからの入力割合はわずか41.3%にとどまっており、これに対し、調査対象となったGPTおよびHaikuモデルでは79.5%から91.1%であったため、フル価格で課金されるトークンの割合がはるかに高くなっています。
2026年10月8日
- クロード・ハイク 5.5 の結果を追加しました
- 32件の脆弱性のうち17件がpass@3を通過し、GPT-6 Lunaと同等の結果となった。検出されたすべてのCVEは、Opus 5でも検出されていた。
- その精度は94%を記録し、Opus 5の87%を上回った。
- 1回の実行では平均36.5%の検出率でしたが、3回を組み合わせると53.1%に達しました。3回の実行すべてで検出されたCVEはわずか6件で、リーダーボードに掲載されているどのモデルよりも最少でした。したがって、Haikuでは、これまでテストした他のどのモデルよりも、追加の実行を行うことによる効果が顕著です。
- 発見されたCVE 1件あたり2.40ドルという価格は、GPT-6 LunaやDeepSeek V4.1 Flashに次いで、この一覧の中で3番目に安いモデルです。Opus 5は、発見されたCVE 1件あたり64.96ドルかかります。
2026年10月2日
- Xiaomi MiMo 2.6 Proのテスト結果を追加しました
- 調査の結果、32件の脆弱性のうち25件がpass@3を通過し、GPT-6.1 Sol、Kimi K3、GLM 5.3と同等であり、Opus 5にはわずか1件及ばなかった。
- その精度は88%を記録し、すべてのQwenおよびDeepSeekモデルを上回った
- 1回の実行で平均64.6%の精度が得られ、3回を組み合わせると78.1%に達した
- これだけの内容が、発見されたCVE 1件あたりわずか11.79ドルで利用可能
2026年9月29日
- Grok 4.7 の結果を追加しました
- 4.7は、4.6が見逃した脆弱性を毎回3件検出しましたが、一方で4.6は4.7が見逃した脆弱性を2件検出しました。その代償として、再現性に課題があります。3回の実行すべてにおいて、4.7は32件中18件を検出しましたが、4.6は32件中21件を検出しました。一貫性は若干低下するものの、検出範囲は広がっています。
- GPT-6 Luna および GPT-6 Sol の結果を追加しました
- GPT-6の「Luna」と「Sol」を当社の32-CVEサイバーベンチマークで実行したところ、予想外の結果が得られました!「Luna」は53.1%を再発見しました。「Sol」は68.8%に達しました。
- リコール率では、どちらもGPT-5.6のバリエーションには及ばなかった。しかし、『脆弱性 』の調査によると、両者ともCVEあたりのコストが大幅に低下した。Lunaは3.43ドル→2.01ドル/CVE、Solは56.88ドル→34.18ドル/CVEとなった。
2026年9月11日
- GPT-6 AstraおよびGLM-5.3 Flashの結果を追加しました。
優れたモデルは、あくまで始まりに過ぎません。




