AIペネトレーションテストでは、熟練した人間のテスターと同様に、AIエージェントを用いてアプリケーションを調査します。理想的なケースでは、IDOR（情報漏洩）、認証の不備、ロジックの悪用経路といった、自動スキャナーでは見逃されがちでありながら、実際の侵害事例で顕在化するような、発見が困難なバグを浮き彫りにします。しかし、マーケティング上の主張は実証結果を上回っています。
Doyensecは、独立系のアプリケーションセキュリティコンサルティング企業です。 弊社は同社に対し、直接比較テストの実施を依頼しました。442件のアプリケーションプールから無作為に選んだ2つの実在するアプリケーションを、同一の価格帯で、同一の認証情報を使用してテストし、すべての発見事項について2名の研究者がピアレビューを経て手動で検証を行いました。
数字が実際に示していること
このベンチマークでは、オープンソースのユーザーフィードバックプラットフォーム「Fider」と、ロールベースのアクセス制御機能を備えたTypeScript/Next.js製のフォトギャラリーアプリ「Photoview」の2つのアプリケーションをテストしました。
Aikido は49件の検証済み脆弱性を検出しました。XBOWは31件を検出しました。これは、同価格帯で58%多い結果です。
出典：Doyensec
偽陽性率はほぼ同じです。つまり、この差は、あるツールの方がノイズが多いとか精度が低いといったことによるものではありません。両方のツールはほぼ同じ方法で調整されていますが、 Aikido の方が、はるかに多くの脆弱性を検出しているのです。
重複率の統計が真実を物語っています。Fiderでは3件、Photoviewでは4件しか一致する検出結果がありませんでした。それぞれ49件と31件の検出結果のうち、両ツールが一致した脆弱性は10%未満でした。これは些細な差異ではありません。同じアプリケーションを検査した2つのツールが、ほぼ全く異なる結果を出したのです。ツールの選択は、実際に認識できるリスクに重大な影響を及ぼします。
出典：Doyensec
文脈が明確であればあるほど、より良い結果が得られる
Aikido は、テスト開始前にコードベースを取り込みます。すべてのテストは、コードが本来行うべき動作に基づいて設計されます。人間のペネトレーションテスターにとって、そのような準備には数日かかります。AIシステムであれば、数秒で済みます。追加コストは実質的にゼロです。
これは、自動スキャナーが見逃す脆弱性 において最も重要です。IDOR（情報漏洩）、認証の失敗、およびロジックの悪用経路は、アプリケーションが本来どのように動作すべきかを理解して初めて明らかになります。 ユーザーエンドポイントを調査するツールは、認証ロジックが何を強制すべきかを理解していなければ、そのエンドポイントが別のユーザーのIDでアクセス可能であることを知る術がありません。ツールが見ることができるのは、目に見えるものだけです。本来は見えないはずなのに見えるものについて、推論することはできません。
Doyensecはまた、XBOWでは誤検知が1件少なく、場合によっては検証の発見がわずかに速くなった可能性があると指摘しました。
購入者が問題になるまで考えもしない部分
「報道内容」が注目されています。しかし、「開始」をクリックした後に何が起こるかも重要です。
入手 Aikido の両アプリケーションで設定し、稼働させるのに20分もかかりませんでした。セルフサービス。
XBOWでは、スキャンを開始する前に営業担当者の承認が必要でした。その後、DocuSignによる契約書への署名も必要でした。ようやく稼働した後も、サポートへのメールが22通、クラッシュ後のスキャン再起動が3回、テストアカウントの削除、そしてプロジェクト途中でEC2のアップグレードを必要とするインフラ障害が2回発生しました。 Fiderレポートは、スキャン完了から5日後、プロジェクト開始から11日後に届きました。
セキュリティチームはプレッシャーの中でペネトレーションテストを実施しています。結果が出るまでに11日かかり、プロジェクト途中でクラッシュが発生するのは許容できません。
XBOWには、30日以内の再テストが1回含まれています。 Aikido は、追加費用なしで90日間の無制限再テストを提供し、結果は数分で判明します。脆弱性 発見する目的は脆弱性 それを修正し、修正を確認脆弱性 。修正の確認ごとに新たな契約が必要になる場合、それは修正サイクルの遅延を招くか、計画外の予算増大を招くことになります。
ロールベースのアプリケーションでは、単一ユーザーによるテストだけでは不十分です
XBOWは、マルチユーザーテストやソーシャルログインに対応していません。ロールベースのアクセス制御（RBAC）を採用したアプリケーションをテストする者にとって、これは大きな問題であり、テストが行われない経路を生み出します。
認証に関する脆弱性の多くには、複数のユーザーロールにわたるテストが不可欠です。IDOR（情報漏洩）、権限昇格、およびオブジェクトレベルの認証の不備といった脆弱性は、あるロールがアクセスできる範囲と別のロールがアクセスできる範囲を比較してテストして初めて明らかになります。単一のユーザーとしてしかテストできない場合、これらの脆弱性はテスト対象外となってしまいます。
ドイエンセックが導き出した結論
"Aikido は、セットアッププロセス、全体的なテストおよびレポート作成の速度、そしてそのテスト手法が対象アプリケーションや周辺環境に与える影響において優位性を示した。また、より多くの真陽性を特定し、レポートの品質もやや高いものとなった。」
このベンチマークを実施したのは、それが以下のことを示してくれると考えたからです Aikido の優れた成果が示されると考えたからです。実際、その通りでした。独立した調査は、得られた結果を公表する場合にのみ、実施する価値があります。
調査方法、すべての調査結果、および生データのスプレッドシートを含む完全な報告書は、当社のレポートページからご覧いただけます。
どんなものか見てみたいですか Aikido があなたの実践においてどのような気づきをもたらすか、知りたいですか？デモを予約
