Aikido

Aikido vs XBOW - Doyensecによる独立系ベンチマークレポート

Doyensecは独自にベンチマークを実施しました Aikido とXBOWを、442のオープンソースアプリケーションから無作為に選んだ2つの実用的なアプリケーションを用いて、同じ4,000ドルの価格帯で独自にベンチマークしました。すべての結果は上級研究者による手動検証とピアレビューを経て確認されています。 Aikido がこの調査を後援し、Doyensecが実施しました。

  • Aikido 49件の検証済み脆弱性をAikido 。XBOWは31件でした。価格は同じ、対象アプリケーションも同じでありながら、検出範囲は58%広くなっています。高/重大:9件対5件。低/中:32件対18件。無作為に選んだ2つのオープンソースアプリケーション(FiderとPhotoview)において、両ツールで重複した検出結果はわずか3件でした。この優位性は、単に検出数が多いだけでなく、検出範囲が広いことにあります。

  • ソースコードへのアクセス権限によって、何が確認できるかが決まります。XBOWは、コードの文脈を一切考慮せずに、外部からテストを行います。 Aikido は、テストの前にコードベースを解析します。IDOR(内部データ改ざん)、認証の失敗、ロジックの悪用経路は、アプリケーションの内部動作を理解して初めて明らかになります。それが、コードへのアクセスによって得られるものです。

  • セットアップには20分かかりました。 レポート当日中に提出されました。 Aikido は、どちらのアプリケーションでも20分以内に稼働し、セルフサービスで利用できました。契約も電話連絡も不要でした。XBOWは、スキャンを開始する前に営業担当者の対応とDocuSignによる契約が必要でした。Fiderのレポートは、契約開始から11日後に届きました。

  • 再受験が1回のみか無制限か:その差は大きい。XBOWでは、30日以内に1回の再受験が可能です。 Aikido は無料で無制限の再検査を提供し、結果は数分で判明します。XBOWの利用には、22通以上のサポートメール、3回のスキャン再起動、そして2回のインフラ障害も必要でした。 Aikido では、そのような問題は一切ありませんでした。

まとめ

どちらのツールも実際の脆弱性を発見しました。 Aikido は、検証済みの問題をより多く発見し、結果を迅速に提供し、かつ必要な労力を大幅に削減しました。その差は、誤検知率や深刻度の正確性にはありません。これらはそれぞれ4%対3%、69%対68%とほぼ同等でした。その差は、カバレッジと、そこに到達するために必要な作業量にあります。

学べること

独立したベンチマークデータが明らかにする、AIペネトレーションテストのカバー範囲、設定の複雑さ、そして実際にその費用で何が得られるのか。

著者:
アレクス・フレラス

アレックス・フレラスは、13年にわたりペネトレーションテスト事し、Webアプリケーション、AI、ネットワーク、モバイル、API 専門としてきた。彼は複数の専門的なペネトレーションテスト 設立し、フォーチュン500企業における重要資産に対する攻撃的セキュリティ評価を実施してきた。以前はGap Inc.の攻撃的セキュリティチームを率い、業界で最も著名な攻撃的セキュリティチームの一つであるIBM X-Force Redの一員でもあった。

主な調査結果

  • Aikido 49件の検証済み脆弱性をAikido 。XBOWは31件でした。価格は同じ、対象アプリケーションも同じでありながら、検出範囲は58%広くなっています。高/重大:9件対5件。低/中:32件対18件。無作為に選んだ2つのオープンソースアプリケーション(FiderとPhotoview)において、両ツールで重複した検出結果はわずか3件でした。この優位性は、単に検出数が多いだけでなく、検出範囲が広いことにあります。

  • ソースコードへのアクセス権限によって、何が確認できるかが決まります。XBOWは、コードの文脈を一切考慮せずに、外部からテストを行います。 Aikido は、テストの前にコードベースを解析します。IDOR(内部データ改ざん)、認証の失敗、ロジックの悪用経路は、アプリケーションの内部動作を理解して初めて明らかになります。それが、コードへのアクセスによって得られるものです。

  • セットアップには20分かかりました。 レポート当日中に提出されました。 Aikido は、どちらのアプリケーションでも20分以内に稼働し、セルフサービスで利用できました。契約も電話連絡も不要でした。XBOWは、スキャンを開始する前に営業担当者の対応とDocuSignによる契約が必要でした。Fiderのレポートは、契約開始から11日後に届きました。

  • 再受験が1回のみか無制限か:その差は大きい。XBOWでは、30日以内に1回の再受験が可能です。 Aikido は無料で無制限の再検査を提供し、結果は数分で判明します。XBOWの利用には、22通以上のサポートメール、3回のスキャン再起動、そして2回のインフラ障害も必要でした。 Aikido では、そのような問題は一切ありませんでした。

まとめ

どちらのツールも実際の脆弱性を発見しました。 Aikido は、検証済みの問題をより多く発見し、結果を迅速に提供し、かつ必要な労力を大幅に削減しました。その差は、誤検知率や深刻度の正確性にはありません。これらはそれぞれ4%対3%、69%対68%とほぼ同等でした。その差は、カバレッジと、そこに到達するために必要な作業量にあります。

学べること

独立したベンチマークデータが明らかにする、AIペネトレーションテストのカバー範囲、設定の複雑さ、そして実際にその費用で何が得られるのか。

著者:
アレクス・フレラス

アレックス・フレラスは、13年にわたりペネトレーションテスト事し、Webアプリケーション、AI、ネットワーク、モバイル、API 専門としてきた。彼は複数の専門的なペネトレーションテスト 設立し、フォーチュン500企業における重要資産に対する攻撃的セキュリティ評価を実施してきた。以前はGap Inc.の攻撃的セキュリティチームを率い、業界で最も著名な攻撃的セキュリティチームの一つであるIBM X-Force Redの一員でもあった。