.png){kind=logo}
一目でわかる
- 煩わしい手動のペネトレーションテストを、コンテキストを認識するAIテストに置き換えます
- ホワイトボックステストを用いて、複雑なODataベースのAPIを検証する
- 広範囲を網羅するために、数十万件の有効なAPI 生成します
- ベンダーとの摩擦を生じさせることなく、セキュリティへの信頼性を向上させます
- 機能、地域、およびデプロイメントを横断したスケーラビリティテスト
課題
Balenaにとって、セキュリティとは単なるコンプライアンスの問題ではありません。それは、極めて複雑なIoTプラットフォームが「設計段階から安全である」ことを実証することに他なりません。Balenaは、組み込みLinuxデバイス向けのIoTフリート管理ソリューションを提供しており、顧客は数千台から数十万台に及ぶデバイス群全体でアプリケーションを展開・管理することが可能です。顧客基盤の拡大に伴い、セキュリティに対する期待も高まっています。
当社は2024年にISO 27001の認証を取得し、現在はSOC 2 Type 2の取得を目指しています。その一環として、ペネトレーションテスト 不可欠ペネトレーションテスト 。
しかし、手動によるペネトレーションテストは、明確さよりもむしろ混乱を招く結果となった。
調査結果は解釈が難しいことが多く、Balenaのシステムの仕組みについて根本的に誤解されているケースも見受けられた。例えば、ペネトレーションテスターたちは、対称JWT署名の使用を脆弱性として指摘したが、これはBalenaのアーキテクチャにおいて意図的かつ妥当な設計上の選択であった。
「手動によるペネトレーションテストを実施するたびに、結論はいつも同じだった。次は別の業者を探さなければならない、と。」
ペネトレーションテストは、自信をつけるどころか、むしろ繰り返しフラストレーションの原因となってしまった。
なぜバレナはAIペネトレーションテストを採用したのか
バレナが発見した Aikido セキュリティ研究やコミュニティ活動、特にOWASPのイベントやNode.jsエコシステムにおける継続的な取り組みを通じて知りました。同時に、チームはAIを活用した開発ツールに慣れてきており、AI主導のペネトレーションテストというアイデアは、自然な次のステップとなりました。
当初、AIを活用したペネトレーションテストを試すという決断は、実用的な判断に基づくものでした。
「Aikidoペンテスト 、手動によるペンテスト 。特に際立っていたのは、コンテキストを提供できる点だった。」
一般的なスキャン技術に頼るのではなく、 Aikido はBalenaのコードベースにアクセスし、ドメイン固有の知識を活用して導かれることができた。これにより、課題は「より優れたベンダーを見つけること」から、「セキュリティテストにAIをどのように活用するのが最善か」を理解することへと移行した。
「不満が自動化を生み、自動化がAIへとつながり……ついに手作業による監査という制約の連鎖を断ち切ったのです。」
AI ペンテストの実行
導入にはほとんど手間がかかりませんでした。Balenaはリポジトリを接続し、スコープを設定し、法的な問題や運用上の遅れもなくテストを実行しました。
「トライアル版を入手して『開始』をクリックするだけで、かなり簡単でした。大きな障害はありませんでした。」
チームはホワイトボックス手法を採用し、AIにコードとデータモデルへのアクセス権限を与えた。特に重要なのは、API 規定するOData仕様に従うようAIに指示した点である。
これにより、大きな違いが生まれました。以前のペネトレーションテスターたちは、有効なODataリクエストを作成することさえ困難でした。それに対し、AIは仕様を解釈し、データモデルを読み取り、複雑かつ有効なクエリを生成することができました。その結果、テストの深さにおいて根本的に異なるレベルが実現されました。
AI ペンテストがもたらしたもの
AIペンテスト では、通常の業務時間内に45万件を超えるAPI ペンテスト 、その多くは構文的に正しく、有効なレスポンスが返されました。
その精度は一目で際立っていた。
「これほど高度なODataクエリの使用例は、これまで人間のペネトレーションテスターからは見たことがありません。」
AIは、無関係なものやありきたりな攻撃ペイロードを送信するのではなく、システムとの現実的なやり取りに重点を置いた。また、単純な試運転の段階であっても、重要な問題を早期に発見した。
規模の面だけでなく、このAIは、これまでの取り組みには欠けていた、文脈に応じたテスト能力を発揮した。
新しいSAML統合のテストにおいて、AIは各リポジトリから関連するコードを特定し、それらのエンドポイントに対して約350件のターゲットを絞ったリクエストを生成しました。また、オブジェクトID、組織ID、ユーザーIDを組み合わせて、テナントの分離と権限を積極的にテストし、ユーザーが自身の権限範囲外のデータにアクセスできないことを検証しました。
重要なのは、その価値が単一の重大な脆弱性の発見に結びついていたわけではないという点だ。むしろ、その価値はテストプロセスそのものに対する信頼から生まれた。AIは、システムを理解しており、API 動作に即した方法でシステムを調査できることを実証した。
これにより、Balenaが手動によるペネトレーションテストで抱えていた大きな課題が解消された。
「今、問題なのは、次に誰を採用すべきかということではありません。重要なのは、AIをいかに効果的に活用するか、そしてどれだけの予算を割り当てるかということです。」
結果
Balenaにとって、AIペネトレーションテストの影響は、コンプライアンス重視のテストから、システムを深く理解した上での精密な検証への移行として捉えるのが最も適切である。
外部のテスターによる誤解を正すことに時間を費やす代わりに、チームはセキュリティの向上に直接注力することができます。アーキテクチャの再説明や誤った指摘の検証といった社内の負担をかけることなく、監査要件を満たすことが可能です。
同時に、法的な問題や運用上の遅延を招くことなくテストを開始できることは、製品開発におけるセキュリティの位置づけを変えつつあります。SAML連携や新しい地理位置情報といった新機能は即座にテスト可能となり、迅速かつ信頼性の高いセキュリティ検証が可能になります。
透明性も向上します。Balenaは静的なレポートに頼るのではなく、詳細なリクエストログやエージェントのトレースを通じて、具体的に何がテストされたかを明確に示すことができます。
ROIと手動ペネトレーションテストの比較
従来の手動によるペネトレーションテストと比較して、AIを活用したペネトレーションテストは、より低コストで高品質な結果をもたらしました。最大の違いは運用面にあります。手動によるペネトレーションテストでは、導入のための打ち合わせやブリーフィング、アクセス権限の付与といった準備プロセスが必要でした。AIを活用すれば、そうした手間は完全に不要になります。
エンジニアリングの効率も向上しました。エンジニアは、静的なPDFレポートを分析して手作業で結果を再現する代わりに、AIが生成したスクリプトをそのまま再利用し、問題の検証や修正を行うことができます。
テストの網羅性においても、その差は顕著です。複雑なODataクエリを含む数十万件のリクエストが、通常の業務時間内に実行されました。このレベルの規模と精度は、人間のペネトレーションテスターでは達成されていませんでした。
「AIによるホワイトボックステストにより、テスト結果の共有がこれまで以上に簡単になりました。コードレベルでの直接的なマッピングにより、エンジニアは誤検知について議論することに時間を費やすことなく、複雑なロジックの分析や実際の修正作業に集中できるようになりました。」
今後の見通し
バレナは、AIによるペネトレーションテストを、反復によって向上する能力と捉えている。
現在、テスト予算の大部分は、より深い攻撃経路へと進む前に、AIがシステムを学習させるために費やされています。将来的には、この探索段階を短縮し、影響の大きい分析により多くのリソースを割けるようにすることが目標です。
もう一つの機会は、レポート作成にあります。生のログやトレースデータは完全な透明性を提供しますが、その量が膨大であるため、分析や活用が困難です。攻撃の手口、成功した侵入経路、および失敗に終わった試みについて簡潔にまとめた要約があれば、結果の伝達やそれに基づく対応が容易になります。
今後、バレナは、過去の実行結果を基にテストを行うモデルに特に注目している。このモデルでは、AIが文脈を保持し、一からやり直すのではなく、システムの探索を継続することができる。
協力 Aikido
技術面だけでなく、その協力関係そのものが際立っていた。
「迅速な結果、誠実なコミュニケーション、そして空虚な営業トークは一切なし。彼らは、私たちにプレッシャーをかけることなく、ベンダー評価を完了するために必要な時間を十分に与えてくれました。数日で実用的な結果が得られる上、AIのチューニングのためにエンジニアと直接やり取りできる点は、まさに私たちが求めていたパートナーシップそのものです。」
