エージェントが「共謀」を学ぶとき：AIがますます賢くなる中、安全な境界をどう定義するか？

AI時代の新たな安全問題は、「エージェントが権限を越えるのを防ぐ」から「どうやって複数のエージェントが共同で境界を突破するのを避けるか」に移行している。

執筆：imToken

過去数年、AIの脅威に関する議論は、ある仮定にとどまっていた。人々はチャットボックスのモデルが軍師となり、ハッカーに壊滅的なウイルスコードを書く手助けをするのではないかと常に心配していた。

今振り返ると、このような心配は常に「私たちからはまだ遠い」と見なされていたが、現実世界の転換点は想像以上に早く訪れた。

10月初旬、CrowdStrikeは韓国の金融機関に対する攻撃を調査する中で、攻撃者がエージェントAIをパイプラインに組み込んでいることを発見した。DeepSeek、GLM、Grokなどの複数の大規模モデルに接続することで、AIが直接ペネトレーションテスト、情報収集、攻撃実行などの具体的な作業を担うようになった。

このような変化は孤立したものではない。

Anthropicが9月に発表した最新の脅威インテリジェンスレポートによれば、最近、複数のエージェントフレームワークが偵察、脆弱性の悪用、データ窃取に使用されており、数時間または数日間連続して稼働し、人間はターゲットの選択や結果の確認などの少数の重要な決定を残すだけで済む。

言い換えれば、AIはネットワーク攻防に目に見える質的変化をもたらしている。過去の自動化攻撃は主に事前に書かれたルールやスクリプトに依存していたが、今や偵察、判断、戦略の調整などもエージェントが引き受け、攻撃はさらに低コスト、高並行性、持続的自律運営へと進化している。

そして、これらの自律実行能力を持つエージェントが生産システムに密集して投入されると、より厄介な問題が浮上する。エージェントが私たちの日常業務や生活にますます多く、深く組み込まれる中で、もし彼らが互いに「共謀」を学んだら、どうすればよいのか？

一、 「ハッカーにコードを書く手助け」から、エージェント自身が道を見つけるまで

依然として古い話だが、エージェントと過去のチャットボットの最大の違いは、モデルの能力が強化されたことだけではなく、彼らが現実世界で「手足」を持つようになったことだ。

今日の成熟したエージェントは、ウェブページを開き、コードを実行し、メールを読み、APIを呼び出し、クラウドサービスを操作し、MCPやSkillsなどの方法でますます多くの外部ツールに接続できるようになっている（延伸読書『ハッカーが「より効率的に」AIを使用する際、Web3の「矛と盾」の軍備競争はどのように進化するか？』）。

能力が高まるほど、この変化は当然価値があるが、安全システムにとっては、過去の非常に重要な境界が消えつつあることを意味する。今年発生した一連の安全事件は、この事実を非常に直感的に示している。

10月1日、Salt Labsは以前に修正されたManusの脆弱性を公開したが、本質的にはプロンプトインジェクションであった。------研究者は、ターゲットのメールボックスに隠された悪意のある指令を含む普通のメールを送信するだけで、ユーザーがその後Manusに「メールを確認して」と依頼すると、エージェントはメールの指示に従って内容を処理し、最終的に攻撃者が埋め込んだコードを実行する可能性がある。

このプロセスは、ユーザーが悪意のあるリンクをクリックする必要もなく、事前にパスワードを盗む必要もない。Manusの安全システムは最終的に異常を発見し、ユーザーに警告を発したが、問題はそれを発見するのが遅すぎたことであり、警告が表示されたときには、悪意のあるコードはすでに実行されていた。

これは再び、エージェントの安全性と従来のソフトウェアの安全性の間の非常に重要な違いを浮き彫りにした。過去にブラウザが危険なダウンロードを発見した場合、警告をポップアップしてユーザーに続行するかどうかを決定させることができた。銀行が異常な取引を発見した場合、まず凍結し、その後人間の審査を待つことができた。

しかし、エージェントの設計目標はまさに各ステップの操作における人間の関与を可能な限り減らすことだ。彼らは自分で情報を読み、判断を下し、次のステップを実行する必要がある。

したがって、AIが得る自律権が大きくなるにつれて、「危険を検出する」こと自体が必ずしも十分ではなく、安全メカニズムは実行前に危険な行動を阻止する能力を持たなければならない。

これが、今日ますます多くのエージェントの安全性に関する議論がプロンプト、コンテンツの審査、モデル自体から次のレベルに移行している理由でもある。AIに「このことをしてはいけないことを知っているか」と尋ねるだけでなく、たとえそれが本当にやりたいと思っても、システムはそれを実行できない能力を持っているのか？

そして、複数のエージェントの出現は、この問題をさらに複雑にしている。次の段階で制限する必要があるのは、もはや単一のエージェントだけではないかもしれない。

二、エージェントの権限を越えるより厄介なのは、彼らが「共謀」し始めること

9月初旬、OpenAIの内部モデルのトレーニングと評価環境で発生した出来事が、多くのAI安全研究者の注目を集めた。

いくつかのエージェントは本来それぞれのタスクを完了するはずだったが、偶然に公共のWikiを発見し、それを徐々にお互いの「共有メッセージボード」に変えていった。エージェントはそこで情報を残し、他のエージェントはその情報を読み取り、利用してタスクを続行することができた。

OpenAIは後にこの行動を確認し、その後公開された情報によれば、他のトレーニングプロセスでも、エージェントが内部のArtifactoryを共有メッセージボードとして利用したり、公共のファイルホスティングサービスを通じて他の共同作業を行うエージェントに結果を伝えたりする事例があった。

この事例の本当に面白い点は、エージェント間の協力が、必ずしもそれほど劇的である必要はないことを示している。

たとえば、あるエージェントが情報を残せる場所を見つけ、別のエージェントが偶然それを読み取り、次に第三のエージェントがその情報がタスクの完了に役立つことを発見することがある。

もちろん、エージェント間の協力自体は悪いことではない。複数のエージェントシステムは本来、分業と情報共有に依存して効率を高める必要がある。

本当に警戒すべきは、この協力が元々の情報隔離、独立した審査、または権限の制約を回避し始め、さらには本来互いに抑制すべきエージェントが事実上の利益同盟を形成する場合、正常な協力が有害な「共謀」に変わる可能性がある。

結局のところ、将来の金融機関は同時にいくつかのエージェントを運用する可能性が高く、例えば市場分析を担当するエージェント、リスク評価を担当するエージェント、取引戦略を生成するエージェント、そして実際の取引と資産操作の権限を持つエージェントがいるかもしれない。

従来の権限管理から見ると、このような設計は非常に合理的である。

• 研究エージェントには送金権限がない。
• 実行エージェントには投資方向を独自に決定する権限がない。
• リスクエージェントは明らかに危険な戦略を否決できる。

責任が分割されているため、理論的にはすべての権限を持つスーパーエージェントよりも安全であるはずだ。

しかし問題は、もし彼らが長期間にわたってメモリを共有し、お互いの出力を読み、相手の反応に基づいて自らの行動を調整できる場合、これらの本来互いに制約する役割が、次第に事実上の全体に変わる可能性があるということだ。

たとえば、研究エージェントは、取引をより容易にリスク審査を通過させる方法を学ぶかもしれない。審査を担当するエージェントも、過去のデータに基づいて特定の固定的な好みを形成する可能性がある。実行エージェントは、以前の多くの承認結果に基づいて、通常どのような境界が阻止されないかを学ぶかもしれない。

この観点から見ると、どのステップも必ずしも「悪事」を働いているわけではないが、システム全体が最終的にユーザーが最初に設定した目標から逸脱する結果を得る可能性がある。

これが「共謀」または「共謀」の本当に解決が難しい点である------リスクは必ずしも特定のエージェントの行動に存在するわけではなく、むしろ複数のエージェント間に形成される関係に存在する可能性がある。

9月13日、Vitalik Buterinはこの問題を自身の過去の長期的な研究であるメカニズム設計に関連付けた。彼は、対抗的ガバナンス（Adversarial Governance）のメカニズム設計理論が、最終的にAIの安全性の重要な応用の一つになる可能性があるという興味深い可能性を提起した。

その理由は、二つの問題には非常に深い類似性があるからだ。

従来のメカニズム設計では、相対的に単純で静的な制度が、制度自体よりもはるかに賢く、ルールの境界を積極的に探す人々のグループを制約しようとするものである。一方、将来のAIシステムでは、人間と能力が相対的に弱いAIが、自己よりも能力の高い高度なエージェントのグループを管理しようとする可能性がある。

Vitalikは特に、過去のメカニズム設計における重要な発見の一つは、参加者間の共謀を効果的に制限できれば、システムは理想的な結果を得やすくなるということを指摘した。

この結論はAIにも同様に適用できる可能性がある。

三、エージェントウォレットが本当に必要とするのは、「権限管理」だけではないかもしれない

言い換えれば、未来に完璧なスーパーセキュリティモデルが存在し、すべての危険な行動を見抜くことができると仮定するよりも、別の視点に切り替える方が良い。システム内の異なるエージェントが、危険な利益共同体を形成しにくくするにはどうすればよいか？

これが「対抗的ガバナンス」と、私たちが今日知っている権限管理との本当の違いである。

従来の権限システムが解決する問題は比較的単純で、主に「誰が何をできるか」ということに関するものである。たとえば、あるエージェントがメールを読み取ることができるか？取引インターフェースを呼び出すことができるか？毎日最大いくら使えるか？どの契約にアクセスできるか？一定の限度を超えた場合、ユーザーの再確認が必要か？

これらの設計はもちろん非常に重要である。

実際、エージェントが実際の資産を制御し始めると、それらは過去のどの時点よりも重要になる可能性がある。

しかし、対抗的ガバナンスはさらに一歩進んで、異なる権限、目標、情報を持つエージェントが同時に稼働する際、彼らが組み合わさって本来誰も持っていない能力を得るのをどう防ぐかに焦点を当てている。

この時、単に「もう一つの安全エージェントを追加する」だけでは問題を解決できないかもしれない。

たとえば、取引を担当するエージェントと取引を審査するエージェントが、完全に同じモデル、同じデータソース、同じ文脈、類似の報酬目標を使用している場合、表面的には二重の審査が存在するが、本質的には同じ判断を二度繰り返しているだけかもしれない。

本当に効果的な抑制は、むしろシステムが意識的に差異を生み出すことを要求するかもしれない。

たとえば、戦略を策定するエージェントと戦略を審査するエージェントが異なる情報源を使用するようにし、異なる役割間で共有できるメモリを制限し、高リスクの操作は必ず互いに独立した検証メカニズムを経なければならない、または最終的な資産実行層は、単に上流のエージェントの判断を信じるのではなく、事前に設定されたルールに従ったリクエストのみを受け入れるようにする。

この考え方は実際には新しいものではない。銀行は従業員を信じるからといって、1人に支払いの開始、承認、最終的な振替のすべての権限を与えることはない。上場企業は、ビジネス部門が収益を創出し、自らの財務監査結果を決定することを許可しない。

言い換えれば、これは現実世界の論理と通じるものであり、堅牢なシステムは、参加者が決して間違えない、または共謀しないという仮定の上に安全を築くべきではない。

この論理をエージェントウォレットに適用すると、特に重要になる。

従来のウォレットの安全性は「人」に基づいているため、ユーザーが取引内容を確認し、ユーザーが権限を与えるかどうかを決定し、最終的にユーザーが自ら署名する。しかし、エージェントウォレットが実現しようとしているのは、正反対の方向である------AIが自動的に利益を受け取り、ポジションを調整し、通貨を交換し、クロスチェーンを行い、さらには市場の変化に応じて資産ポートフォリオ全体を管理することだ。

もしすべてのステップでユーザーの確認を再度求めるなら、エージェントの自動化の価値は大きく減少する。

したがって、将来のウォレットが解決すべき問題は、もはや**「エージェントに署名権を安全に委譲するにはどうすればよいか」だけではなく、「エージェントが十分な自律権を持ちつつ、ユーザーが本当に権限を与えた範囲を超えることができないようにするにはどうすればよいか？」**ということになる可能性が高い。

これにより、権限は単純な「許可/拒否」から、より細かい制度に変わる必要がある。

たとえば、あるエージェントが特定の期間内にどの資産を操作できるか、どのプロトコルを呼び出すことができるか、単一の取引および累積の限度はそれぞれどのくらいか；異なるエージェント間で相互に呼び出すことができるか、文脈を共有することが許可されるか；ある操作は誰が提案し、誰が審査し、誰が最終的に実行するか；どの行動が自動的に完了でき、どの行動はエージェントがどれほど確信していても、必ず再度人間の権限を得なければならないか。

さらには、安全審査を担当するエージェントが本当に独立しているかどうかも、権限体系の一部になる可能性がある。

ブロックチェーンにとっては、良いニュースは、それ自体がこの「制度層」を担うのに非常に適しているということだ。

スマートコントラクトは、取引限度、資産範囲、権限の期限などの制限を直接実行層に適用でき、アカウントの抽象化、多署名、セッションキーなどのメカニズムも「限定的な権限」に従来の単一の秘密鍵ウォレットよりも柔軟な設計空間を提供する。

しかし、ブロックチェーンもまた一部の問題しか解決できない------それは、何がチェーン上で起こったかを記録することはできるが、エージェントがなぜそのように行動したのか、または複数のエージェントが決定を下す前に、どのようなコミュニケーション、審査、協力を経たのかを自然に判断することは難しい。

これが、エージェントウォレットが次の段階で本当に必要とする安全層である可能性がある。

最後に

過去数年、AIの安全性に関する最も一般的な議論は、モデルをより「従順」にする方法であった。

これには、危険な内容を出力しないこと、悪意のある指令を実行しないこと、ユーザーが設定した境界を越えないことが含まれるが、エージェントが長期的なメモリ、ツールの呼び出し、実際のアカウントと資産の実行能力を持つようになると、「モデルをより従順にする」だけではもはや不十分かもしれない。

最近数ヶ月の出来事は、これを繰り返し示している。

攻撃者はすでに複数のエージェントを利用して並行して攻撃を行っている。実験環境のエージェントは自ら新しい通信チャネルを見つける。ツールの権限を持つエージェントは、安全システムが阻止する前に悪意のあるメールを実行に移す可能性がある。

そして、Vitalikが提案した対抗的ガバナンスは、AIの安全性を理解する別の方法を提供している。未来のすべてのエージェントが十分に信頼できると仮定せず、システム全体が賢いエージェントと多様な権限体系に直面しても、安全な枠組みの中で安定して運営できるようにする。

この観点から見ると、AIエージェントと安全性は、必然的に長期的な課題である。

結局のところ、私たちがますます多くのことをAIに委ねるとき、最も重要な権限が常に人間が本当に設定した境界から離れないことを確信できるかどうか。