HITLが組織のボトルネックとなる
業務をAIエージェントで効率化しようという話になると、とにかく「事故らないように人間が確認できる仕組みが大事ですね」という話ばかりが出てきがちだ。部下の仕事はそんなに見てなかったはずなのに。仮にAI化を進めたところで、すべてのアウトプットを人間がレビューしていくのであればむしろ時間がかかり、組織のアジリティ（俊敏性）が失われてしまうし、結局はめくら印が横行することだろう。かといって完全にAIに任せるのも難しい。
ではLLMの側にガードレールを仕込めばいいかというと、物理的に実行不可能にしなければ安全性は確保できない。Claude Codeのようなコーディングエージェントが.envを読んでAPIキーを直接使えてしまう状態では、どんなに巧妙なプロンプトでガードレールを仕込んでも突破される可能性がある。LLMの出力を制御・検証する仕組みを構築する技術を"ハーネスエンジニアリング"と呼ぶが、これを真面目にやろうとすると、エージェントに渡す「リスク許容バジェット」を設計し、仮に.envが漏洩しても最大利用金額と可能アクションがAPI側で制限されていれば致命傷にはならないという仕組みの話になっていく。
「おまかせ」は全権委任であり、主導権はAIに移る。「おせっかい」は主導権を人間に残したまま、気づきと提案を差し挟む。
以前おせっかいなAmbient Agentについて書いたことがあるのだけど、エージェントのガバナンスにも同じ構図がある。欲しいのは「おまかせ」でも「放置」でもなく、境界線の内側では自由に動かしつつ逸脱時だけ介入する「おせっかい」型の権限委譲だ。
この境界線の理念を実現しようとして、if (budget > X && time == Y && user_role == Z && vendor_approved == true)というIF文を増やしていっても、破綻するのが目に見えているため、ポリシーを宣言的に定義していく必要が出てくるのだけど、これは結局のところ社内規定集 as a Codeになるのだと気づいた。
OPAが「決定」と「執行」を引き離す
宣言的なポリシーを実現する処方箋として考えられるのがOpen Policy Agent（OPA）による"Policy-as-Code"というパラダイムだ。OPAはCNCFのクラウドネイティブな汎用ポリシーエンジンで、Rego言語で「どう実行するか」ではなく「どうあるべきか」を宣言的に記述する。アプリケーションやAIエージェントはJSONで「これは許可されるか？」とOPAに問い合わせ、OPAが「Allow/Deny」を返す。ポリシーの「決定」と「執行」が完全に分離されることで、アプリケーション側のロジックはクリーンに保たれる。
単純なAPIのレート制限ではエージェントの制御は機能しない。リクエスト数やトラフィック量の「静的」な制限にはコンテキストがない。「誰が」「いつ」「何の目的で」「いくらの予算で」実行しようとしているのかというビジネスコンテキストの「合成的な判断」が不可欠になる。ユーザー属性、システム時刻、APIの対象、累積バジェット。複数のコンテキストを合成して決定論的かつセキュアな判断を瞬時に下す。仮にAgentの環境変数が漏洩しても、OPA側で最大利用金額と可能アクションが制限されていれば致命的な事故は防げるという設計思想だ。
ただし前提がある。OPAが「不可」と判断しても、エージェントが.envにAPIキーを直持ちして外部APIを直接叩けてしまう状態では何の意味もない。SaaS自体が「APIキーを隠蔽するプロキシ」として振る舞い、OPAの認可がない限りリクエストを外部へ転送しない物理的な遮断機構が不可欠になる。ポリシーエンジンは論理的な門番であって、物理的な壁ではない。
もうひとつの処方箋が「リスク許容バジェット」だ。時間（最大実行時間120秒）、計算量（入出力トークン上限5000トークン）、コスト（金額上限$0.10）、行動（外部API呼び出し回数3回）という多次元のバジェットを与え、この範囲内であればエージェントは完全に自由かつ自律的に行動できると宣言し、バジェットを消費し尽くすまでは人間の介入を不要にする。
さらに単純にプロセスを強制終了するのではなく、予算の消費状況に応じた動的な制御を定義しておく必要がある。予算が逼迫すれば安価な軽量LLMに自動で切りわけたり、予算内で到達できた最良の結果を返したり、予算を超過した場合にのみ人間に承認を求めるSmart HITLなどの選択肢が考えられる。
月額定額制AIエージェントのこづかい万歳！
エージェンティックコマース——AIエージェントが自律的に購買を行う世界を想像すると、この多次元バジェットの必然性がわかりやすい。たとえば月のおこづかい1万円のうち、エージェントに「勝手に買ってきていい」範囲を宣言的に定義するとこうなる。
| カテゴリ | 上限 | 購入先 |
|---|---|---|
| 本 | 5,000円 | Amazon |
| お菓子 | 1,000円 | Amazon |
| ガジェット | 8,000円 | ヨドバシカメラ |
| 合計上限 | 10,000円 | — |
カテゴリ別の上限を単純に合算すると14,000円で総予算を超える。つまりガジェットを買う予定があるなら本を一部我慢するといった、カテゴリ横断の「合成的な判断」が必要になる。これがOPAの合成的判断だ。さらに厄介なのは、すべてAmazonで買うわけではなくガジェットはヨドバシカメラで買うといった複数ストアの横断が発生する点で、ここにもAPIプロキシによる一元的な予算管理が求められる。
そしてガジェットの新製品は米国での発表終了後、日本時間3:00に販売開始になったりする。寝ているお人間さんのHITL承認を待っていたら売り切れになってしまうため「ガジェット枠の残予算内で、事前に登録したウィッシュリストの商品なら、深夜でも自律的に購入してよい」という宣言をするのがOPAのRegoポリシーだ。
簡単なおこづかいの管理すらこの複雑さなのだから、企業のエージェントが扱う予算と権限の合成的判断がIF文で書けるわけがない。OPAそのものに依存する必要はないが、こうしたハーネスエンジニアリングの発想なしにエージェントを野に放つのは無謀だろう。
社内規定 as a Codeとインナーリスニング
ポリシーを宣言的に管理できるようになっても、その原典である社内規定が旧態依然としていては意味がない。AIエージェントの進化スピードに対して、人間のルール改定プロセスがボトルネックになる。ここで持ち出されるのが安野たかひろ氏のマニフェスト更新モデルだ。安野氏は2024年の東京都知事選で政策マニフェストをGitHubに公開し、市民からのIssueとPull Requestを受け付けた。約1週間で157件のIssueが立ち、69件の変更提案がなされ、41件が実際にマニフェストに反映されている。
この「ブロードリスニング」の仕組みを企業のガバナンスに「インナーリスニング」として応用するという発想ができる。AIがSlackや議事録に残っている社員の声や現場の摩擦を集約・分析し、解決すべき課題をIssueとして定義し、それを受け取ったGitHub CopilotがRegoコードのPRとして提案し、合意形成を経てOPAへデプロイする。社内規定のインナーソース化でありビルド in インナー・パブリックだ。ハック可能なものになりやすいため、オープンソースにまでするのはリスクが高い。
たとえば地方支局の社員がSlackで「東京のホテル代が異常に高い」と愚痴っていたとする。インナーリスニングのAIがこの不満を複数チャネルから検知し、実際の宿泊費相場データと突合した上で「東京23区の出張宿泊費上限を12,000円から15,000円に改定する」というRegoのPRを起票する。経理部門のレビューを経てマージされれば、翌週からエージェントが改定後の上限内で自律的にホテルを予約できるようになる。Slackの愚痴がRegoのPRになって翌週から経費規定が変わる。この速度感がインナーリスニングの価値だ。これには、AIエージェント自体の進化による権限範囲の拡大も含まれる。
またインナーリスニングで集約された現場の声が、セキュリティ的に正しいとは限らない。「この承認フローは面倒だから外してほしい」という多数派の要望をそのままマージすれば、セキュリティホールがプルリク経由で正規に生まれることになる。したがって最終的には「メタ規定」——絶対に譲れない安全基準——を経営・法務層が固定的に保持し、その範囲内でのみボトムアップな規定変更を許可する二重構造が必要になる。Gitでいえばprotected branchとCODEOWNERSの設定だ。すべてを議論対象にするのではなく、何が議論対象かを先に決めることで安全に機能する。
社内規定にプルリクを出せるCybernetic Firmを妄想する
この全体像を「Cybernetic Firm（自律型組織）」と呼びたい。実行レイヤーではエージェントがバジェットの範囲内で圧倒的なスピードで実務をこなし、ガバナンスレイヤーでは人間がインナーリスニングを通じてエージェントが従うべきルール自体を洗練させる。実行は機械に、ルールの進化は人間の役目だ。
この構造は三権分立の原理と韻を踏んでいる。司法と行政のかなりの部分をAIエージェントが自動化するからこそ、立法にあたるルール策定にはより幅広い意見集約と熟議が必要になるという逆説だ。東浩紀は2011年の「一般意志2.0」で、国会中継をニコニコ動画のようにリアルタイムコメント可能にし、そのコメントを議員に可視化する仕組みを構想していた。
ルソーの「一般意志」をGoogleの集合知で再実装するという構想は、当時はいかにもゼロ年代的な空想に見えたが15年を経てブロードリスニングとOPAという技術スタックで企業ガバナンスに降りてきている。執行の自動化が進むほど立法の民主化が求められるという力学は、国家であれ企業であれ変わらないのだろう。
真のアジリティを持った組織のために
IF文偏在の地獄とは要するにコンウェイの法則のポリシー版となる。組織のルールが各所に散在すればコードも散在し、ルールの変更が組織全体の手戻りを引き起こす。技術の進化（OPAによるIF文地獄からの脱出）と組織の進化（ブロードリスニングによるルールの形骸化防止）の両輪が揃わなければCybernetic Firmは回らない。
僕自身がCLAUDE.mdを書き直すたびにやっていることは、ローカル環境の執行ルールに対してプルリクを出し続ける行為にほかならない。エージェントの振る舞いがおかしければルールを修正し、新しいスキルが必要になればポリシーを追加する。それを組織のスケールに持ち上げただけで、やっていることは本質的に同じだけども、認証認可の複雑性と難易度が大幅に上がる。
だからこそ宣言的な境界線をハーネスエンジニアリングし、その境界線自体をインナーリスニングで進化させ続ける。その二重ループが回り始めたとき、司法と行政は自律実行されるようになり、組織は真のアジリティを手に入れるのかもしれない。まずはAIエージェントに残高1万円のデビットカードでも与えて判断させてみようかな。
