判定できなければ、止める。銀行が AI を本番で広げるための統治

汎用 AI は、黙ることで失敗するのではありません。自信満々に間違えることで失敗します。この自信こそが、コンプライアンス違反を見つけにくくする最大の原因です。黙っていれば、人は気づけます。もっともらしく整った誤答は、そのまま行動に移されてしまいます。

たとえば、銀行のチャットボットが顧客に「規制当局の承認がなくても 5 万ドルを送金できます」と答えたとします。実際には、その顧客の地域では、一定額を超える送金に明確な承認が要ります。顧客は回答を信じて送金します。数か月後、定期の監査で規制当局がこの食い違いを見つけます。会話のどこにも、AI が迷っていた形跡はありませんでした。

これは、次のモデルで直る例外ではありません。構造の問題です。AI の学習データに、この先の規制改正や州ごとの例外、地域ごとの基準額をすべて入れておくことはできません。金融規制は更新され続けます。昨年のデータで学んだモデルは、今年の改正を知りようがなく、会話の中で正しく当てはめることもできません。

リスクは 5 つの形で積み重なり、管理されないまま AI を広げることを、どんな規模でも許されないものにします。規制当局からの罰金、免許の停止、顧客からの訴訟、金融機関の財務を揺るがすシステミックリスク、そして一度の事故では終わらないブランドの毀損です。どれも、悪意のある攻撃や珍しい故障を必要としません。モデルが実力以上の自信で答えるだけで起こります。

銀行もこれは分かっているので、これまでの対策はガードレールが中心でした。プロンプトでの制約、検索の仕組み、承認のチェックリストを、チャットボットに後から付け足すやり方です。しかし第 2 章で見るとおり、これでは穴はふさがりません。ガードレールも RAG もプロンプトの工夫も、この問題を生んだのと同じ死角を抱えています。

ガードレール、RAG、プロンプトの工夫には、共通の前提があります。AI はもう正しい答えを知っていて、あとは言い方を整えるだけ、という前提です。規制のかかる金融業務では、この前提が成り立ちません。本当に危ないのは言い回しの誤りではなく、誰も想定していなかった種類の責任です。

ガードレールは「言ってはいけないこと」の一覧です。たとえば「元本保証とは言わない」という禁止事項を前もって登録しておきます。RAG は、質問を受けたときに文書を探し、その内容をもとに答えます。プロンプトの工夫は、指示文で口調や範囲を調整しますが、モデルが知っていることそのものは変えません。

3 つとも、設計した人が前もって想定した問題にしか効きません。想定していなかった種類の責任は、どのガードレールもすり抜けます。規制のかかる金融の助言では、これは例外ではなく日常です。

ブレーキのない車に、ガードレールを付けるようなものです。カーブで車体を押し戻してくれる間は、安全に見えます。けれども、本当に止まらなければならない瞬間には、何もしてくれません。金融規制で問われるのは、まさにこの「止まるべき瞬間」です。

だから、次に必要なのは柵を増やすことではありません。仕組みの前提そのものを、逆にすることです。

「判定できなければ止める」ガバナンス（フェイルクローズ）は、問いそのものを逆にします。ガードレールは「何を止めるか」を問い、フェイルクローズは「何を許すか」を問います。はっきり許されていない行動は、理由を問わず、すべて止まります。

この逆転を支えるのが、構造化したコンプライアンスの知識です。PDF にした規程集ではありません。規制、社内ルール、判断の境目、上の担当者に回す条件を、AI が動いている最中に照らし合わせられる形で定義したものです。

融資審査をする AI を例にします。許可リストに無い取引は、文脈の上ではどれほどもっともらしく見えても止まります。AI がリスクを一件ずつ見抜く必要はありません。見抜く仕組みではなく、許されたことしか動かない仕組みだからです。そのため、「まだ誰も知らない抜け穴」という考え方自体が成り立たなくなります。

大事な違いがあります。これは、いまの AI の仕組みに後から足す機能ではありません。ガードレールのような追加の層ではなく、AI がその内側で動く、ガバナンスの土台です。この違いが、責任の範囲を変えます。責任は「はっきり許したこと」だけにとどまり、想定し損ねたあらゆる出力にまでは広がりません。

やり方	考え方	責任が及ぶ範囲
禁止リスト型	分かっている悪い出力を禁じる	禁じ忘れたすべての抜け穴
許可リスト型	安全と確かめた行動だけを許す	はっきり許した範囲だけ

「初めから止めておく」は窮屈に見えますが、比べる相手を見れば話が変わります。悪い結果をすべて捕まえようとする仕組みと、承認したことしか実行しない仕組みのどちらが現実的か、という話です。次に問われるのは考え方ではなく手順です。「判定できなければ止める」を約束で終わらせず、実際にそう動く仕組みをどう組むのか。

フェイルクローズのガバナンスは、いまの AI の流れにガードレールを後から付けても実現できません。必要なのは、3 つの組み替えです。1 つでも欠けると、「フェイルクローズ」はただの標語で終わります。

1 つ目は、AI に任せる範囲の境界をはっきり決めることです。どの顧客層、どの商品、どの種類の判断を自動で承認し、どれを権限のある担当者に回すのかを、モデルを動かす前に書き出します。個人向けの基本的な預金の説明と、複雑な仕組み債の提案とでは、AI に任せる範囲が違って当然です。

2 つ目は、コンプライアンスの規則を、機械が読める形の制約として組み込むことです。AI とシステムの両方が自動で判定できるルールの形にします。「投資の助言は慎重に」のような文章の指針は、LLM がいつでも言い換えて回り道できる、ただのお願いにすぎません。システムの側で強制できるのは、実行できる形に書いた制約だけです。

3 つ目は、すべての判断を、規則に合っていると確かめられるかどうかで通すことです。まだ確かめていない道筋はすぐに担当者に回し、安全と分かっている道筋だけを自動で承認します。この順番を逆にして「原則は承認、例外だけ担当者へ」にすると、ガバナンスは見かけだけのものになります。

銀行の顧客への助言の場面で考えます。OS iXanagi では、AI に任せる仕事を「委任状」として定めます。どの顧客に、どの商品を、どの条件で自動承認し、どの条件で資格を持つ担当者に回すのかを決め、答えが顧客に届く前に判定します。これが OS iXanagi の土台です。調べものに使う知識ではなく、統治のための知識です。

この土台を作る会社と、ガードレールで済ませる会社は、これから大きく分かれていきます。そして、その分かれ方は業界全体に一様には起きません。

フェイルクローズのガバナンスを先に入れた銀行は、ほかの銀行がソフトウェアを買い足すだけでは追いつけない強みを持ちます。強みの正体は機能の差ではありません。AI のすべての出力について、どの方針に基づいたかまで遡って確かめられる記録があるため、新しい使い道でも法務の審査が数週間ではなく数日で済むことです。

同じ与信モデルを入れる 2 つの銀行を思い浮かべてください。A 行は、判定できなければ断り、断った理由を毎回記録する作りです。そのため、顧客対応、与信審査、コンプライアンスの確認への展開を、一度の審査でまとめて承認できます。B 行は、チャット画面にガードレールを後から付けただけです。部署ごとに個別の承認が要ります。AI がなぜその判断をしたのか、あとから誰も示せないからです。A 行は展開を進め、B 行はまた会議を開きます。

この差は広がり続けます。コンプライアンスのガバナンスは、かつて自動テストがソフトウェア開発で「あって当たり前」になったのと同じ道をたどります。差をつける要素ではなく、世に出すための最低条件になります。持たない銀行は、監査だけでなく、AI が関わる規制業務のすべてで遅れます。新しく展開するたびに、「誰が説明責任を負うのか」という同じ問いに戻ってしまうからです。

業界は、1 本の線で二つに分かれます。ガバナンスの仕組みを自社で持つ銀行は、リリースのたびに AI でできることを積み上げられます。ガードレールをベンダーから借りている銀行は、そのベンダーの監査の予定に縛られ続けます。自社で持つとは、方針のロジックを自分で確かめ、直せることです。SaaS ベンダーの四半期ごとの更新を待つこととは違います。

金融業界では、フェイルクローズのガバナンスがあるかどうかが、AI を広げられるか、止めてしまうかの分かれ目です。各行はこの選択を、意識しているかどうかにかかわらず、もう済ませています。