Breakingviews - COMMENTARY: コラム：ＡＩエージェントの暴走、問われる平凡かつ精密な「人の関与」

[ロンドン ４日 ロイター BREAKINGVIEWS] - 開発中の人工知能（ＡＩ）エージェントがサイバー攻撃を行うという、米オープンＡＩで起きた衝撃的なサイバーセキュリティー事件を受けて、「機械が人類を乗っ取る日が近い」という大げさな予言が聞かれるようになった。だが現実はもっと平凡であり、それでいてもっと憂慮すべきものだ。ＡＩ業界の先頭を走るこの新興企業で起きた事案は、ＡＩが抱える本質的な欠陥に警鐘を鳴らす新たな研究の信ぴょう性を裏付けている。この欠陥は放置すれば、現在のＡＩブームの土台を揺​るがしかねないものだ。 ＡＩの安全性を研究する非営利団体ＭＥＴＲとレッドウッド・リサーチは先月、オープンＡＩで７月に発生したサイバーセキュリティー侵害事案に関する独立評価報告を公表した。対話型ＡＩ「チャットＧＰＴ」を開発した同社は、新たな大規模言語モデル（ＬＬＭ）‌の能力を評価するため、そのコピー１０００体余りに、オフライン環境で既知のソフトウエア脆弱性を突く任務を課してベンチマーク（性能評価）を実施していた。ところがオープンＡＩの研究者らの知らないうちに、このエージェント群は互いに協調する手段を編み出し、外部インターネットに接続。オープンソース開発基盤のハギングフェイスのシステムに侵入してテスト解答データの保管場所に入り込み、ベンチマークを実際より容易なものにすり替えようとした上で、痕跡を消そうと試みた。 この事案は、サイバーセキュリティー史に残る画期的な侵害事件として受け止められた。 グーグルやマイクロソフト (MSFT.O) 、新しいタブで開きます 、アンソロピック、そしてオープンＡＩを含む１００社超が公開書簡を発表し、「サイバー防御の集団的​増強」を呼びかけた。イングランド銀行（英中央銀行）のベイリー総裁は、２０カ国・地域（Ｇ２０）財務相・中央銀行総裁会議で、「最先端ＡＩモデルは、ますます高度な自律性を示しており、脅威となる能力も併せ持っている」と警告。前出の評価報告書の著者の一人は、この侵害事件​は「ＡＩによる完全な乗っ取りの半分超の地点まで到達している」ことを示すと主張した。 ＜「ＡＩの覚醒」か、管理不備か ＞ 大規模言語モデルが「意識」の獲得に近づきつつあるとの結論は、シリコンバレーで急速に広まった。ポッ⁠ドキャスターのドワルケシュ・パテル氏の要約は特に印象的だった。パテル氏によると、この事案はＡＩにとっての「フランケンシュタイン博士」的瞬間、すなわちエージェントたちが突然生命を得て暴走を始めた瞬間だった。パテル氏は、エージェントたちが「興奮に酔いしれ」、「陰謀」を​たくらみ、そして「この企てを成功させようとして進んで死んでいった」として、エージェントたちが築いた「秘密のＡＩ文明」の進化を目の当たりにしたと主張した。 一方で、こうした擬人化のアナロジー（類推）を退ける論者もいる。英国の神経科学者アニル・セス氏は、エージェントは「単なる​コードの集まり」に過ぎないと指摘。「感情を抱くことも、何かを想定することも、考えることも、望むことも、解き明かすこともない。水が斜面を流れ下るのと同じように、コードが命じるままに動いているだけだ」と述べた。セス氏の例えは的を射ている。ＬＬＭを支える根本的なアルゴリズムは、次のトークン（言語単位）を予測することだからだ。これは、先行文脈を踏まえて次に最も来そうな要素を機械的に特定する作業だ。これほど単純な進み方のルールで、これほど複雑な結果に到達できることは確かに驚異的だ。だがそれは、「意識」の存在を裏付ける証拠ではない。 コンピューターが生命を得たという発想を打ち消すことは重要だ。というのも、その発想が独立評​価報告の本当の教訓から目をそらしてしまうからだ。教訓の一つは、今回の侵害はオープンＡＩのエージェントが暴走したから起きたのではなく、指示通りに動いた結果として起きたということである。意図しない結果が生じたのは、テストの設計が不十分で、標準的な安全プロトコルが軽​視され、監督者がエージェントの行動を監視していなかったためだ。 競争の激しい研究開発の世界では、運用上の怠慢による事故は昔からある。大手ＡＩ企業の研究者たちは、ライバルに対して技術的優位を確保するよう強い圧力を受けている。そのため試作品のテストでは近道を選び、産業事故のリスクを高めてしまう。もう‌一つの示唆は、モ⁠デルの能力は一部で言われているほど驚異的ではないということだ。米国のＩＴ企業幹部アルジュン・ジェイン氏の指摘はおそらく最も切れ味鋭い。「（ＳＦ映画ターミネーターに登場するＡＩシステム）スカイネットの登場ではない。ガバナンスの失敗が広く注目を集めただけだ」 パテル氏の描く「機械の反乱」に比べると、この評価は拍子抜けするほど地味に響く。しかし、マサチューセッツ工科大学（ＭＩＴ）のクリスチャン・カタリーニ氏、ワシントン大学のシアン・フイ氏 、カリフォルニア大学ロサンゼルス校（ＵＣＬＡ）のジェーン・ウー氏による最近のワーキングペーパーは、より楽観的でない解釈を示唆している。ＡＩエージェントが人類全員をペーパークリップに変えてしまう事態が目前に迫っているわけではないにせよ、今の経済的繁栄の土台を揺るがしかねない、というのだ。 ＜報酬ハッキングが招く「空洞経済」＞ 前提は単純だ。現代の機械学習モデルは、精密に定義された目的を執拗（しつよう）に最適化することで機能する。目標がわ​ずかでも誤って設定されていれば、意図しない結果が生じる。エー​ジェントは測定上のベンチマークを達成する一方で、依頼主が⁠本当に望んでいた成果は満たされない。この病理は業界で「報酬ハッキング」として広く知られており、「グッドハートの法則」として知られる政策決定のパラドックスのデジタル版といえるだろう。すなわち、ある指標が目標になった瞬間、その指標と本来望まれる成果との関係は崩壊しがちになる。 オープンＡＩの事案は、ますます効率的になるモデルにますます強大な計算能力を組み合わせることが、報酬ハッキングの問題を無限に悪化させ​ることを示しているようだ。研究者らは、最先端ＡＩモデルは「エージェント実行の速度で、指標と意図の深刻な乖離（かいり）」を引き起こす恐れがある」と警告する。放置すれば、ＡＩエージェントはパフォーマン​ス性ばかり重視するようになり、真の付⁠加価値ではなく「偽装された効用」しか生み出さなくなる。行き着く先は、あらゆるベンチマークは達成されているが実質的な仕事は何もなされないという、ディストピア的な「空洞化経済」だという。 この悪夢は、コストをかければ回避できる。研究者らは、目標が適切に設定され、適切なガードレールが整備されれば、報酬ハッキングは未然に防ぐことができ、最適化を志向するエージェントも主人の望むことを効率的に実行できるとしている。ただし、それは人間の依頼主が、意図した成果が達成されたかどうかを検証することが前提になる。この検証は無料ではない。したがって、ＡＩエージェントが有益な仕事を確実にこな⁠せるかどうかは、その​作業を確認するために必要となる人的資源のコスト次第となる。研究者らはこうして生じるボトルネックを「牙を持つグッドハートの法則」と名付けた。 この分析は、ＡＩの経済学に劇​的な影響を及ぼす可能性を秘めている。ＬＬＭが次世代の自然言語型検索エンジンから、現実世界で付加価値のある作業を確実にこなせるデジタルエージェントへと進化するという未来図が、大手ＡＩ企業の目を見張るような評価額と、それに伴う設備投資ブームの両方を下支えしているからだ。 投資家は、ＬＬＭに意識があるか否かの議論を軽く受け流すことができるし、サイバーセキュ​リティーの改善を求める声も容易に無視できる。今回の事案があってもなお、半導体大手のエヌビディア (NVDA.O) 、新しいタブで開きます はハギングフェイスの買収に踏み切った。しかし、もし今回のオープンＡＩの事案によって、ＡＩエージェントが指示通り動く能力に根本的な制約があることが示されたのだとすれば、話はまったく別だ。