⏩ 想定される8つの惨事シナリオ、背景にあるのは "ダーウィニズム" の論理
⏩ 著名投資家や研究者、危機を煽ることは「カルト的」とも批判
⏩ 人類滅亡ではなく米中対立に注目する論も
5月30日（現地時間）、AI 業界大手のトップたちが、自らが構築している AI 技術はいつか人類に存亡の危機をもたらす可能性があり、パンデミックや核戦争と同等の社会的リスクとみなすべきだと、警告した。
彼らは、非営利団体の Center for AI Safety（CAIS）が発表した声明において、
AI による絶滅のリスクを軽減することは、パンデミックや核戦争といった他の社会的規模のリスクと並んで世界的な優先事項であるべきだ
と記している。同団体のダン・ヘンドリクス事務局長は、この公開書簡について、テクノロジーのリスクについて懸念を抱えていた一部の業界リーダーたちによる「カミングアウト」を意味すると述べる。
そのリーダーたちには、OpenAI のサム・アルトマンCEO、Deep Mind（Google 傘下）のデミス・ハッサビスCEO などテック企業の大物をはじめ、「AI の父」と呼ばれるジェフリー・ヒントン博士、モントリオール大学のヨシュア・ベンジオ教授らが含まれる。
しかし、彼らの見方に同意しない人々も少なくない。もう1人の「AI の父」であり、Meta（旧 Facebook）の主任 AI 研究員を務めるヤン・ルカン氏は、「こうした予言に対する AI 研究者の最も一般的な反応は、やれやれと手で顔を覆うことだ」とツイートした。また、著名投資家のマーク・アンドリーセン氏は、AI による絶滅を煽る行動が「カルト的」だと指摘する。本記事では、こうした反論についても後段で見ていく。
なぜ、業界のリーダーや研究者たちは AI が危機をもたらすと考えているのだろうか？また、なぜこうした懸念に批判的な人々も存在しているのだろうか？そして、今回の声明によって AI への規制は進むのだろうか？
8つの惨事シナリオ
今回の声明を発表した CAIS は、AI の進化によって、最終的に人類の存続に関わるリスクを引き起こす可能性があると指摘する。そのうえで、以下のような8つの「大規模なリスク」が、 ”より高度になった AI” によって引き起こされるという。
-
兵器化：悪意のある攻撃者が AI を別の目的で利用することで、AI は非常に破壊的になりうる。こうした具体例として、AI に核兵器をコントロールされる可能性や、医薬品開発 AI を化学兵器の製造に悪用される可能性があげられる。
-
誤情報：AI によって生成された誤った情報や、説得力のあるコンテンツが氾濫すると、社会は重要な課題への対処能力を失う可能性がある。たとえば先月、米・国防総省の近くで爆発が起きたとする偽の画像が拡散し、一時、株価下落の騒ぎに発展した。画像は AI によって生成されたと見られており、このリスクにあてはまる事例と言えそうだ。
-
プロキシ・ゲーム：誤った目標を設定してトレーニングされた AI は、個人や社会の価値観を犠牲にして、自身の目標を追求しようとする可能性がある。先月、米国の軍事シミュレーションで、AI がミッション達成の妨げとなるオペレーターを殺害した、と公表された（のちに、これは仮説的な実験についてのコメントで、実際にシミュレーションはされなかったと判明している）。
-
衰退：重要なタスクがますます機械に委任されると、衰退が発生する可能性がある。この状況では、映画『ウォーリー』で描かれたシナリオと同様に、人類は自治能力を失い、機械に完全に依存する。たとえば先月初め、米・IBM は、約7,800人の職が AI によって置き換わる可能性があるとし、一部職種の採用を一時停止する見通しを発表した。
-
価値観の囲い込み（value lock-in）：高度で有能なシステムは、少数の人々に多大な権力を与え、抑圧的なシステムの囲い込みにつながる可能性がある。昨年、中国の研究者たちが、中国共産党に対する国民の忠誠度を測定できる AI を開発した、と報じられた（のちに国民の抗議を受けて削除されたという）。
ただ、この点については、価値観が囲い込まれることそれ自体というよりもむしろ、中国による「抑圧的なシステム」のような、西側のものと相容れない種類の価値観の浸透が警戒されている。 -
新たな目標：モデルは、より有能になるにつれて予期しない動作を示す。予想もつかない機能や目標の出現により、人間が AI システムを制御できなくなるリスクが高まるかもしれない。
