⏩ 技術・倫理・神学・政治神学・効果的加速主義という5つの視点から反論
⏩ 現在世代を軽視するという懸念から、規制が別のリスクを生むという批判も
⏩ 超知能AIを作らない方が人類は絶滅するというアイデアまで登場
前回までの記事で、AI による人類滅亡論の具体的な中身と、そうした議論を支える思想的な背景として効果的利他主義や長期主義を紹介し、彼らが企業戦略や政策ネットワークに至るまで浸透していることを概観してきた。
ただ、効果的利他主義や長期主義といった思想が、現実の企業戦略や公共政策を動かす力を持つならば、その前提と正統性そのものが厳しく問われることになる。彼らの思想や振る舞いに対しては、どのような反論があるのだろうか？
5つの反論
滅亡論やそれを支える思想は多くの人々を困惑させると同時に、物議を醸してきた。具体的には、以下のような5つの視点から反論が寄せられている。
（1）技術的批判
（2）倫理的批判
（3）神学的批判
（4）政治神学的批判
（5）効果的加速主義的批判
（1）技術的批判
第一に、技術的な視点からの批判があげられる。これは、現在の AI が全く危険がないという趣旨ではなく、昨今の AI 開発がそのまま人類を滅亡させる超知能へ進化するという議論には、技術的な飛躍があるのではないか、とする批判だ（太字は引用者による。以下同様）。
この種の批判は大きく三つあり、具体的にはスケーリングの限界、機械学習の仕組み、能力と権力の区別に分けられる。
スケーリングの限界
一つ目が、スケーリングの限界だ。現在の AI 開発の前提になっているのは、膨大なデータと計算資源の投入でモデルの性能が進化し続けるという、スケーリング則だった。
EA の中心人物であるトビー・オードは、AI による存亡リスク論の代表的な論者だが、近年の開発状況が直接的な脅威となるかについては、慎重な見方を示している。オードによれば、現在の AI の性能は、人間が書いたテキストによって人間レベルへ引き上げられてきたが、その訓練データ自体が人間の産物である以上、「何らかの新しいアプローチがなければ、各分野で最も優れた人間のパフォーマンスを超えられない」可能性もある。
これは、AI の進化が止まるという意味ではないが、現在の方法の延長線上で計算資源を増やせば、そのまま滑らかに超知能へ到達するという見方には慎重になる必要がある、という見方だ。
機械学習の仕組み
二つ目に、現在の機械学習の仕組みから、長期的に世界を乗っ取るような AI が自然に生まれるとは限らない、という批判があげられる。
Google DeepMind の安全・アライメント部門の責任者であるロヒン・シャーは、現在の機械学習によって作られた AI が危険になると考える決定的な理由も、安全になると考える決定的な理由も、まだ十分には示されていないと指摘する。
シャーが注目するのは、AI の振る舞いを観察するだけでは、内部の価値観を確かめにくいという点だ。
たとえば、開発者が AI に対して、人間の役に立つ答えを出すほど高く評価するというルールを与えたとする。このルールは一見正しいが、訓練の結果完成した AI が、本当に ”人間の役に立つこと” を目指しているとは限らない。実際には、”人間に高く評価されそうな答えを出すこと” に最適化されているだけかもしれない。
問題は、外から見た時に、両者の違いが分かりにくいことだ。すなわち、AI が親切で確からしい答えを出している時、それは本当に人間の役に立とうとしているからかもしれないし、単に評価されやすい答え方をしているだけかもしれない。どちらであっても、AI の振る舞いは同じに見えるため、AI の価値観を理解することは難しいというわけだ。
この説明だけを見れば、シャーの議論は滅亡論に近いようにも見える。滅亡論者が警戒するのは、AI が人間の価値観を正しく理解できず、悪意なく人間を滅ぼすというリスクだった。
しかし、シャーの批判はよりニュアンスに富んでいる。彼によれば、現在の AI は、訓練の中で短期的に人間に評価されやすい振る舞いを学ぶことはあるが、それがそのまま、何年にもわたって隠された計画を持ち、人間社会の制度やインフラを利用するような長期目標につながるとは限らない。少なくとも、現在の学習方法からそのような主体が自然に生まれると断言するには、まだ説得力のある説明が足りないというわけだ。
すなわちシャーの議論は、AI の安全性に問題がないという反論ではない。むしろ、AI の内部を完全に把握することは難しいと認めつつも、滅亡論が想定するようなシナリオを、現在の技術から一直線に導くことはできない、という批判だ。
能力と権力の区別
三つ目として、能力と権力の区別に基づく批判があげられる。すなわち、いかに能力が高い存在であっても、権力を手にしなければ人類を支配することは難しいという指摘だ。
プリンストン大学のアルヴィンド・ナラヤナンとサヤシュ・カプールによれば、ペーパークリップ・マキシマイザーの思考実験（高度に発達した AI が宇宙にあるペーパークリップの数を最大化する目標を与えられ、そのために人間を含めたあらゆる資源をペーパークリップかその製造装置に変換し、人類を滅亡させるというシナリオ）には問題がある。
この主張の最大の問題点は、エージェントを途方もなく高性能でありながら、要求がいかにばかげたものであるかを理解するだけの常識は微塵も備えていない存在と仮定し、プロンプトをどこまでも文字通りに解釈して、それにより人類が危機にさらされるという事実に気づかないと考えていることだ。（略）このような極端な行動をとるエージェントが、誰かに対して権力を掌握できるほど知的だとは思えないし、ましてや全人類を支配することなどありえない。というより、こんなエージェントは実世界では5分ともたないだろう。「できるだけ早く」店で電球をゲットしてきて、と頼まれたら、このエージェントは交通規則を無視し、事故のリスクを高めるだろう。もちろん社会規範も無視し、レジの列に平気で割り込むだろう。そもそも代金を支払うことさえ無駄だと判断するかもしれない。こんな代物はあっという間にシャットダウンされるに決まっている。（ナラヤナン&カプール『AI過大評価社会』2026:219-220）
ナラヤナンとカプールの強調点は、AI がどれほど知的に見えるかではなく、それが現実の環境を変えるために、どれほどの権力を持つかということだ。「ごく基本的なタスクでさえ、実世界で自律的かつ実用的な形で完了するには、常識と判断力、目標と下位目標を疑う能力、コマンドの文字通りの解釈を拒む能力が必要」であり、そうでなければ、そうしたエージェントが権力を掌握したり、人類を支配することはできない（前掲書、220）。
このように、技術的批判は、AI の危険性そのものを否定するというより、現在の技術が人間を超える知能、自律的な長期目標の保持、社会的な権力の獲得へと一直線につながるという滅亡論の想定には、まだ埋められていない飛躍があると指摘している。
（2）倫理的批判
第二に、倫理的批判があげられる。エディンバラ大学のシャノン・ヴァローは、EA や長期主義が、差し迫った喫緊の課題から目をそむけさせるとして、次のように非難している。
長期主義および効果的利他主義とシンガー〔引用者註：EA の思想に大きな影響を与えた哲学者のピーター・シンガー〕の共通点は、道徳とは幸福の最適化の問題、数字上の計算の問題だとする功利主義的な捉え方にある。（略）私のように徳倫理学を扱う者としては、人間らしい感情や関係性の結びつき、社会的文脈などから道徳を切り離し、幸福量を数字ではじき出す類の道徳観には、深刻な脅威と道徳的誤りがあるとみる。（ヴァロー『AIという名の鏡』2026:120-121）
すなわち、ヴァローは、長期主義が未来の膨大な存在していない人口を計算に入れることで、現在の世代や次の世代が直面している貧困、差別、ケアの不足、気候危機、労働搾取といった問題が考慮外とされたり、優先的に取り組むべき課題として扱われなくなるという懸念を示している。
加えてヴァローによる批判からは、既存の権力構造を温存するという点も示唆される。前述したように、長期主義コミュニティが業界や政界に人材や資本を投入している点を踏まえれば、未来を語る権力が一部の企業・技術者・投資家・政治家にさらに集中するという批判だ。
ヴァローは、まだ存在しない AGI が人類を支配することではなく、現在の AI が人間の偏見、欲望、権力構造を反映しながら、それをあたかも客観的な知性であるかのように見せてしまうことの方が危険だと指摘している。
（3）神学的批判
三つ目は、神学的批判だ。この種の批判にとって示唆的なのが、ローマ教皇レオ14世が2026年5月に発表した初の回勅・ Magnifica Humanitas（偉大な人類の意味）だろう。
「AI の時代における人間の保護」を主題に掲げた同回勅は、滅亡論や長期主義に直接言及しているわけではないが、それらが “人類を守る” という言葉を使うとき、そこで想定されている人間とは誰なのか、何を守ることが人間を守ることなのかを問う意味で、示唆的な文書だ。
ローマ教皇レオ14世（Edgar Beltrán, The Pillar, CC BY-SA 4.0）
教皇は、「人工的な道徳エージェント」という言葉に触れながら、機械が人間よりも一貫して善悪を判断できるかのように語る風潮に疑問を呈し、次のように指摘する。
時に「人工的な道徳エージェント」という言葉が使われることがありますが、まるで機械が人間よりも一貫して善悪を区別できるかのように語られることがあります。しかし、道徳的判断は計算に還元できるものではありません。なぜなら、道徳的判断には良心、個人的責任、そして他者を人間として認識することが含まれるからです。
この指摘は、自律型兵器や戦争における AI による意思決定を念頭に置いたもので、致死的あるいは不可逆的な決定を AI に委ねることは許容できない、という趣旨で述べられている。
ただこの批判は、戦争の文脈に限らず、滅亡論や長期主義のような考えにも向けられるだろう。すでに触れてきたように、これらの思想は、道徳を計算問題として扱い、未来に存在するかもしれない膨大な数の人々、存亡リスクの確率、文明が存続した場合に生まれる価値の総量などを見積もり、そこから現在の政策や資源配分の優先順位を導き出そうとする。
したがって、回勅は AI を全面的に否定したり、危険性を矮小化するという類のものではない。むしろ ”人類を守る” という名のもとに、道徳的な判断を確率、期待値、最適化といった問題へと還元していないかに疑問を呈していると言える。AI が人間の判断を置き換えることに加え、AI を恐れ、AI を制御しようとする人間たち自身が、道徳的な判断を計算可能なものとして扱うことにも警鐘を鳴らす内容だと理解できる。
ここまでの批判は、AI の進化を認めつつ、その規制の重要性を示唆するような内容だったが、次に見る二種類の批判は、規制の危険性を非難するものだ。
（4）政治神学的批判
第四に、政治神学的批判があげられる。ピーター・ティールによって展開されているこの種の批判は、AI による存亡リスクを訴える人々こそが、終末の恐怖を利用して技術開発を止め、世界規模の統制を正当化しているのではないか、という趣旨だ。
ピーター・ティール（Gage Skidmore, CC BY-SA 2.0）
Reason 誌によれば、ティールは2025年秋にサンフランシスコでおこなった講演の中で、ユドコウスキー、ボストロム、グレタ・トゥーンベリのような人々を、科学技術を止めるために世界政府を求める「アンチキリスト（反キリスト）の手先」と位置づけた。
さらにティールは、2026年6月末にコロラド州でおこなわれた非公開の講演で、前述した教皇レオ14世による AI の規制を促すようなメッセージは、彼が意図せず「中国共産党のために働いている」ことを意味するとまで述べている。（言うまでもなく、教皇が反キリストの側に属することを示唆するような、不可解な発言だ）
ティールの世界観では、アンチキリストとは、露骨な悪や混乱をもたらす人物ではなく、平和、安全、人類の保護といったもっともらしい言葉を掲げながら、最終的には世界を一つの統治体制へまとめ上げる存在とされる（*1）。すなわち、気候変動や AI のような存亡リスクを語り続けることで力を得るような政治的・思想的リーダーを、ティールはアンチキリスト（の手先）と呼んでいる。
この批判が、滅亡論や長期主義に向けられる理由は明確だ。滅亡論者は、人類滅亡という極端なリスクを避けるために、AI 開発の停止、計算資源の管理、国際協定、監視、強制力を伴う規制を求めることがある。冒頭で触れたユドコウスキーのように、データセンター破壊に言及する者もいる。
ティールから見れば、ここに倒錯がある。人類滅亡という最大級の恐怖が語られることで、通常なら拒否されるはずの監視、規制、国際的な強制力、技術開発の停止が、道徳的に正当化されることに、彼は警戒感を示しているのだ。ティールは、2026年春に文藝春秋でおこなわれた、歴史人口学者エマニュエル・トッドとの対談の中で、次のように述べている。
私は、テクノロジーや環境問題といったリスクを過小評価しているわけではありません。（略）しかし私が強調したいのは、こうしたリスクを考えるなら、私たちはもう一つの非常に危険で深刻なリスクも考えるべきだということです。それは私が「全地球的な全体主義国家のリスク」と呼ぶものです。すなわち、全世界を支配する独裁的な政府が生まれ、地球全体を逃れられない監獄に変えてしまうリスクです。
このようにティールは、AI 規制をめぐる議論を、単なる政策論としてではなく、終末、救済、偽りの救世主、世界政府、アンチキリストをめぐる物語として読み替えている。
（*1）ティールとアンチキリスト、シリコンバレーにおける信仰復興といった文脈の詳細については以下を参照。柳澤田実（2025）「米国の終末論の現在 : ピーター・ティールや福音派はどのような『最後』のために戦っているのか」『現代思想』53(14), pp.79-90.
（5）効果的加速主義的批判
そして第五の批判は、効果的加速主義の視点から与えられている。技術的批判が AI は滅亡論者が考えるほど簡単に超知能へ至らないと指摘し、神学的批判が人類を守るという言葉の中で、人間の尊厳が見失われていないかと問うのに対し、効果的加速主義はより正面から、AI 開発を止めるべきではないと主張する。
効果的加速主義（effective accelerationism、e/acc）は、もともと効果的利他主義への対抗として広まった思想的・ミーム的運動だ。e/acc の支持者たちは、AI を危険で予測不能なものとして規制すべきだとする見方への反発から、自らを減速主義者（decels）に対抗する存在と位置づける。創始者の一人として知られる Beff Jezos ことギヨーム・ヴェルドンは、e/acc を「ミーム的な楽観主義ウイルス」と表現している。
彼らは、社会の改革のためにイノベーションと資本主義を最大限推し進める必要がある、という考えを強調する。e/acc を強く打ち出す著名投資家のマーク・アンドリーセンは「市場システムにおける技術革新は、本質的に慈善的」だとしたうえで、テクノロジーで加速した自由市場こそ、最も効果的に社会問題を解決できると主張し、効果的利他主義を暗に否定する。
この見方からすれば、AI による人類滅亡論は警鐘であるどころか、人類の進歩を妨げる危険な悲観論となる。アンドリーセンは、技術への恐怖、規制、リスク管理、持続可能性、社会的責任、脱成長といった言葉が、しばしば進歩への敵意として機能していると批判する。彼にとって、AI を加速させることは病気を治し、教育を広げ、生産性を高め、貧困を減らし、人間の可能性を拡張するための道徳的な義務と言える。
「超知能AIを作らなければ人類は絶滅する」？
似たような見方は、哲学者からも示唆されている。滅亡論を唱えたことで名を馳せたニック・ボストロムは、2026年に公開したペーパーの中で次のように述べている。
エリーザー・ユドコウスキーとネイト・ソアレスは、近著『超知能AIをつくれば人類は絶滅する』の中で、諸国家は高度なAIとそれを支える計算インフラ、そして改良されたAIアルゴリズムの研究に対して、世界的な禁止措置を執行すべきだと主張している。これらの著者は、人類の価値観に整合した超知能AIの見通しについて極めて悲観的であり、その到来をほぼ確実な破滅と見なしている。
（略）
しかし、健全な政策分析においては、あらゆる新興技術のリスクと同時に、潜在的な便益も秤にかけなければならない。ユドコウスキーとソアレスは、誰かがAGIを作れば全員が死ぬと主張する。だが、「誰もそれを作らなければ、全員が死ぬ」とも同様に主張できる。事実、人類の大部分はすでに死んでいる。生き残っている我々も、あと数十年もすれば同じ道をたどる運命にある。高齢者や重病を患う人々など、多くの個人にとって、その終わりはさらに間近に迫っている。超知能がもたらす約束の一部は、この状況を根本から変える可能性があるということだ。
すなわち、超知能をつくるリスクだけでなく、つくらないことのリスクも考慮すべきだ、とボストロムは主張する。Wired 誌のスティーブン・レヴィーが紹介するように、ボストロムの立場は、AI が人類を滅ぼすわずかな可能性があっても、それが人類を「普遍的な死刑宣告」から解放しうるなら、そのリスクを引き受ける価値があるかもしれないというものだ。
ボストロムの議論は、滅亡論と効果的加速主義が必ずしも単純な対立ではないことを示唆している。AI が人類を滅ぼすかもしれないから停止すべきだ、という議論がある一方で、AI を進化させなければ、人類は老い、病、死、労働、貧困、知的制約から逃れられないかもしれず、技術を進化させないこともまた道徳的な賭けになるという考え方もある（*2）。
その意味で、効果的加速主義が滅亡論に突きつけているのは、AI を停止することは本当に人類を守ることなのか、という問いだ。
誰が開発を続ける資格を持つのか？
これまで触れてきたように、AI 滅亡論は、未来の破局を予測する言説であると同時に、現在の意思決定を動かしている言説でもある。存亡リスクを重視すれば、規制や監視、計算資源の管理、安全保障政策、国際協定への圧力が強まる。一方で、開発の加速を重視すれば、規制緩和、資本投入、モデル開発競争、産業政策の推進が正当化される。倫理的・神学的批判は、どちらの側にも、人間の尊厳や現在世代への責任を見失う危うさがあると警告している。
したがって、この論争は AI が本当に人類を滅ぼすかどうかだけをめぐるものではない。
誰がリスクを定義し、誰が安全性の基準を決め、誰が開発を続ける資格を持ち、誰がそのコストを負担するのか、場合によってはどの社会課題を後回しにするのかをめぐる権力配分の問題でもある。AI をめぐる思想は、もはや思想にとどまらず、規制、投資、産業政策、企業戦略を動かす鍵になっているのだ。
（*2）こうした考え方を示したことによって、ボストロムが効果的加速主義者になったとか、滅亡論を否定したものとして理解することには慎重になる必要がある。彼は依然として、AI の安全性や倫理的統治を重視しているし、Wired 誌の2026年のインタビューにおいて、自らを「心配性の楽観主義者」と呼んでいる。2024年の著書・Deep Utopia では、AI が失敗したらどうなるかではなく、AI が成功し、人間の労働が実用上不要になるほど豊かな世界が訪れたら、そこで人間はどのように意味を見いだすのかという問題に取り組んでいる。したがって、AI が進化した未来の最もネガティブな側面について考察したのが2014年の著作『スーパーインテリジェンス』であり、最もポジティブな側面を考察したのが2024年の書籍や2026年のペーパーだと理解できる。
赤羽秀太
.png){kind=link}