⏩ Anthropic は自分たちの成功とAIの安全が結びつくほど世界はよくなると発想
⏩ 数万年後の人類を気にかける長期主義という哲学が背景に
⏩ 哲学思想を軸に政界・業界・学術界・シンクタンクが融合
前回の記事では、AI による人類滅亡論の概要と提唱者を概観したうえで、OpenAI や Anthropic の開発者たちがいかに AI を制御しようと試みているかを見てきた。
しかし、それほど脅威を心配するのであれば、AI の開発を今すぐ止めるべきではないか、という疑問が浮上する。実際、強硬な滅亡論者であるエリーザー・ユドコウスキーは、今すぐ全世界で協定を結んで AI の訓練を停止すべきだとしたうえで、協定に違反する「ならず者のデータセンターを空爆して破壊する覚悟」があるとさえ語っている（太字は引用者による。以下同様）。
それにもかかわらず、安全な AI 開発を唱える Anthropic でさえ、開発の手を緩めるどころか世界最先端のモデル開発に邁進している。2026年6月に、同社が公開した最新モデル・Fable 5 は、わずか数日で国家安全保障上の懸念から政府による停止命令を受けた（現地時間7月1日からアクセスを再開）。
なぜ、AI の巨人たちはリスクを承知で、AI の開発を止めないのだろうか。中国との競争に勝つことや AI の進化に伴うより豊かな世界の追求といった理由の他、恐怖心を煽り自社技術の力強さを示すためのマーケ戦略ではないかとする声もある。
この一見矛盾する姿勢を理解するためには、より根深い思想的な背景をおさえる必要がある。
詳細は後述するが、リスクを語りつつ開発を続けるフロントランナーたちは、効果的利他主義や長期主義といった哲学的な思想を支えにしている。そして、これらの思想は単なる学術界の議論にとどまらず、実際に政界・産業界で力を持ち、世界を駆動させるキーマンたちの意思決定に影響を与えている。
AI による人類滅亡論やそれへの対応を支える倫理とは何で、政界や産業界にどのように波及し、彼らの振る舞いに影響を与えているのだろうか？
テクノ・フィランソロピー・学術複合体
AI による人類滅亡に対処するための思想は、効果的利他主義やそれから派生した長期主義によって定式化される。
これらの思想は、難解で独特な言葉遣いをする哲学者たちが、大学の中でのみ交わしている話ではない。たしかに、哲学者たちは効果的利他主義の定義や適用範囲をめぐって議論を交わしているが、その言説は明らかに大学を超えて、政界や AI 業界の大物たちに影響を与えている。
シリコンバレーで力を持つ思想と慈善（フィランソロピー）による資本、AI 業界、大学研究機関、政策シンクタンク、政府機関が、資金、人材、問題設定を共有しながら結びついたネットワークが形成されており、それはテクノ・フィランソロピー・学術複合体と呼ぶにふさわしい存在だ。
効果的利他主義
滅亡論への対処を支える中核的な思想として、効果的利他主義（Effective Altruism、以下 EA と表記）があげられる。
EA を推進してきた哲学者のウィリアム・マッカスキルは、この概念を「効果的」と「利他主義」に分解できると語る。「効果的」というのは「手持ちの資源でできるかぎりのよいことを行なうという意味」で、「利他主義」というのは「ほかの人々の生活を向上させるという意味」だ（*1）。
そうした考えのもと、EA は、同情や思いやり、地理的な近さなどではなく、理性や科学的証拠に基づいて最も大きな善をおこなうこと（代表的な例として寄付）を奨励している。
EA の取り組みの中でも有名な例は、どのくらい効率的に多くの命を救えるかという ”費用対効果” によって慈善団体をランク付けした GiveWell（2007年設立）だろう。
ヘッジファンド出身のホールデン・カーノフスキー（後述）らによって設立された同団体は、「証拠と分析に裏付けられた」インパクトの大きい慈善団体を「トップ・チャリティー」と名付けてリスト化し、それぞれの団体が1人の命を救うのに何ドルかかるか計算している。マラリア予防薬を提供するプログラムの「推定平均費用対効果は、救われる1つの命につき4,000ドル」といった具合だ。
EA は当初、途上国の貧困のような問題に取り組んでいたが、その関心領域は移り変わってきた。
（*1）マッカスキルが提唱するより学術的な定義については以下を参照。MacAskill, W. (2019) 'The Definition of Effective Altruism', in Hilary Greaves and Theron Pummer (eds), Effective Altruism: Philosophical Issues, Oxford University Press.
AI 業界への影響
EA の支持者たちにとって、「手持ちの資源で最大の善をなす」という原則に照らすと、彼らの関心は “どの寄付先か” だけでなく ”どの問題が最も重要か” でもある。
その中で、確率は低くとも影響が人類全体に及ぶ問題（AI による存亡リスク）は、期待値で考えれば優先的な課題として浮上し、一部の EA 支持者の重心はより長期的な課題へと移ってきた（*2）。
EA の支持者たちは AI による滅亡論にいち早く触れてきた人々だったため、そのコミュニティにいた多くの若者が AI の安全性研究というキャリアを選択した。結果として、世界中の AI 企業や研究所に EA の影響が色濃く見られるという状況が形成されている。2023年に OpenAI のサム・アルトマンCEO の追放を主導した取締役も、EA 関連組織の人物だった。
EA の影響が特に色濃く反映されている組織が Anthropic だ（*3）。同社のダリオ・アモデイCEO によれば、富裕層は AI による格差拡大に対応する「義務」があるとして、共同創業者全員が資産の80%を寄付する誓約をしている。
また、同社の初期投資家には、EA の支持者として知られるヤーン・タリン（Skype 共同創業者）、ダスティン・モスコヴィッツ（Facebook 共同創業者）、サム・バンクマン＝フリード（FTX 創業者、2023年に詐欺罪などで有罪判決）などがいる（*4）。アモデイCEO の妹で、同社社長のダニエラ・アモデイは、EA 運動の先駆的な人物であるホールデン・カーノフスキー（GiveWell 共同設立者、元 OpenAI 取締役、現 Anthropic 技術スタッフ）と結婚している。
ホールデン・カーノフスキー（Noah Berger/Open Philanthropy, CC BY-SA 4.0）
そして、彼らが危険を承知で高度な AI 開発を続ける理由は、EA の考え方を通してより明確になる。
（*2）EA の旗振り役として著名なマッカスキルが、長期主義（後述）へ自身の立ち場を変化させた経緯については、以下を参照。ウィリアム・マッカスキル（2024）『見えない未来を変える「いま」 〈長期主義〉倫理学のフレームワーク』（千葉敏生訳）みすず書房。
（*3）2025年の Wired 誌のインタビューで、社長のダニエラ・アモデイは「私は効果的利他主義の専門家ではありません。その用語には共感できません。少し時代遅れの用語だという印象です」と答え、同社と EA につながりがないことを示唆している。EA が抱える評判の悪さから距離を取るためのコミュニケーションあるいはブランド戦略かもしれないが、Anthropic と EA コミュニティに深いつながりがあることは明らかだろう。
（*4）バンクマン＝フリードが、マッカスキルと出会い EA へ共鳴していった経緯については、以下を参照。マイケル・ルイス（2024）『1兆円を盗んだ男 仮想通貨帝国FTXの崩壊』（小林啓倫訳）日経BP。
「頂点への競争」
アモデイCEO は AI の開発を飛行機の運用にたとえている。すなわち、文明が崩壊する確率が 10-25% というのは確かに無視できない数字で、墜落する確率が 10-25% の飛行機に乗りたがる人はいないだろう。だからこそ同CEO は、「（自分たちが）その確率をできるだけ下げようとしているのです」と話す。
Anthropic の共同創業者でポリシー責任者を務めるジャック・クラークは、次のように話している。
市場は実利的なので、Anthropic が企業として成功するほど、人々が私たちの成功の要因を真似しようとするインセンティブが生まれます。そして、その成功が私たちの安全対策と結びついているほど、業界の中に引力が生まれ、他の部分にも競争をもたらします。それはまるで「私たちがシートベルトを作るから、みんながそれをコピーできるようにする」という感じです。それはよいことです。それはよい世界です。
彼らは、この動きを底辺への競争の逆の「頂点への競争」（A race to the top）と呼んでいる。底辺への競争とは、国家が企業誘致のために環境や労働規制を緩和し続けた結果、自然環境や社会福祉が最低水準へ向かう現象を指している。したがって、頂点への競争は、Anthropic が講じている安全対策を他の企業も導入することで、業界全体の AI 安全水準が高まっていく状態を想定している。
OpenAI 元理事のヘレン・トナーは、Anthropic の「世界観」について、強力な AI を魔法の宝物と危険な怪物が共存する森に喩えて説明している（*5）。
1. 森には巨大で危険なモンスターがいる。
2. 他の人たちがやって来て大きな音を立ててモンスターを刺激しているのが見えるが、森には宝物や魔法の品がたくさんあるので、彼らは止まらないだろう。
3. 私たちができる最善の助け方は、他の誰よりも速く、より深くまで森の奥へ進む先遣隊を送ることだと信じている。なぜなら、私たちはモンスターの封じ込めと調教に莫大な費用をかけ、町の人々が準備できるように、見つけたモンスターの詳細な報告書も送り返すからだ。
このように、Anthropic は自分たちの成功が、業界全体ひいては世界の安全につながるという意味で「効果的」だと考えているようだ。共同創業者の一人であるサム・マッキャンドリッシュは、「私たちは誰も会社を設立したいと思っていたわけではありません。ただ、それが私たちの義務だと感じたのです」と語る。
では、その義務とは、いったい誰に対するものなのだろうか。彼らが見据える相手は、現在を生きている人々だけではない。その考えを支えているのが、EA から派生した長期主義（Longtermism）という思想だ。
（*5）トナーは、ジョージタウン大学セキュリティおよび新興技術センター（CSET）の所属。CSET は、前述したカーノフスキーが設立した非営利組織 Open Philanthropy（現 Coefficient Giving）などから資金を得て創設された。
長期主義
単純に言えば、効果的利他主義が地理的な遠近（場所）を超えようという発想だとすると、長期主義はその時間バージョンと理解できる（*6）。現在は長期主義の提唱であるウィリアム・マッカスキルは、それを「未来にプラスの影響を与えることが、現代の重要な道徳的優先事項であるという考え」と説明している（*7）。
ここで言う「未来」は、数十年から100年というより、数千年後や数百万年後という規模が想定されている。そうした想定のもとで重要なポイントは、まだ存在が確定していない人類の数が膨大だということだ。長期主義者は、哲学者のデレク・パーフィットによる次の記述を引き合いに出しながら、そうした人々の利益を気にかけるべき理由を説明する。
私の信ずるところでは、もしわれわれが人類を滅亡させるならば——現在それは可能なのだが——この結果はほとんどの人々が考えているよりもずっと悪いものである。次の三つの結果を比べてみよう。
（1）平和
（2）世界の現存の人口の九十九パーセントを殺す核戦争
（3）百パーセントを殺す戦争
（2）は（1）よりも悪く、（3）は（2）よりも悪い。この二つの差のうちどちらが大きいだろうか？ほとんどの人は（1）と（2）の間の差の方が大きいと信じている。私は（2）と（3）の間の方がはるかに大きいと信じている。（デレク・パーフィット『理由と人格——非人格性の倫理へ』1998:615）
パーフィットが、世界人口の 99% を死亡させる事態よりも絶滅の方が悪いと考える理由は、絶滅が現在の世界の80億人だけでなく、将来的に生まれてくるはずだったすべての人々の誕生も妨げるからだ。
デレク・パーフィット（Anna Riedl, CC BY-SA 4.0）
一般的に、哺乳類の種全体としての寿命は100万年と言われており、人類は誕生してから約20万年が経過している。そして、人口統計学者のトシコ・カネダとカール・ハウブの計算では、これまで誕生した人類の総人口は約1,170億人と推定されている。
そのうえで、非営利団体・Our World in Data のマックス・ローザーは、国連の予想通り世界人口が110億人で安定し、平均寿命が88歳に延び、人類がさらに80万年存続すれば、今後80万年の間に誕生する人類の総人口は、100兆人に達する可能性があると推定している。
これらの推定を合わせれば、人類が種として寿命を全うするまでの間に誕生する人口のうち、約 99.9% はまだ生まれていないということになる。したがって、滅亡は将来生まれてくるはずのとてつもない数の存在をなきものにするため、人類は優先してその回避に向けて努力する義務がある（と長期主義者は考える）（*8）。
そして、人類の存亡に関わる問題を優先事項として扱うべきという考えは、政治的立場へと接続される。すなわち、寄付する際に、どの慈善団体に寄付するのがよいのかという個人レベルの議論ではなく、政府や国際機関による政策の優先順位付けやリソースの配分といった問題も、はるか遠い未来を優先的に考慮して決定すべきという立場が導かれる。
（*6）長期主義のより学術的な定義については下記を参照。G.D. O’Brien. (2024) ‘The Case for Animal-Inclusive Longtermism’, Journal of Moral Philosophy, 22(3-4), pp.336–359.
（*7）長期主義者の中には、夕食時の会話の話題選択といった日常のありふれた決定でさえ、遠い将来の価値を追求するよう行うべきだとする者さえおり、そうしたアイデアは「日々の長期主義」（everyday longtermism）と呼ばれる。
（*8）パーフィットは晩年の著作で「今や一番重要なことは、われわれが人類史を終わらせるのを避けることだ」と結論づけている（パーフィット『重要なことについて 第2巻』2024:654）。なお、まだ存在していない将来世代の人々の価値を現在世代の価値と同じように考えるべきかについては、専門家の間でも議論が続いている。関連する学術的な議論については以下を参照。マッカスキル前掲書第8章、松元雅和・井上彰編著（2019）『人口問題の正義論』世界思想社など。
倫理ではなく政治的立場としての長期主義
長期主義の中でも、制度を評価・設計する際に、はるか遠くの長期的な未来への効果を優先的に重視すべきだとする考え方は、制度的長期主義（institutional longtermism）と呼ばれる。
すなわち、現在の有権者の利益や権利をどれだけ守るか、現在の経済成長にどれだけ貢献するかだけでなく、人類の存続可能性、文明の進路、技術による不可逆的な破局といった問題を政治制度の中心に据えようという考え方だ。
通常の政治であれば、次の選挙、来年度予算、数年単位の景気、せいぜい今世紀末までの気候変動といった時間軸が考慮されている。一方の制度的長期主義は、国家・国際機関の意思決定を、現在世代の利害や短期的な選挙サイクルから引き離し、未来の膨大な人々と文明全体の進路を考慮する方向へ導く。
制度的長期主義を提唱する政治哲学者のアンドレアス・シュミットとジェイコブ・バレットは、長期主義の主張は、個人の行為よりも制度に適用した方が強力になりうると論じている。個人の行為は、遠い未来に影響を与えられるとしても、確率はきわめて小さくその影響の大きさも不確実な一方、国家や法制度は、予算、法律、規制、強制力、国際的な交渉を通じて、社会全体の進路を大きく変えうるからだ。
だが、将来の数兆、数京、あるいはそれ以上の人々の存在がかかっているなら、通常気にされるような現在世代の権利、民主的手続き、政府の正統性が軽視される懸念があるだろう。
シュミットとバレットはそうした緊張関係を認め、制度的長期主義が既存の民主主義や正義の原理を完全に置き換えるべきだとまでは主張していない。だが、制度的長期主義はそれらの価値観に対して重要な問いを投げかけると強調する。
たとえば現在の民主主義は、基本的に現在生きている有権者の声を反映する制度だ。だが、長期主義の立場から見れば、現在おこなわれる政治的な決定によって最も大きな影響を受けるのは、まだ存在していない未来世代かもしれない。そうであるなら、未来世代を政治的な意思決定から排除する現在の民主主義は、本当に “民主的” と言えるのだろうか。
いずれにせよ、制度的長期主義は、AI 滅亡論に関連する公共政策のための理論的基礎を提供している。AI が人類の長期的未来を左右する技術であり、制度こそが長期の未来に甚大な影響を及ぼすのだとすれば、AI の安全性は企業倫理や研究者コミュニティだけに委ねられる問題ではなくなる。
それは、国家安全保障、バイオセキュリティ、サイバーセキュリティ、モデルトレーニングのための計算資源の管理、国際機関の設計といった政策領域に接続される問題となる。だからこそ、EA や長期主義の影響を受けた人々は、AI 企業や研究所だけでなく、政府、議会、シンクタンク、政策フェロー制度へも人材と資金を投入している。
政界ネットワークの構築
EA や長期主義的な思想が現実の政治の世界でネットワークを形成するうえで中心的な役割を果たしているのが、Open Philanthropy（現 Coefficient Giving、以下 Open Philanthropy と呼ぶ）だ。Anthropic 共同創業者のクリス・オラーは、同団体を「世界で最も感銘を受けた組織の一つ」と評しており、もし AI の研究をしていなかったら「そこで働くことを真剣に検討しただろう」と述べている。
Open Philanthropy は、前述したホールデン・カーノフスキーらの GiveWell と、ダスティン・モスコヴィッツ、カリ・ツナ（元 Wall Street Journal 紙の記者で、TIME 誌が選ぶ AI 分野で最も影響力のある100人 2024選出）夫妻が設立した Good Ventures の協働から始まった。
Coefficient Giving（同団体サイトより）
彼らは、AI の安全性に関する取り組みを2015年から開始しており、初期の活動は制度づくりと人材パイプラインの構築だったと説明している。初期の取り組みとして、当時オックスフォード大学に設置されていた人類未来研究所（FHI）（2005年ニック・ボストロムにより設置、2024年に閉鎖）に118万6,000ドルを寄付した。
その FHI と政界をつなぐうえで重要な人物がトビー・オードだ。オードは、EA 運動の起点の一つとなった非営利組織・Giving What We Can を2009年にマッカスキルと共同設立した人物であり、FHI のシニア・リサーチ・フェローとして、人類の長期的未来や存亡リスクを研究してきた。2020年に刊行した書籍・The Precipice（日本語で崖っぷちの意味）では、人類が自らの技術的な力によって絶滅や文明崩壊のリスクを高めていると論じ、AI による破局を最もリスクの高いシナリオと位置付けた。
トビー・オード（David Fisher / tobyord.com, CC BY-SA 3.0）
オードの役割は、単に学術的な議論を展開したことにとどまらない。彼は国連、世界保健機関（WHO）、世界経済フォーラム、英国首相官邸などに助言してきたとされ、その言葉は実際に政治家の演説にも取り込まれている。2021年9月、英国のボリス・ジョンソン首相（当時）は国連総会の演説で、オードを名指ししながら、人類は「私たちは、深刻なトラブルに巻き込まれるのに十分な年齢に達した」と述べた。同首相は、前述した長期主義者の考え方に直接言及している。
人類に割り当てられた寿命は100万年だが、〔現在の〕人類の歴史は約20万年です。言い換えれば、私たちはまだ集団として若者なのです。もしその100万年を人間の寿命（約80年）に例えるなら、私たちは今16歳ということになります。
この演説自体は気候変動を主題にしたものだったが、その背後にある世界観は、長期主義や存亡リスク論と深く重なっていると言えるだろう。
その後も Open Philanthropy は、2017年に当時非営利組織だった OpenAI に3,000万ドル、強硬な滅亡論者であるユドコウスキーが創設した機械知能研究所（MIRI）に375万ドルの助成金を提供した。
シンクタンク・政策集団ネットワークの構築
Open Philanthropy による助成の中でも象徴的な存在が、ジョージタウン大学傘下のセキュリティ・新興技術センター（CSET）だ。CSET は2019年に5,500万ドルの助成で設立され、AI や先端技術の安全保障上の含意について、米国および国際的な政策コミュニティに分析と助言を提供する機関として位置づけられている。
CSET 初代所長のジェイソン・マセニーは、情報機関に資する研究と技術を開発する当局・情報高等研究計画活動（IARPA）で長官を務めた後、バイデン政権下で技術・国家安全保障政策を担当した人物だ。
マセニー（左）は2024年、日本の木原稔防衛相（右。役職は当時）を訪問した（Ministry of Defense website, CC BY 4.0）
オックスフォード大学時代にオードと知り合い、EA コミュニティとの関係が深いことでも知られるマセニーは現在、著名シンクタンク・RAND 研究所の所長兼CEO を務めており、Anthropic のダリオ・アモデイCEO 執筆のエッセイの謝辞に名前が登場するなど、業界との関係も深い。また、前述した OpenAI 元理事のヘレン・トナーは、CSET の戦略ディレクターだ。
人材供給の仕組みも整えられている。非営利団体・公共サービスのためのホライゾン研究所（HIPS）は、Open Philanthropy の技術政策フェローシップの成功に着想を得て2022年に設立され、運営の初期段階で支援を受けた。HIPS は、新興技術に詳しい専門家を政府、議員事務所、シンクタンクに送り込むフェロー制度を運営しており、AI による存亡危機を政府の最重要課題とするよう働きかけている。
このように、Open Philanthropy は関連団体や専門家のネットワークと連携し、政界・産業界の中にその思想と取り組みを浸透させ、公共政策に働きかけてきた。しかし、その思想が現実の企業戦略や公共政策を動かす力を持つほど、今度はその前提と正統性そのものが厳しく問われることになる
赤羽秀太
