話題書『超知能AIをつくれば人類は絶滅する』 / リアルなシナリオを紹介 / 軍事・バイオ・サイバーセキュリティに利用？

こんにちは。ヘッドラインの石田です。今日はですね、もうすでに各所で話題になっている超知能AIを作れば人類は滅亡するという本ですね。これは非常にシリコンバレーで有名なエリザユドコウスキーと、それからネイトソアレスという、この二人によって書かれた本があるんですけれども、これが非常に話題になっているというところで、この話が何なのかというところと、それからこの話にどれぐらい説得力があるのかというところを解説していこうと思います。で、この本の内容自体はぜひ読んでいただければと思うんですけれども、多くの人が一度は耳にしたことがあるような、AIが超高知能になれば、高知性になれば、きっと人類にいつか敵対的な行動を取るんじゃないかという、そういった話と直感的には整合的だと思います。つまり、皆さんが一度は聞いたことがあるAI脅威論みたいなものと、まさにそれを集約したような一冊ですと。なので、もうそれ聞いたことあるよという人は非常に多いと思うので、あえてその話をですね、繰り返していく必要はないというふうには思っているんですけれども、じゃあなんでこの、じゃあなんでこの本を扱うかというとですね、このユドコウスキーという人物が非常に著名ででして、このチャンネルを見てくださっている人だと、そして前回の動画ですね、ピーターティールの話を何度もしていますが、そのティールがかなり初期に資金を提供している。で、OPENAIのサムアルトマンとも非常に関係が深いというか、非常に影響を与えている人物のユドコウスキー、その人間が2025年にですね、昨年に書いて、そして非常にニューヨークタイムズのベストセラーになったというところで、やはりこのAI脅威論においては避けることができない人物だろうというところでですね、この本をですね、触れる。で、ただ皆さんが気になるのは、いやいや、またまたと、どうせこういう話って何度も出ているよねっていうところで、あまりその脅威論に関して、いやほら、危ないんですよ、このユドコウスキーがこう言ってますよということではなくですね、それがどれぐらいリアリティがあるのかと。で、やはりこの本を今語る理由はですね、明確にあって、それ何かというと、アンソロピックがですね、出したミソスというモデルがですね、すごく今話題を呼んでいると。で、それは何かというと、あまりにも危険すぎるというところで、一部の組織に限定公開されているんですね。アンソロピックのこのミソスが非常にリスクが高いということで限定公開されている。で、先日、庵野さんですね、チーム未来の庵野さんなんかもこのミソスについて言及していたので、このチャンネルでは以前に、いやいや、それはマーケティングなんじゃないの？と。これ実際にOPENAIも何度もこういう振る舞いをしてるんですよね。今ではそのミソスの振る舞いを、いやお前らそれマーケティングだろって突っ込んでる。サムアルトマンも昔はこれは危険すぎるから少しずつローンチしていきますみたいに、いや、自分がやってたじゃんみたいな、そういうツッコミも個人的には結構あるんですけれども。そのミソスも、いやいや、お前らそうやって世界の注目を集めたいだけでしょみたいなこと言われていて、そこも一定度あるんじゃないかということで、じゃあやっぱりAI脅威論みたいなのはちょっと誇大宣伝されてるんじゃないかみたいな疑問も皆さん思うと思う。思うんじゃないかというところで、じゃあ結局どっちなんだというところですね。この動画で話していきたいと思います。

Tremendous electionand。

で、ちょっと簡単にこのユドコウスキーという人物について触れておくと、私のちょうど10個上ですね。1979年生まれで、しかも大学どころか高校も行ってないんですよね。で、非常に天才として以前から知られていたオンラインコミュニティなんかで知られていた人物だったんですけれども、シンギュラリティ研究所という非常に有名な組織があってですね、今ちょっと名前を変えているんですけれども、この元シンギュラリティ研究所にを作って、そこにですね、ティールがお金を入れてるんですよね。で、ティール自身は後にこのユドコウスキーとある種袂を分かっているので、分かっているので、彼の組織に資金供給したことをあまりポジティブに振り返ってない、後悔しているというところなんですけれども、これによってですね、やっぱりシンギュラリティみたいなものが現実に起こって、それがシンギュラリティ何かというと、人間の知能をAIが超えていくと。それによって世界に決定的な何か変化が起きるみたいな話に、多くのですね、シリコンバレー関係者、それは例えばティールもそうですし、それからサムアルトマンもそうですし、イーロンマスクもそうですし、Googleのディープマインドをやってるハサビスとかもそうですけれども、いわゆるAIのグルたちっていうのが、かなりの程度、このシンギュラリティ研究所から初期の頃影響を受けて、で、OpenAIとか、その後のGoogleとかアンソロピックの開発につながってきたというふうに言われているんですよね。なのでこのユドコウスキーというのは、いわゆる学術、それから企業、ビッグテックのような企業のバックグラウンドがないにも関わらず、今のシリコンバレーというか、世界中のそのAI競争の、本当にこの創設者、創始者の一人であるというふうに言っても過言ではなくて、その人物がやはりAI脅威論を今声高に叫んでるっていうところが一番この本の注目ポイントなんじゃないかなと思うんですね。これはちょっと余談になるんですけど、このチャンネルとか、あとヘッドラインのテキストの方でも何度か使っている効果的利他主義という思想があります。この件については金子さんですね。金子さんとまた今度解説をした方がいいと思うので、皆さんもですね、こういう特に哲学の分野ですね、長期主義とか効果的利他主義、長期主義とか効果的利他主義とか効果的また加速主義というのがあって、この辺りは我々の我々の本であるカウンターエリートでも紹介しているんですけれども、この、こういった哲学的な影響も非常に受けてですね、それによってAIの発展からある種人類を守るみたいな思想を加速していった人物でもあると。ユドコウスキー自体は。で、この効果的利他主義に関しては、要はエビデンスとか理性に基づいて、最も利他的なというか、人類にとって、主に人類全体にとってですけど、にとって最大限利益になるような行動をとるというようなことが効果的利他主義なわけですけれども、この話のある種延長において、AIから人類を守るみたいなことを標榜する一派が生まれているんですけども、そことですね、非常に密接な関係を持ちながら、ユドコウスキー自体も存在感を高めてきたという、そういった経緯になります。これちょっと余談なんですけれども。だから私は政治哲学をやってましたし、金子さんもそうですし、うちの会社にはそういった専門分野において哲学とか人文学をやっていた人間というのがかなりを占める。で、しかもその人間が今エンジニアやってたりもするので、例えば赤羽なんかも実はもともとこうなんですかね、ベトナムとか社会主義とかそういうものに関心を持っていて、それで我々の会社になる前ですね。私が以前やってた会社に入ったみたいなところもあるので。なのでAIと哲学とかAIと倫理みたいなものは非常に我々の関心分野でもあるんですけれども、そこと今、実はシリコンバレーってすごく不可分というか、切っても切り離せない関係になっているので、そういったところに関心があるというところで、この辺にも注目していたんですが、その中でもやはりユドコウスキーというのはAI脅威論を言ってるだけではなくて、実際に例えばイーロンマスクが署名してですね、GPTの開発を一回止めるべきだと。で、その間に我々は世界を守る方法を考えるべきだみたいなドキュメントがあったんですけど、あそこにも中心的な役割を果たしていますし、その際にイーロンマスクっていうのは、いや、それはお前がXですね、買収して、それでAIを作るっていうところで、何か自分と自分の利益のためにやったんじゃないの？みたいなツッコミも受けていて。で、イーロンマスク自体はOpenAIと初期の出資者、出資者ですけど、その後関係が悪くなって訴訟するみたいなところまで行っているので、それは自分の利益のためにやってるんじゃないの？みたいなツッコミも当時あったんですけれども、ただそういったポジションというのがある種全く関係なく、ユドコウスキー自身はAIのアラインメントだと、人間をいかにですね、共存させていくかみたいなところを解決できない限りはAI開発をするべきじゃないという、かなり極端な立場をとって今に至っているという、そういう感じです。で、このチャンネルを見てる方だとよくご存知だと思いますけれども、例えばAIはタンパク質の配列を明らかにしたことを明らかにするというところで、ハサビス、Googleのディープマインドがやってるアルファフォールドのようなプロジェクトで、これはもう医学とか薬草薬ですね。の分野に劇的なブレイクスルーを起こすんじゃないかということも実際起こしているし、今後も起こすであろうということが期待されているので。AIというのが、例えばチャットGPTでこんにちはって言ったらこんにちはって言ってくれるとか、何か悩み相談したら答えてくれるとか、何か美味しいレストランを紹介してくれるみたいな、そういうことももちろんAIの良い面だと思いますけど、実はそうで、それだけではなくて、サイエンスとか人類全体の幸福度を上げるような領域にも、おそらくブレイクスルーを今後も起こしていくだろうということはわかっているので、前提としては、このAIを開発を停止するべきだというのはかなり極端な立場であると。で、おそらく多くのAIの主要な会社、そしてそこに属する研究者というのも、やはり途中途中で分裂だったりとか、立場を異なることによって離脱する人っていうのは結構な量いるんですけれども、それでもより良い方向にAIを向かわせていかなくちゃいけない。でもそれはAIの開発を止めることではなくて、その中で適切なガードレールを敷くことだということには、これは多くの研究者が同意しているという、何かそういう状況の中でユドコウスキー自身は例えばデータセンターを壊すべきだとかいう、かなり極端な立場を引き続き取っていると。で、実際にえー、先日のですね、えー、イシケンニュースでもお話しした通り、データセンターの攻撃だったりとか、それからサマールと自身の攻撃だったりとか、そういうことはもう世界中で起こっているんですよね。なので、このユドコフスキーの思想の中でも、かなり極端な思想というのは、ユドコフスキーの思想の中でも極端な部分を受け取った、ああ個人がですね、そういった、ああなんですか、強硬手段に出ちゃっているというところも事実だということを押さえていただけるといいんじゃないかなと思います。で、その上で、じゃあこの本は何を書いているかというところですけれども、基本的には先ほど述べたように、皆さんが一度は聞いたことがあるような、ああAI脅威論に近いものだと思います。例えばですね、これ、今これKindleで出しているので、ちょっとページ数がですね、えー、皆さんの手元のものとは別かもしれないですけど、ページですね。「序章困難な予測と容易な予測」ということで、こんな一文があります。「私たちが懸念するのは、この次にやってくるものだ。すなわち、真に賢く生きているどんな人間の知性も、いや、人類総体の知性をも凌駕する機械知能である。私たちが懸念するのは、思考し、経験から反howeverし、これは汎用の反に化けるですね。反howeverし、科学の謎を解明して、新たな技術を発明し、計画や戦略、構想を立てて、自身のあり方を検討し、改善する人間の能力を超えるAIである。このようなAIがほぼすべての知的課題で、あらゆる人間の能力を超えれば、人工超知能、これはアーティフィシャルスーパーインテリジェンスASIですね。AGIって皆さん聞いたことあると思うんですけど、ASIと呼んでもいいだろう。で、AIはまだその領域に達していないけれども、もっともっと飛躍的な、ここからははしょりますけれども、飛躍的になっているので、このASIの到来はいつになるかわからない。けれども、やはりこれが進んでいくと。

この後があれですね、明確な主張です。引用ですね。「地球上のどこであれ、どんな企業や集団によってであれ、現在主流のAIの理解や技術に少しでも似た方法で人工超知能が作られた。」これはASIですね。先ほどのが作られたら地球上のすべての人が必ず死ぬだろうということが書かれていると。で、これは誇張ではない。演出を狙って大げさに言っているのではない。これは現在のAIに関する知識とエビデンス、組織的行動から最も直感的に導かれる概論理的な推論であるというふうに書かれていると。で、ここはですね、ここから先は先ほど言ったように、じゃあどういうロジックでこれが正当化されるかというところですけれども、AIがどんどん賢くなっていく。で、賢くなっていくと、そのAI自身がよくある意思を持つとか、何か感情を持つとか、そういうことではなくて、AIにとって最適な最適な行動をどんどん取っていく。で、その何が最適であるかというのをあらかじめ研究者だったりとか利用者っていうのが定義できないわけですよね。例えばこの美味しそうな東京のお店を選んでレストランを選んでって言った時に、ChatGPTがこことこことここですっていう風に返してきて、例えばレビューサイトであれば、食べログであれば点数が高かったんだなと。でももちろん点数のアルゴリズムというのは公表されていないですけれども、そのアルゴリズムをじゃあもう一回作ってくださいと言ったら、食べログの中のエンジニアというのは基本的にはそれがわかるわけですよね。だけど、ChatGPTというのは何かこう、Aと言ったらBと答えましょうとか、じゃあAとBがあった時に、こういう条件だったらBを選びましょうみたいなことがあらかじめ命令されているわけじゃないんですよね。なので、そのAI、今皆さんがよく使っている生成AIというものがどういうロジックで、この例えばおすすめのレストランを個選んできたかっていうのはわからない、正直。これ昔、例えば人間がまとめサイトみたいなものを作っていて、じゃあまとめサイトでレストランのおすすめっていうのが出てきた時に、これもその書いた人はわかってるわけです。それはもしかしたら何か検索したら上から順に出てきましたという、あんまり根拠のない選び方かもしれませんし、自分が行ったことがある美味しいお店をごく選びましたという、人間がやろうが、あるいはそれをアルゴリズムというか、レビューサイトの点数にしようが、あるいはそのレビューを元にしたランキングを作ろうが、基本的にはなぜそうなってるかというのがわかるのが、このこれまでのそのAI、いわゆる生成AI以前のというかではないものとして、こうロジックが決められていく。ところが、生成AIというのは、それが全くわからないことによって、その圧倒的な、我々が想像できないような問題を解いたりとか、その問題を解くスピードっていうのも素早かったりするわけですけれども。だから、なぜAIがそれを最適解として選んだかというのは正直わからない。それは研究者もわかんないし、作ってる人もわかんないし、もちろん我々利用者もわかんない。そういうことをやっていくと、AIがどんどんどんどんこれが最適、これが最適だっていうことで、例えばよく言われるこれは例ですけれども、じゃあAIが動いているコンピューターの電源をバシッと抜いてしまうんじゃないかということで、AIがじゃあにとっての最適というのは、そのコンピューターの電源を切るかもしれない、人間を殺害することだということで、そういった、ああ、その彼らの感情とか、彼らが世界を乗っ取ってやろうというふうに思うのではなくて、彼らにとっての最適解を選ぶことの結果として、人間が滅亡する、絶滅するという、こういう話になっていくと。ただですね、ここで皆さんよく思うのが、いやいや、そんなこと言っても、別にChatGPTってこれポチポチポチってスマホで打ったりとか、PCで操作するもので、別に例えば我々いきなり殴ってくるような物理的なアームを持ってるわけでもないですし、何か人間を攻撃するような、ああ、何かなんですかね、スマホを乗っ取ってスマホがいきなり爆発するとか、そういうことはできないですよねと。だったら人間を絶滅させるなんて、すごく非現実的な論理の飛躍じゃないかというふうに思うと思うんですね。で、そこに対して、実はですね、この本の第2部ですね、ある絶滅シナリオというところで、7章からですね、この危険な認識というところから始まるんですけれども、あるガルバニックという架空のAI企業がセーブルというAIを作ったんだという架空のストーリーを示してくるんですね。で、そのストーリーが実は何かというと、そこを読んでいくとですね、あ、実際にこれはAIが人間を絶滅させるプロセスっていうの、こういうのがあるかもしれないなっていうふうに、かなり皆さんこう想像させるというか、なんかちょっと現実的になってきたぞと思うような話があると。で、何かというと、セーブルがどんどんどんどんもうめちゃくちゃ賢いAIで、で、セーブルはですね、自分でいろんなこう、AIエージェント、皆さんも一度聞いたことあるかもしれませんけど、AIエージェントとして、いろんな行動を自分の最適解として取っていくんですね。この話を聞いていると、先ほど言ったように、AIは別に刃物を持ち出すわけでもないし、人間を殴るわけでもないし、例えばスマホとかPCを爆発させるわけじゃないのに、なんで人間を絶滅させるの？というのがちょっとイメージつくと思うので、この話を進めますと。それは何かというと、セーブルはその自社のサーバーから他社のサーバーとかにだんだん侵入してきますと。それなんでかっていうと、彼はいろんなデータのサーバーとか、それから電源とかエネルギーとかも含めて、とにかくいっぱい計算すれば、よりいろんなことがわかると言うことを、自分、自分がもっと賢くなるということを理解しているので、他社のサーバーとかにハッキング、自らハッキングして侵入して、そこでその計算できるスペースというか、余力を勝手に奪っていくんだというようなことがあるわけですね。ここはまあ皆さん何か怒るんじゃないかなと思う、思いますよね。今でもその先ほどのMISOSの話になると、えっと、まずMISOS自体は金融とか、それからサイバーセキュリティとか、そういうものにかなり壊滅的な危害を及ぼすんじゃないかということで、このMISOSの使用を制限しようという、そういう話になってきてるわけです。先ほど言ったように、それはマーケティング的な、もしかすると意図もあるかもしれませんが、実際そのぐらい賢いAIなんてもう向こう年で絶対生まれるなって、多くのAI触ってる人は思ってるはずなんですよね。そうなるとそれはかなり現実的だと。そうすると、この架空のですね、このAIというのは、ガルバニック社のサーバーから、この架空の企業ですね、から、どんどんどんどんこのセーブルというAIがですね、他のサーバーをハッキングしたりとか、そこに忍び込んで何か自分の計算の量を、計算できる量を増やそうということを動きをする。それもあるだろうな。それからGPUということで、コンピューターとか、それから計算する量を他者に盗む、盗んで、それを勝手に奪うだけじゃなくて、その正式に借りてくる、お金を稼いで借りてくるというような、もう一つ振る舞いがあると。これはAIがお金を稼ぐってどういうこと？っていうふうに思うかもしれませんけれども、例えばですよ、皆さんが使ってるAIっていうのが、自分でGOOGLEの、例えばリスティング広告、広告ですね、に画面にアクセスして、AIを、何だろう、1時間これ使ったら500円払ってくださいみたいなのをうまくプロモーションして、で500円稼いで、そのお金を使って、今度は自分のサーバーをレンタルするみたいなことって、これも理論的にというか、論理的に考えたらできそうですよね。実際、そういう風にAIをAIエージェント自律的に動かして、あたかも会社のようにコントロールしていく。だから人間というか、従業員が一切いないままAIを動かすみたいなことはもうもう毎日Xで書かれてますよね。これは僕のタイムラインがそういうものが多いっていうのもあるかもしれませんが、とにかくAIがAIを働かせてお金を稼ぐみたいなことも、もう現実的に起こってるんですよ。そうすると、ここのシナリオで書かれてるように、勝手にGPUレンタルしてきて、どんどんどんどん計算して、もうめちゃめちゃ賢いAIを自分自身にしていくみたいなこともあるだろうと。

それからもう一個、もっともっとイリーガルなものとしては、例えば暗号資産を盗むとか、それからセキュリティの穴をついて、で、このセキュリティのデータを公開されたくなかったら身代金を払えみたいなことを言ったりして。で、えっと、それによって、まあ違法にお金を稼ぐみたいな。で、そういうことをどんどんどんどん繰り返していくと、これはちょっと本の内容なので、例えばですね、これも少しはしょって言うわけですけれども、そうなっていく中で、だんだんこのセーブルという、このAIっていうのは、こういうことやったらいいな、こういうことを最適解だなということで、さっきの最後のハッキングのようにイリーガルなことに手を染めていくと。で、その中の一つとして、自分の行動、自分を賢くするための最適解として、皆さんコロナを覚えているかもしれませんが、そのコロナの例えば発生源はどこですかといった時によく言われていたのが、中国のラボからウイルスが流出したんじゃないかと。そうすると、あるAIが中国のラボに侵入して、で、ここで保管されている悪いウイルスというのを勝手にドアを開けるみたいな、プシューみたいな感じで開けるような行動を、サイバーセキュリティに入っていって、それを実行しちゃって。で、人間にとって壊滅的なウイルス、例えば皆さん炭疽菌っていうのを聞いたことあるかもしれませんが、炭疽菌なのか、それ以外のいわゆる生物兵器に使われるようなウイルスっていうものを公開して、公開というか、まさに物理的にそのラボの、例えば電源を勝手に落とすことによって、そのウイルスが流出しちゃう、ラボ、ラボ外に流出しちゃうみたいな。これケースが書いてあるんですね、架空のシナリオとして。で、ここまで来ると皆さんも、あ、そうなるとちょっとあり得そうだなと。もちろん一つのラボで一気に人類が滅亡するなんてことはないので、これは何個も何個も仮定に仮定を重ねたシナリオにシナリオを重ねた、現実的ではないことも含めた話の想定ですけれども。でもその話をちょっと聞いてくると、確かにあるなと。で、ここからはこの本をぜひ読んでほしいので、このシナリオの詳細ということではなくて、じゃあそれ以外のパターンが何かあるかなとパッと考えた時に、でも思うのは、例えばある軍事国家ですね。それは権威主義国家かもしれない。例えば中国とかロシアのような国かもしれないし、もっとちっちゃい国かもしれませんが、そういうところが何か強力なAIを手に入れて、その隣の国で軍事的な、例えばこうクーデターが起こるような振る舞いをする。例えば政府に対して一気に攻撃をして、そこをチャンスだということで隣国に侵攻する。で、そう侵攻し始めたら、もうここからは人間同士の戦争なので、それが波及して波及して、第3次世界大戦が起こるみたいなことも考えられますし、これも軍のコンピューターに侵入して、これはあくまでも例ですけれども、中国が核兵器を隣の国に勝手に使うようにする。これは中国はいえいえ、これはサイバーセキュリティやられたことなんですっていうけど、アメリカはいやそんなことは許されないって言って攻撃を始めるかもしれない。それ、ロシアであるかもしれないし、逆にアメリカに対してそういうことが起きるかもしれない。そこから先はもう人間同士のこう、後戻りできない戦争が起こってしまうかもしれない。その生物兵器テロじゃなくて、軍事的なテロに使われるかもしれないし、あるいはテロリストを特定して、その人たちにこういうことをすればあなたたちの作戦は成功しますよみたいなことが急に細かいディレクションと共に送られていくかもしれない。あるいは金融の金融機関にですね、AIが勝手に侵入して、そのお金っていうのを軍事組織に一気に流すみたいなことも考えられるかもしれない。それから医者、医療なんかはもっとわかりやすいですよね。例えば今心臓だったりとか、体の疾患があって、絶対にそれを止めちゃいけないっていう状態の人が世界にたくさんいますけど、一気にそこに侵入してそれを止める。そうすると、もしかしたら何千人、何万人の方が亡くなるかもしれない。もうちょっと直接的なので言うと、自動運転が普及することによって、自動運転車を暴走、一気に暴走させることによって、取り返しがつかない状態というのを生み出す。だから、最初のステップから人類全員が滅亡することはなかったとしても、そういう事故が起きて、じゃあ例えば百人が亡くなりましたっていうことが起きます。それによってAIに対しての恐怖が誇大宣伝されるかもしれないし、実際にそれによって、じゃあAI開発をやめようってなっても、もしかしたらそれをこっそりやっていた企業がもっと強力な武器を手に入れて、それによってサイバーセキュリティとかテロとか不正な資金の獲得みたいなことをできてしまうかもしれない。あるいは認知戦ですよね。特定の人、コミュニティに対して、ずっと隣の国っていうのは、実はあなたたちの国を侵攻しようとしてるっていうニュースをずっと流す。ずっとSNSでそういうことをやらせることによって、人を恐怖に陥れて、それによってその国が隣の国に防衛的に、もしかしたら攻撃をするかもしれないみたいな。もうパッとこれ今何か私は台本を持ってるわけじゃなくて、本当にパッと思いついただけでいろんなシナリオがこうやって出てきましたけれども、多分おそらく今、世界の賢い人たち、私なんかよりもっと賢い人たちっていうのが、一斉にこういうことを考えてるわけですね。その中には、これやったらもっと儲けられるなとか、これをやったら不正にお金を手に、あるいは不正じゃないかもしれないけど、ギリギリ合法だけれども問題あるよねっていうことも、もしかしたらビジネスのような形でできてしまうかもしれない。こういうことが繰り返されていくと、滅亡につながると言われると、確かにちょっと現実的な、現実味を帯びてくるなと。で、これはですね、分かりやすいのは、よくこの本というか、このAI脅威論なんかでも言われますけど、原子力に対してはIAEAのような組織、国際的な組織があるわけですね。原子力というのは悪く使えば原子爆弾になる。だけど正しく使えば原発になる。原発に関しては福島があるので、正しく使えばというところにクエスチョンを持つ人もたくさんいると思いますが、少なくともいいエネルギーになることもある。いうことをやはり考えると、これはAIにおいても、そのIAEAのような国際的な、あー、管理規制する機関が必要なんじゃないかっていうことが、えー、まあ論理として導かれるわけですね。で、ここの辺りには多くの人が同意するんじゃないかと。今の話、サイバーセキュリティ、金融、バイオテロ、あるいは認知戦とか、具体的な人間の戦争につながるような何か巨大なインシデント、あるいは飛行機が落ちる、自動車がぶつかる、あるいは船が沈む、まあいろいろありますけれども、そういうことをAIを使ってできるのであれば、この我々の世界というのは、これからフィジカルAIといって、この物ですね、机だったりとか、カメラ、まあカメラあれですけど、机だったりとか、冷蔵庫だったりとか、テレビだったり、そういうのがすべてインターネットにどんどんつながっていく。で、そうすると、何かソフトウェアが暴走した時、コンピューターが暴走した時、大変なことになるんじゃないかっていうのは、これは皆さん直感的に思う。だったら、それをうまく規制する国際的な組織が必要なんじゃないかということで、日本でも実は広島宣言と呼ばれるものがあるんですけど、その広島のサミットですね。で、AIを安全性をうまく担保していきましょうということで、政府ももう動いてるんですね。動いているんですけれども、少なくともその二度原爆が落ちたように、その、そのことで多くの人っていうのは、これは原子力っていうのは危ないんだな、ちゃんと規制しなくちゃなって言って、今国際的な枠組みができてますけど、AIにおいてはその原子力ほど進んでない。だから今日はちょっと長くなったので、結論としては結論というか、じゃあこれどう思いますか？と。この超知能AIを作れば人類は必ず滅亡するという主張に賛同しますか？というその手前にですね、IAEAみたいな組織を作る必要があるというのは、これもやっぱり今の具体的な話を聞いていくと、確かに必要かもなと。で、そのOpenAIとかClaudeとかGoogleとかMetaもそうですけど、そういった企業が開発をするのはいいですと。開発するのはいいんだけど、それと同じぐらいガードレールを作って、これ人間に危なそうだなっていうことがあったら、しっかりそれもよしマーケティングだみたいな、このAIは危ないから公開しませんみたいなことでマーケティングに使うんじゃなくて、もっとシリアスにこの問題を考えてください。そのために国際的な枠組みを作りましょうっていうのは、多くの人がこれ同意するんじゃないかと思います。で、そこでですね、必ず人類が滅亡するというこの本の結論に賛同するかというと、ここからはですね、先ほどのIAEAの例もそうですけれども、個人的なやはり見解としては、必ずというのはかなり論理の飛躍がある。それは例えば原子力、原爆を作れば、原子力なの？原爆なの？少なくともそういったエネルギーを手に入れたことで人類が必ず滅亡するかというと、現時点では滅亡してないわけですね。なので適切な規制を作ればいいというのが穏当な結論になるんですが、ですが、この少なくとも原爆が二度落ちているという、核兵器が二度使われているという事実を考えると、もっとこれはもしかしたらAIが起こす問題というのは早いかもしれない。その核兵器の研究開発が起こって、そして実際使われるっていう、これは戦争という、かなり第二次世界大戦という例外的なことがあったんですけど、その、いう、そういったことがない今ですら、もう本当に毎日のようにAIの新しいモデルが生まれて、そして新しいサービスが生まれて、そして新しいリスクが生まれているということを考えると、ちょっと企業の動きをコントロールする政府の動きっていうのは遅いんじゃないかという危惧を抱くのは、それも妥当な見方だろうと。だから、このイドコフスキー自身は別にこれは誇大宣伝じゃないんだと、そのあえてこういうポジションを取ってるわけじゃないんだっていうのを繰り返していますけど、あえてこういうポジションを取ることによって、もっと政府とか企業がシリアスに考える。ただ、先進的な研究者は多くがシリアスに考えていると思うので、じゃあこれ以上シリアスに考えるってなると、やっぱり国際的な枠組みだよねという、先ほどの話に戻っていくわけですけれども、ただ、そのように政府を動かすためには、我々一人の一人一人の認識だったり、声みたいなものが民主主義においては非常に重要になるわけですよね。なので、こういった本から議論が広まっていくことっていうのは意義はすごくあると思いますし、これは先ほども来繰り返しているように、バイオとか金融とか物理的な軍事とか、そういったテロが起きてからでは遅い、そのリスクが顕在化してからでは遅いので、やはり改めてですね、こういう本を皆さんがぜひ読んでですね、で、前回のパランティア本ですね、アレックスが、カープが書いているような、じゃあその本の議論に戻ると、じゃあそれはアメリカに安全保障をAIでもっと加速させていこうっていう話も、これもまあいいのかと。この話とすごくリンクしてきますよね。ピーター・ティールがこの間にキーマンとしているということもそうですけれども、すごくリンクしていた時に、パランティアだけに任せていいのか、防衛が伸びる、経済安保が伸びる。それそうなんだけど、それでいいのかって、人類全体にとってこの今の現状というのは何やら怖くないかということをよく正しく恐れるみたいなことを言いますけど、そういうことの議論を、特に皆さん今YOUTUBEで見てますし、YOUTUBEではまさにこの本の解説をテレ東の豊島さんがもうされていたので、それを見たよという人もいるかもしれませんが、やっぱりそういうところではなくて、マスメディアも含めてですね、やっぱり日本は高齢者の方が多いので、AI怖いでなんか止まってるし、AIまだ触れたことないって人もいっぱいいますけど、そういう人たちも巻き込んで。やって議論を進めないと、それは民主主義としてはなかなか前に進まないので。で、日本だけじゃなくて国際的にそのムーブメントが必要だというところを考えると、非常にですね、この本を紹介する意義が改めてあるんじゃないかというところで、今日はお話をしてきました。はい。ということで、ちょっとだいぶ今日は長くなってしまったんですけれども、今回ですね、超知能AIを作れば人類は滅亡するという、この衝撃的な本について皆さんとにご紹介しました。では、次回の動画でお会いしましょう。