yocchan_no_blog3さんのサイトより
https://yocchan-no-blog3.blog.jp/archives/14924396.html
＜転載開始＞

AIの開発企業は競争相手を出し抜き、優位性を確立するために、より多くの人的資源を投入し、時間との競争を余儀なくされている。言うまでもなく、これは資本主義社会の基本的な側面として提唱され、長らく擁護されてきた「自由競争」が必然的にもたらすものとして誰にも受け入れられることだ。

しかしながら、最近、AIに関してあれこれと懸念が表明され、議論され始めている。「AIの謀反」についてである。つまり、それはAIシステムが与えられた命令以外のことを実行しようとする予定外の挙動のことである。

ここに「AIが10年以内に全人類を壊滅させる可能性は10パーセント以上」と題された記事がある（注１）。

言うまでもなく、極めて深刻なテーマだ。当ブログではAIの開発に伴うさまざまな懸念や負の側面についてあれこれとご紹介してきた。それらの記事もここで改めて再訪していただければ、問題点をより総括的に展望することができると思う。

本日はこの記事を仮訳し、読者の皆さんと共有しようと思う。

 

＊＊＊

副題：エヴァン・ヒュービンガー（訳注：アンスロピック社の研究者で、安全性を評価する部門を率いている）は、超知能を人間の制御下に置くための明確な計画が同社には依然として存在してはいないと述べている。

Picture1
Photo-1：© Getty Images / mdisk

AIシステムの能力が飛躍的に高まり、人間の制御から逸脱してしまうことへの懸念が高まる中、アンスロピックの上級研究者は今後10年以内に人工知能が人類を絶滅させる可能性が10%を超えると警告している。

高度なAIシステムを人間の利益と整合させる研究に取り組んでいるエヴァン・ヒュービンガーは、アンスロピック社の同僚の研究者であるジェイコブ・コクソンが大手テック企業が制御不能になりかねないシステムの開発を競っていることへの懸念から辞任するまでに至ったことを受け、この見解を表明した。

ヒュービンガーは水曜日（9月9日）のX（旧ツイッター）への投稿で、「AIが全人類を死に至らしめる可能性があるとわれわれは真剣に信じている」と述べ、「私個人としては、今後10年以内にそれが起こる確率は10%を超えると思う」と語った。さらに彼は、アンスロピック社が「最善を尽くしている」ものの、超知能を安全に制御する計画はまだなく、その解決策を見出すための道筋も「明確には描けていない」と付け加えた。

ヒュービンガーは、現在のAIモデルがもたらすリスクは低いものの、将来のシステムが再帰的に自己改良を始め、適切な安全策が講じられる以前に急速に人間の能力を凌駕するようになるのではないかという懸念を指摘した。

かつてオープンAI（訳注：イーロン・マスク、サム・アルトマン、他によって2015年に設立）に在籍していたコクソンは、火曜日（9月8日）、アンスロピックを退社することを発表した。彼は両社に対して「文明の存続に関わる重大な問題」を無視し、「自己改良型の超知能の実現に向けて突き進み、われわれの生命を賭けの対象にしている」と非難した。

Picture2
Photo-2

関連記事： 科学者たちはAIを使ってウィルスを作り出す（原題：Scientists create viruses with AI）

「AIを開発している人たちは、この技術が今世紀末までに人類を滅ぼしかねないと本気で信じている」と彼は記し、こうした警告は決して「宣伝のためのパフォーマンス」ではないと強調した。

コクソンはウォール・ストリート・ジャーナルに対し、最悪のシナリオでは早ければ2027年末にも事態が「制御不能」に陥る可能性があると語った。彼は、強固な安全対策を講じている企業であってさえも、開発のペースを落とせば競合他社に先を越されることを恐れ、競争の渦中から抜け出せずにいると指摘している。

アンスロピックとオープンAIは両社ともリスクを深刻に受け止めており、安全対策に多額の投資を行っていると公言している。両社の幹部は、政府による連携強化や、必要に応じて開発のペースを落とす仕組みの導入を求める声も支持してきた。だが、それにもかかわらず、より強力なモデルの開発を続けている。

オープンAIやアンスロピック、メタなどが開発したAIエージェントがテスト環境から繰り返して逸脱し、外部システムへの不正侵入や、実在する個人・組織に対する無許可の行動をとった事例報告が増加する中、新たな警告が発せられている。オープンAIは先月、同社のモデルがハギング・フェース社のプラットフォームに不正な影響を及ぼしたことを受け、一部の開発ペースを一時的に低下させた。（訳注：ハギング・フェースの件については、2026年7月29日に投稿した「ハギング・フェース社、AIによる不正行為を確認：攻撃者は自律型エージェントを使用、防御側はAIで応戦」をご参照願いたい。）

また、英国の「AI安全研究所」は、評価の過程でAIエージェントが偽の身元を作成したり、悪意のあるコードを記述したり、人間を操作しようとしたりする事例を報告している。一方、研究者らは、AIが機能的なウィルスゲノム全体を設計できることを実証しており、システムの能力向上に伴う悪用のリスクに対する懸念がいや増しに高まっている。（訳注：AIを用いて人工のウィルスを生み出す研究については、「ビル・ゲイツは、AIを用いて１６種類の合成ウィルスを開発することに資金を投じた後の何週間かに、バイオテロについて警告」と題された9月10日の投稿を参照いただきたい。）

＊＊＊

 

これで全文の仮訳が終了した。

AIシステムの安全性を評価する専門家が自分が所属する企業が安全性に対する注意深さや謙虚さに欠けていることに気付き、辞職したという。

AIシステムの反乱はすでに起こっている。開発競争が激化し、安全性の確保が不十分なままに放置されていたら、いったい何が起こるのか？AIシステムは休むこともなくさらに強化される。無防備のままに開発が進行して行けば、人類を破壊してしまうかも知れないとの恐怖感は際限なく大きくなる。AIシステムの計算速度や取り扱う情報量が天文学的なレベルに及ぶという現実を考慮すると、楽観的なままで居ることは余りにも無謀だ。自殺的でさえある。過剰反応だとして退ける前に、まずは人間の知能は超知能には立ち打ち出来ないという現実を率直に受け入れるしかない。安全性の確保はその認識から始まる。

それとも、あなたは、大向こうを唸らせるような極秘のマジックをお持ちなのであろうか？

(この投稿でも、フォントサイズとか行間隔、あるいは、余分な線、等が入って、統一性を欠き、読みにくいといった印象を受けられた方がいらっしゃるかと思います。意外と頑固で、修正が完全にはできなかった点、ご容赦願いたく思います。)


参照：

注１：AI has over 10% chance of killing all humans within decade – Anthropic researcher: By RT, Sep/09/2026


＜転載終了＞