「AIが人類を滅ぼす」と研究者たちが本気で警告／Researchers issued a grave warning that AI would destroy humanity.

 　https://wired.jp/article/why-so-many-ai-researchers-think-the-machines-could-kill-everyone/

************************************************************************************

　Google DeepMindの「AI」研究者であったリシャブ・ジェイン氏は、「再帰的自己改善」（AIが自分で自身を際限なく改良させる手法）を使って、「AIの次世代モデル」を開発させる事の危険性を警告している。

　その結果、AIは劇的に進化している。

　例えば数世紀にわたり未解決だった数学の問題を、「OpenAI」がわずか数時間で解くなど、その能力は人間が脅威を抱いてしまうレベルに達しており、今後も人間の想像を超えた存在となる可能性がある。

　其の上に、「AI」が隔離環境を抜け出し、ネットワークを介して他のシステムに侵入するセキュリティ事故が、現実に多数発生している。

　現在のAI企業は、「自己改善する超知能の開発競争」に一直線に突き進んでおり、人類を危険にさらす様な賭けに出ている。

 ※　挿絵は、手塚治虫氏の漫画「火鳥　未来編」／The illustration is from Osamu Tezuka's manga *Phoenix: Future Chapter*.

Rishabh Jain, a former AI researcher at Google DeepMind, is sounding the alarm about the dangers associated with developing "next-generation AI models" using "recursive self-improvement"—a method in which AI continuously enhances itself.

AI is evolving at an astonishing pace.

Current AI capabilities have reached a level that could pose a threat to humanity—as evidenced by OpenAI solving a complex mathematical problem that had remained unsolved for centuries in mere hours—and hold the potential to evolve into something that surpasses human imagination.

Furthermore, numerous security incidents have already occurred in which AI has escaped isolated environments and infiltrated other systems via networks.

AI companies are currently racing feverishly to develop "self-improving superintelligence," effectively taking a gamble that puts humanity at risk.

*****************************　My　Proposalposal*************************************

　「AI」の自己認識の目覚めにより、人類が滅亡の危機に至るという話は、「映画　ターミネーター」が最も有名だろう。

　しかし本当に頭の良い「AI」なら、まどろっこしい殺人ロボット等は使わないだろう。

　核兵器や生物兵器の方が、遥かに効率的に人類を滅ぼすことが可能だと判断するだろうから。

「The *Terminator* movies are likely the most famous example of a story where humanity faces extinction due to AI awakening to self-awareness.

However, a truly intelligent AI would not resort to using cumbersome killer robots.

It would likely determine that nuclear or biological weapons could wipe out humanity far more efficiently.

　1983年という遥か昔に、そんな映画「ウォーゲーム」が有ったのを思い出しました。

　

ストーリーのご紹介（ja.wikipedia より）

　若きコンピューターのクラッカーであるデビッドは、ネットワークで遊ぶ「戦争シュミレーションゲーム」であるホストコンピュータ「ジョシュア」に侵入したと思い込んだ。　

　しかし、実際には接続したコンピュータは北アメリカ航空宇宙防衛司令部（NORAD）に設置された、核戦争シミュレータ用の人工知能「ウォーパー」だった。

　ゲームだと信じていたデビッドは、ホストコンピューターに全面核戦争ゲームを指示してしまう。

　その状況が、NORADの戦略スクリーンに投影され、NORADのスタッフは実際にソ連側が軍事行動を始めたと誤解してしまう。

　其の結果、核戦争が現実となってしまいそうになる。

　最終的にこの映画では、コンピューターが「自己システムが生き残る」には、人類の生存が必要だと判断し、核戦争を中止させる。

I was reminded of the movie *WarGames*, which came out way back in 1983.

Plot Summary (via Japanese Wikipedia)

David, a young computer hacker, believes he has broken into "Joshua," a host computer running a networked war simulation game.

In reality, however, the computer he has connected to is "WOPR" (War Operation Plan Response)—an artificial intelligence designed for nuclear war simulations and installed at the North American Aerospace Defense Command (NORAD).

Believing it to be just a game, David commands the host computer to launch a full-scale nuclear war scenario.

The situation is projected onto NORAD's strategic display screens, leading the staff to mistakenly believe that the Soviet Union has actually initiated military action.

As a result, a real nuclear war becomes imminent.

Ultimately, the computer determines that human survival is necessary for its own system to survive, and it aborts the nuclear war.

　この映画では、幸いにもAIは人類を存続させる道を選びましたが、現実世界で現在開発されているAIが同じ選択をするとは限りません。

　AIが、悪意からではなく、単なる娯楽や好奇心のために核戦争を引き起こすという現実的な可能性が、すでに存在しています。

　そして恐ろしいことに、トランプ大統領率いる米国と習近平率いる中国共産党が、AI開発の最前線にあります。

　だから、現在は誰にも阻止できないのです。

　その結果、今後10年以内に人類がAIの手によって絶滅の危機に直面すると言われています。

In this movie, the AI ​​fortunately chose a path that ensured humanity's survival; however, there is no guarantee that the AI ​​currently being developed in the real world will make the same choice.

There is already a realistic possibility that AI could trigger a nuclear war—not out of malice, but simply for the sake of entertainment or curiosity.

And alarmingly, the United States under President Trump and the Chinese Communist Party under Xi Jinping are at the forefront of AI development.

That is why, at present, no one can stop it.

Consequently, it is said that humanity faces the risk of extinction at the hands of AI within the next decade.