AIによる「知能爆発」・メモ


知能爆発に備えよう、オックスフォード大学研究者の論文。現実的な知能爆発の議論が面白い

知能爆発って

  「AIがAIを作ると猛加速=爆発」

って大ざっぱな議論が多いが、実際はそこまで行く前にAIが“自分の改善サイクル”をある程度早めるだけで、爆発的な成長が起きてしまうと指摘

具体的には、成長が成長を加速させるフィードバックループに注目して、

  • ソフトウェア
  • チップ設計
  • チップ製造

と三つの要素に分け、互いの自己増強するメカニズムを整理し、三つの「知能爆発」に分解している

 特に面白いのは、ソフトウェア知能爆発。

 ソフトウェア知能爆発の面白さは、計算量の増加がなくても“アルゴリズムの改善”だけで爆発的成長が起き得ると分析している点。


 実際、同じGPUで同じタスクを処理する場合でも、アルゴリズムの進化によって100倍速くなったりしている。
(最近では話題のDeepSeekのMoEがいい例、これだけで効率100倍)


 実際に過去10年の成長を見ると、ハードの進化よりアルゴリズムの改善のほうが大きく成長に貢献してきたという指摘。


 そして人間の脳の計算効率や情報処理量をベースに推定すると、アルゴリズムにはまだ10万〜10億倍の改善余地がある議論している。


 一番わかりやすいのは、OpenAIのAPI価格。
 過去2年間で約10分の1に下がった。
 このうちハードウェアの進化はせいぜい2倍程度、残りの5倍分はアルゴリズムの改善によるもの


 AIがこのアルゴリズム改善のサイクルを加速するだけで、ハードの更新なしでも爆発的な成長が起こりうる

https://x.com/i/grok/share/kOxKots9gHvgENhd153rbb59w