「人工知能は人間の知能を超えるか」という問題は、半世紀ぐらい前から議論されている。1980年代の古典的人工知能では明らかに不可能だった。深層学習ができたころ「シンギュラリティ」という話があったが、これも単なる機械学習だった。
大規模言語モデル(LLM)は「知能」を可能にするようにみえるが、本書はそれも不可能だという。そのキーワードは非線形非平衡多自由度系である。これは物理学や複雑系科学で用いられる概念で、以下のような特徴を持つシステムを指す。
LLMは、数十億から数兆のパラメータを持ち、これらのパラメータが互いに複雑に作用することで、高度な言語処理を実現している。これは一見すると脳と同じシステムのようにみえるが、重要な違いがある。
続きは2月17日(月)朝7時に配信する池田信夫ブログマガジンで(初月無料)
大規模言語モデル(LLM)は「知能」を可能にするようにみえるが、本書はそれも不可能だという。そのキーワードは非線形非平衡多自由度系である。これは物理学や複雑系科学で用いられる概念で、以下のような特徴を持つシステムを指す。
- 非線形性:システムの出力が入力に比例しない。小さな変化が大きな結果を引き起こすことがある(バタフライ効果)。
- 非平衡性:システムが常に変化し、平衡状態にない。外部からのエネルギーや情報の流入が持続的に行われている。
- 多自由度:システムが多数の要素や変数から構成され、それらが互いに複雑に相互作用する。
LLMは、数十億から数兆のパラメータを持ち、これらのパラメータが互いに複雑に作用することで、高度な言語処理を実現している。これは一見すると脳と同じシステムのようにみえるが、重要な違いがある。
続きは2月17日(月)朝7時に配信する池田信夫ブログマガジンで(初月無料)