いま人工知能と呼ばれているのは知能ではなく機械学習で、そのハードウェアはPCなどとは違うニューラルネットである。これが実装されるようになったのは1990年代だが、甘利氏はその原理を60年代に数学的に定式化した。時代の先を行きすぎてハードウェアに実装できなかったが、これが今の深層学習の原型である。
脳の情報処理は、外界からの刺激によるニューロンの興奮の伝達で行われる。たとえば猫の映像は網膜で多くの画素ベクトルに分解され、ニューロンはその刺激を隣のニューロンに伝える。こうした多くの刺激を総合して画像認識が行われ、そのとき多くのニューロンの出力の重みWをかけて出力値（猫か否か）が決まる。
日経XTRENDより
これをモデルにしてニューラルネットでは、入力層と出力層の間に中間層（重み行列）を設定する。出力値を正解と照合して誤差に応じて重みを補正するのが甘利氏の確率降下学習法だが、この原理はLLMと基本的に同じである。
画素の代わりに言葉をベクトルと考え、それに重み行列（多くの文の中の言葉の分布）をかけて次の言葉を予測する――たったこれだけであれほど見事な文を書けるのはどうしてなのか、とニューラルネットの元祖もチャットGPTに驚嘆している。
続きはアゴラサロンでどうぞ（初月無料）
