しかしチャットGPTはその状況を変えた。ホワイトカラーのやっている単純な文書作成は、8割以上が大規模言語モデル(LLM)で代替できる。今まで対象のはっきりしなかったAIの用途が、文書作成として明確化されたのだ。
これがもたらす社会的な影響は大きい。次の表は本書にも引用されている"GPTs are GPTs"という調査の結果だが、通訳、世論調査、広報宣伝などは60～80％、数学者、税理士、ウェブデザイナーなどは100％がGPTで代替できると予想している。
GPTで代替される職業(GPTs are GPTs)
しかし日本では、これとはまったく違う結果になるだろう。文書作成は文系ホワイトカラーのコア業務であり、それをGPTに代替すると彼らは失業するが、日本の企業は彼らを解雇できない。彼らを定年まで飼い殺しにし、その代わり給料は上げない。そして雇用調整は新卒採用を絞っておこなう。
つまり1990年代に起こった就職氷河期と同じAI氷河期がやって来るのだ。4月4日から始まるアゴラセミナー「AIは世界を変えるか」では、AIのもたらす社会の変化についても考える。
「賢いモデル」より「大きなモデル」
おもしろいのは、AIで代替しやすい仕事の中に詩人や作家が入っていることだ。こういうクリエイティブな仕事は、従来はAIで代替できないと思われていたが、それは逆である。たとえば「バッハの作曲したのと同じような曲を書いてください」とGPTに頼めば、いかにもバッハらしい曲をすぐにつくる。それはLLMのコア機能が穴埋め問題だからである。GPTはバッハの楽譜をすべて記憶しているから、その一部を削除して「バッハ的な曲にしろ」といえば、確率の高い音符を検索して埋める。こういう作業をくり返すと、「バッハの曲」という言葉だけで、それらしい音符を並べることができるのだ。
こういう原理は昔からわかっており、言語学では使用依拠モデル(usage-based model)と呼ばれる。これは意味はその使用によって決まるというウィトゲンシュタインの言語ゲームのような考え方で、LLMはそれを実装したものだから、前後の旋律から似たような旋律をつくるのは容易である。
ただこのような単純な試行錯誤で、もっともらしい文を書くには、膨大な訓練が必要である。人間の子供が言葉の意味を覚えるのも、辞書を引いて覚えるわけではなく、無数の穴埋め問題を解いて覚えている。
LLMの本質的なイノベーションは、そういうむずかしい問題を訓練データの大きさという量の問題に還元し、ひたすら多くの穴埋め問題を解かせることで、答の質を飛躍的に高めたことである。これをスケーリング則と呼び、
・モデルの大きさ（パラメータ数）
・データセットの量
・学習に使う計算量
を同時に大きくする（スケールさせる）ことで、言語モデルの性能は上がっていく。歴史的に人工知能の研究では、いかに賢いモデルをつくるかに重点が置かれていたが、スケーリング則はその常識を破り、単純なパターンを膨大な回数くり返すことで性能を上げた。
このため膨大なデータと試行錯誤が必要になるので、多くのGPUで並列計算し、それを巨大なデータセンターに集積して大電力で動かす必要がある。LLMは質より量なのだ。
日本的雇用慣行はLLMに代替される
その結果、ある臨界点を超えると正答率が急激に上がる能力創発(emergent ability)と呼ばれる現象が起こる。その原因はよくわからないが、臨界点を超えると正答率がベキ乗で上がることがわかっている。
能力創発
子供も3歳ぐらいで、飛躍的に言葉ができるようになる。「習うより慣れろ」といわれるように、文法も辞書もなくても日本人の家庭で育てば、日本語を話せるようになる。LLMのやっていることは子供の言語習得のシミュレーションであり、機能的には人間と同じである。
だから「これだけはAIにできないだろう」という思い込みは捨てたほうがいい。LLMはひたすら人間のまねをするシステムであり、原理的には（肉体を使わない限り）人間のできることは何でもできる。
これに対応するには、働き方を変えることが大事である。「文脈的技能」を重視する日本的雇用慣行は穴埋め問題を徒弟修行でやっているわけだが、それはもっと効率よくLLMに代替されてしまう。日本が先進国から脱落することを防ぐには、解雇の金銭解決などの働き方改革が急務である。
