自動翻訳は言語学の見果てぬ夢だった。それは大きな実用的・文化的価値があり、コンピュータの処理能力さえ上がれば実現できると思われたが、機械翻訳は挫折の連続だった。この問題を「普遍文法」を発見することで解決しようとしたチョムスキー学派は挫折した。

これに対して認知言語学と呼ばれる学派が、1980年代から出てきた。これはチョムスキーのような合理主義ではなく、具体的な言語使用の中からパターンを見出す経験主義だったが、演繹的な理論体系はなく、翻訳にも応用できなかった。

そうこうしているうちに、言語学とは無関係に発展した大規模言語モデル（LLM）が、あっけなく機械翻訳を実現してしまった。のみならず、それは森羅万象について質問に答え、文書を作成する万能百科事典になった。それは偶然だったのか。

アデル・ゴールドバーグは、認知言語学とLLMには必然的な関係があるという。彼女が提唱する「使用ベース構文論（Usage-based Construction Grammar）」と、LLMには多くの共通点があるのだ。
  • 使用ベースの考え方
    • 言語の習得や変化は頻度と文脈によって影響される。
    • 各構文は「記憶のかたまり」であり、似たような使い方の記憶が重なり合って構文が形成される。
    • インプットは「偏って」おり、特定の語と構文の結びつきが強まることがある（例：「hazard a guess」）。

  • LLMとの共通点
    • LLMもまた「使用ベース」的な学習をしており、膨大なインプットから一般化を行う。
    • GPTの構造（例：Transformerの注意機構）は、人間の注意や作業記憶に似ている。
    • GPTも「構文」のようなものを内部的に学習しており、文脈依存で解釈を行う。

  • 違いと限界
    • LLMは現実世界の「意味」や「意図」は理解できず、言語のみを手がかりにしている。
    • GPTはあくまで統計的な予測モデルであり、誤解や思い込みによる誤答もある。
とてもむずかしいので、チャットGPTにやさしく解説してもらった。続きはアゴラサロンでどうぞ（初月無料）