AIブームは人工知能という言葉が生まれた1950年代から3回あった。第1のブームは1980年代の古典的人工知能だったが、これは完全な失敗に終わった。第2は2000年代に深層学習(ニューラルネット)が話題になったときで、画像処理や音声認識ができるようになった。
しかし人間の知能のコアは言語であり、言葉を理解する自然言語処理はニューラルネットではできなかった。東大の入試問題を解かせようとした東ロボくんも挫折し、自然言語処理には絶対的な限界があると思われていた。
ところが本書が出版された2023年に登場したチャットGPTは、その状況を大きく変え、第3のブームを生んだ。ニューラルネットで自然言語を処理する大規模言語モデルが実用化したのだ。本書はそのインパクトを言語学の立場から語っている。
ここ半世紀の言語学は、チョムスキーの生成文法とそれ以外の異端派の戦いだったが、異端派は1990年代から認知言語学と名乗るようになった。その特徴は
◆ LLMの発展の源流
LLM(GPTなど)は、主に以下の分野の成果から発展しました:
◆ 認知言語学との関係
一方で、認知言語学(Cognitive Linguistics)は、言語を「人間の認知構造の一部」としてとらえる学問であり、次のような前提を持ちます:
1. 両者とも言語使用説に根ざしている
→ 人間の言語習得も、LLMの学習も「実際に使われる言語データ」に基づいている
→ 結果として、パターン化・抽象化・慣用化といった同じ現象が現れる
2. 明示的ルールよりパターンの蓄積を重視する
→ LLMはルールを教えられていないが、使用の蓄積から規則的挙動を見せる
→ これはLangackerの usage-based model に非常に近い
3. 形式と意味が分離されず統合される
→ LLMでは「かたち」だけでなく「意味」も同時に予測される
→ 認知言語学の理論も、形と意味が不可分という前提を持つ
部分的には「自然に認知文法的なふるまいをしている」と言えますが、
1.身体性(embodiment)の取り込み
LangackerやLakoffが言う「力」「容器」「経路」などのイメージスキーマ(構造的な意味のテンプレート)をモデルに明示的に組み込む。たとえばテキストだけでなく意味構造グラフ(conceptual structure)を併用し、pushは "agent applies force to object in direction" の構造を持つ、という風に、抽象的構造を内部的に保持・操作できるようにする。
3. 視点性と談話構造の強化
しかし人間の知能のコアは言語であり、言葉を理解する自然言語処理はニューラルネットではできなかった。東大の入試問題を解かせようとした東ロボくんも挫折し、自然言語処理には絶対的な限界があると思われていた。
ところが本書が出版された2023年に登場したチャットGPTは、その状況を大きく変え、第3のブームを生んだ。ニューラルネットで自然言語を処理する大規模言語モデルが実用化したのだ。本書はそのインパクトを言語学の立場から語っている。
ここ半世紀の言語学は、チョムスキーの生成文法とそれ以外の異端派の戦いだったが、異端派は1990年代から認知言語学と名乗るようになった。その特徴は
- 文法と語彙の区別を認めない
- 言葉の意味は文脈で決まるという使用ベースモデル
- 文法は経験的なパターン認識で決まるというスキーマ理論
Q. LLMは認知言語学の影響で生まれたものですか?
とても興味深い質問ですね。結論から言うと、LLMは直接的には認知言語学の影響で生まれたものではありません。しかし、部分的に考え方や問題意識に共通点があるため、間接的な影響や接点はあると言えます。◆ LLMの発展の源流
LLM(GPTなど)は、主に以下の分野の成果から発展しました:
- 統計的自然言語処理(Statistical NLP)
- ニューラルネットワーク(特に深層学習)
- 言語モデリング(大量のテキストを使って、次の単語を予測する技術)
- 計算言語学
◆ 認知言語学との関係
一方で、認知言語学(Cognitive Linguistics)は、言語を「人間の認知構造の一部」としてとらえる学問であり、次のような前提を持ちます:
- 言語は抽象的な規則ではなく、経験や知覚に基づく
- 言語の意味は文脈や身体性(エンボディメント)と密接に関係している
- 比喩やイメージスキーマ(例:時間=前にある、心=容器)なども重要
Q. では認知言語学との類似は偶然ですか?
この類似は完全な偶然ではないが、意図された設計でもないというのが妥当な評価です。もう少し詳しく言えば:1. 両者とも言語使用説に根ざしている
→ 人間の言語習得も、LLMの学習も「実際に使われる言語データ」に基づいている
→ 結果として、パターン化・抽象化・慣用化といった同じ現象が現れる
2. 明示的ルールよりパターンの蓄積を重視する
→ LLMはルールを教えられていないが、使用の蓄積から規則的挙動を見せる
→ これはLangackerの usage-based model に非常に近い
3. 形式と意味が分離されず統合される
→ LLMでは「かたち」だけでなく「意味」も同時に予測される
→ 認知言語学の理論も、形と意味が不可分という前提を持つ
部分的には「自然に認知文法的なふるまいをしている」と言えますが、
- LLMは認知言語学の理論をベースに設計されたわけではない
- 認知言語学が重視する「身体性」や「視点性」「意図の構成」などは現時点では不十分
- メタファーやイメージスキーマの「意味的基盤」も必ずしも明示的ではない
Q. 認知言語学を取り込めばLLMの限界を超えられるでしょうか?
素晴らしいテーマですね。それはまさに、今後のLLMの進化における鍵の一つです。以下では、まず現状のLLMの限界を整理したうえで、認知言語学をどのように取り込めばそれを超えられるかを段階的に整理します。1.身体性(embodiment)の取り込み
- 人間は身体感覚(触覚、視覚、運動感覚)を通じて言葉を獲得します。
- LLMにマルチモーダル性(視覚、動作、触覚の情報)を統合することで、「意味」をより身体に近づけられる。
- 実現例:
- 画像や動画との統合モデル(例:GPT-4V, Gemini)
- ロボットとの接続:言葉を通じて「押す」「持ち上げる」といった動作を体験する(=セマンティクスの体験化)
LangackerやLakoffが言う「力」「容器」「経路」などのイメージスキーマ(構造的な意味のテンプレート)をモデルに明示的に組み込む。たとえばテキストだけでなく意味構造グラフ(conceptual structure)を併用し、pushは "agent applies force to object in direction" の構造を持つ、という風に、抽象的構造を内部的に保持・操作できるようにする。
3. 視点性と談話構造の強化
- 視点(視野、話し手-聞き手の関係)、時空間的フレームを意識した構文理解は、認知言語学の得意分野。
- モデルに「誰が」「どこから」語っているかの視点プロファイルを持たせる。
- Deixis(こそあど)や時制が語用論的に整合するかをチェックする層を追加する。
- LLMは既に使用ベースで学習しているが、スキーマ(抽象パターン)とインスタンス(具体例)を区別・階層化できていない。
- 意味構造の階層性を学習させる新たな訓練手法(例:contrastive learning + 構文意味タグ付け)
- 「構文=意義ある意味パターン」という発想で、文法スキーマを自動抽出・整理するモジュールを設ける
まとめ:認知言語学は「意味」を再び中心に戻す鍵
現在のLLMは「意味を考えているようで、実は確率で動いている」存在です。認知言語学を取り込むことで、- 意味の身体的・経験的根拠
- 構文と意味の統合的理解
- 言語使用における意図と視点の反映