LLMは「考えている」のか——トークン予測と知能の本質的な違い

「ChatGPTは本当に考えているのか？」——この問いは、AIを日常的に使うようになった多くの人が感じる素朴な疑問だ。対話が自然で、複雑な質問にも答え、時には人間よりも詳細な説明を返してくる。そう感じるのは自然な反応である。

しかし、LLM（大規模言語モデル）が実際にやっていることは、私たちが「思考」と呼ぶものとは根本的に異なる。その違いを理解することは、AIを正しく使い、正しく評価するために不可欠な視点だ。

トークン予測とは何か

LLMの本質は「次のトークンを予測する確率計算」だ。

テキストは「トークン」という単位に分解される。英語では単語やサブワードが、日本語では形態素や文字単位がトークンになることが多い。たとえば「東京は日本の首都です」という文は、「東京」「は」「日本」「の」「首都」「です」のように複数のトークンに分割される。

LLMは、それまでに出現したトークンの列を入力として受け取り、「次に来るトークンとして最も確率が高いのは何か」を計算する。この計算を繰り返すことで、文章が生成されていく。

重要なのは、この確率計算がどのように学習されているかだ。LLMは大量のテキストデータを学習材料として、「あるトークン列の後には、どのトークンが続きやすいか」というパターンを、数百億から数千億のパラメータ（重み）に蓄積する。いわば、人類が書いたテキストのパターンを圧縮した統計的なモデルが、LLMの正体だ。

人間の思考との本質的な差異

人間が考えるとき、何が起きているだろうか。脳内では目標の設定、情報の取捨選択、仮説の生成と検証、感情や身体感覚との統合、過去の経験からの類推など、多層的なプロセスが同時進行している。

LLMには、このような意味での「目的意識」も「理解」も存在しない。LLMはプロンプト（入力テキスト）に対して確率的に最もそれらしいトークン列を生成するが、その出力が正しいかどうかを内部でチェックする仕組みを本質的に持っていない。

さらに重要な点として、LLMには「世界モデル」がない。人間は物理法則、社会規範、因果関係についての内部モデルを持ち、それを使って推論する。LLMが「重いものは落ちる」という文脈で正しい回答をするのは、それが事実だからではなく、そのパターンが訓練データに多く存在していたからだ。

「推論しているように見える」理由

それでは、なぜLLMは推論しているように見えるのか。

第一の理由は、訓練データの質にある。LLMは論文、教科書、解説記事、問題と解答のセットなど、人間が「思考の過程」を文章化したテキストを大量に学習している。つまり、人間の思考パターンを言語化したものを模倣することが得意なのだ。

第二の理由は、Chain-of-Thought（段階的推論）の効果だ。「ステップバイステップで考えてください」と指示すると、LLMは中間ステップを生成しながら答えを導く。これは確率的生成において、中間トークンが次のトークンの予測を「補助」するため、結果的に精度が上がる現象だ。人間の思考を模倣した形式が、確率計算の精度向上に寄与しているという逆説がある。

第三の理由は、人間側の認知バイアスだ。私たちは流暢で自然な言語出力を見ると、そこに知性や理解を投影する傾向がある。これはELIZA効果と呼ばれ、1960年代のシンプルなチャットボットでも観察された現象だ。

LLMができることとできないこと

この理解から、LLMの能力と限界が明確になる。

LLMが得意なのは、訓練データに豊富に存在するパターンの再現、文章の要約・翻訳・言い換え、よく知られた知識の整理と説明、コードの定型パターンの生成などだ。これらは「パターンマッチングの確率計算」が本領を発揮する領域だ。

一方、LLMが本質的に苦手なのは、訓練データに存在しない事実の正確な把握、精度の高い算術計算（確率的トークン生成は計算に向かない）、自分の出力が正しいかどうかの自律的な検証、そして新規性の高い概念の真の意味での理解だ。

誤解が生む問題

「LLMは考えている」という誤解は、実用上の問題を生む。

最も危険なのは、LLMの出力を無検証で信頼することだ。LLMは自信満々に誤った情報を出力することがある（ハルシネーション）。これは「考えていない」ことの直接的な帰結だ。検証メカニズムなしに確率的に最もそれらしい文章を生成するため、それが事実と一致するとは限らない。

もう一つの問題は、過度の期待だ。LLMが「理解している」と思い込むと、LLMに対して不適切なタスクを委ねることになる。法的判断、医療診断、倫理的な意思決定などは、確率的パターンマッチングではなく、責任ある人間の判断が必要な領域だ。

まとめ

LLMは「次のトークンを予測する確率計算機」であり、「思考する存在」ではない。

この事実は、LLMの価値を否定するものではない。確率的パターンマッチングは驚異的に有用であり、人間の知的作業の多くを補助できる。しかし、その本質を正確に理解することで、適切な使い方ができる。

LLMを使うとき、心の中に「これは洗練された確率計算の結果だ」という認識を保つこと——それが、AIと正しく付き合うための最初の一歩だ。