論理によって我々は証明し、直観によって我々は発見する
今日のLLMが優れた証明エンジンである理由、そしてこれからの2-3年が「静かな」発見アーキテクチャのものになる理由
要旨
私が手がける最も興味深い思考は、整然と並んだ文として到来することはめったにない。まず言葉以前の形として立ち上がり、背景でじっくり熟し、最後にようやく一つの文へと噛み合う。この違いにこだわるのは、現代のLLMがその正反対の側から進んできたからだ。まず言語、一度に一トークンずつ、「推論」をテキストとして遂行する。この道は強力で、監査しやすく、途方もなく生産的でもある。だが発見には重い税を課す。今日のLLMは証明エンジンのように振る舞う、と私は考える。直列にことを運び、言葉に展開でき、一貫性を保てと迫られ、すでに知られた道を仕上げることに秀でている。人間の認知、とりわけ洞察の「シャワー思考」や仮説生成は、別の体制に頼る。互いに相いれない断片を、まとまるまで抱えていられる並列の潜在的作業空間だ。これからの24-36か月の本物の前進は、より長い思考連鎖からは来ないだろう。それはむしろ、発見を証明から切り離すアーキテクチャから来る。潜在空間で静かに思考し、内的にシミュレートし、そのうえで初めて言語へ投影できるモデルだ。認知科学は我々の内で何が起きていると示唆しているのか、今日のLLMはそれをどう映し（そして取り逃がし）ているのか、そして次の波を規定する具体的なシステムのパターンはどんなものか。これから順に素描していく。
スライドへのリンク https://gxnzdfgg.gensparkspace.com/
1. 文では語らない朝の思考
私は何かがすでに「そこにある」状態で目覚めた。
正当化できる結論でもなく、たどり直せる三段論法でもない。むしろそれは、いくつかの考えが私の眠っているあいだにどうやら交渉を済ませていたらしい一つの配置に近く、そこに大事だという情動のタグと、ここを見よと告げる内なる指針のようなものが添えられていた。数分が経ってようやく、それは言語になった。
これは、どんなML系のブログよりもポアンカレがうまく捉えた種類の瞬間だ。
論理によって我々は証明し、直観によって我々は発見する。
我々は「直観」を漠然とした標識のように扱う。だがその現象学は具体的だ。発見はしばしば言葉以前に始まる。それは「システム1」の衝動性（口走るような速いパターン照合）ではない。「システム2」の語り（遅く明示的な段階を踏むこと）でもない。それは第三の様式、すなわち**孵化的認知 **(incubative cognition)により近い。文のレベルの記録をたどって行進することなく、遠く離れた表象どうしを結びつけられる、背景での統合だ。
ここで居心地の悪い点は、今日のLLMが正反対の様式に向けて最適化されているということだ。それらはプロンプトを一貫した線形の成果物へと変えることに驚くほど長けている。証明を書き、段階を追った推論を生成し、思考のように見える説明を生み出せる。だがそれは、それらが優れた発見者であることを自動的に意味しはしない。
私がこれからの数年を賭ける命題が、ここにある。
**今日のLLMは、おおむね証明エンジンだ。**それらは直列で、言葉に展開でき、「次のトークンを生み出さねばならない」というインターフェースに縛られている。発見を模倣することはできるが、そのために重い税を払う。ここで発見とは、与えられた推論の記録をただ延ばすことではなく、不確実性の下で新しい潜在構造を提案しながら仮説を生成することを指す。
**これからの2-3年は、その二つを切り離すアーキテクチャをめぐるものになる。**探索し、シミュレートし、統合できる「静かな」発見の基盤、それに続いて、その結果を言語へ投影する証明／説明の層である。
2. 本当のボトルネックは知能ではない。インターフェースだ
人間もLLMも、言語の線形な流れ、すなわち一語のあとにまた一語と続く流れを通じて伝える。その流れは狭い通路だ。話すとき、我々は心が必ずしも持っていたわけではない或る順序へと自分を縛りつける。トランスフォーマーがデコードするとき、それは続くすべての文脈となる一トークンへと自分を縛りつける。
その流れの下には、別の何かが棲んでいる。**潜在的作業空間 **(latent workspace)、すなわち部分的な考えどうしが共存しうる高次元の分散した状態だ。認知科学では、古くからの一連のモデルが認知を並列制約充足として扱う。相互作用する多くの要因が、一つずつ数え上げられるのではなく、一貫性へと「沈み込む」と見るのだ。神経科学では、グローバル・ワークスペース理論がこれを調停する一つの有力な仕方である。多数の並列な無意識的処理が競い合い、やがて一つの連合が「勝ち」、報告できる単一の意識内容となる。
この枠組みは、現代のトランスフォーマーの振る舞いに不気味なほどよく当てはまる。（これはボトルネックと協調の水準での類比にすぎず、生物学的な等価性の主張ではない。）
- 並列的な潜在計算は順伝播の内側で起きる（隠れ状態、アテンションヘッド、残差ストリーム）。
- 直列的なブロードキャストはデコードで起きる（一つのトークンが選ばれ、文脈に追加される）。
決定的な損失はその間で起きる。豊かな潜在状態が単一の系列として表現されねばならないとき、情報は脱落するか歪む。私はこれを**投影ギャップ **(projection gap)と呼ぶ。高次元の潜在基盤に表象されているものと、線形の物語へ圧縮されたときに生き残るものとのあいだのずれである。
投影ギャップは、自分自身の内に感じ取れる。
- 何かを「知っている」のに、まだ言えない。
- 一貫性を感じ取りながら、その理由を並べ立てられない。
- 解を思い描けるのに、順を追って説明しようとすると詰まる。
そしてLLMにも見て取れる。
- モデルはしばしば答えを早くに（潜在状態で）「知っている」のに、それでも長い説明を生み出す。
- 強いられた思考連鎖は、因果として忠実でないもっともらしい語りへつながりうる。
- モデルがトークンを一つずつ進み続けねばならないため、初期の誤りが連鎖的に広がる。
**言語は思考ではない。それは思考の、ボトルネックを経た投影だ。**その投影を過程と取り違えるとき、我々は証明を発見と見誤る。
3. 直観と「シャワー思考」について認知科学が実際に語ること
人々はあらゆる心的現象を「システム1対システム2」に押し込めたがる。便利な教育上の道具ではあるが、洞察を扱うのに十分なモデルではない。
認知科学と神経科学がおおむね支持する、より地に足のついた像が、ここにある。
3.1 洞察はしばしば孵化 + 閾値越えである
「洞察」型の問題解決において、人々はしばしばこう報告する。
- 行き詰まっていて、
- 一歩退き（あるいは心がさまよい）、そして
- 突然の「アハ！」の瞬間が来る。
これは二相の力学と整合する。
- 並列的な背景処理。無意識のうちに連想を探索し、制約を緩め、表象の重みを付け直す。
- グローバルな点火 / 意識的アクセス。一貫した解が十分に強まると、それは意識に入り、報告できるものになる。
その「アハ」は魔法ではない。分散したシステムが収束し、単一の解釈が勝つとき、それがどう感じられるかを指しているにすぎない。
3.2 心のさまよいは思考の不在ではない。別の配分の体制だ
脳には、意図的な制御に関わる神経網があり、内部で生み出される思考に関わる神経網がある。シャワーを浴びたり、歩いたり、半ば眠っているとき、トップダウンの課題制御は緩む。それは「より愚かなモード」ではない。それは探索の幾何を変える。いまの言語的な物語による制約は減り、遠く離れた連想の機会は増える。
これが大事なのは、発見がしばしば、いまの局所最適から抜け出すことを要するからだ。最適化の用語で言えば、孵化は時として温度の上昇、すなわち閉じ込められている盆地を避けるための制御された方法である。
3.3 言葉以前の思考は実在し、ありふれており、理論化が足りていない
（行動研究、患者研究、内省サンプリング法から得られた）強い証拠が示すように、すべての思考が言葉によるわけではない。人々はイメージ、空間構造、情動のタグ、「記号化されていない」思考を報告する。文を伴わずとも、明確な意図や考えを抱きうる。
これが、「直観」が標準的な「システム1対システム2」の二分法にうまく収まらない理由だ。いまのML言説では（たとえば最新の推論モデルにおいて）、我々はしばしばシステム2を明示的な言語的直列化、すなわちトークンを段階を追って打ち出す行為と一括りにする。だが深い認知作業が、つねに言語の連鎖であるわけではない。
本物の発見は第三の様式で営まれる。システム2のように遅いが（時間と計算を要するが）、システム1のように静かであり（記号論理ではなく高次元の連想の上で営まれる）。機械に発見させたいなら、我々は「推論」がつねに記録のように見えるべきだという要求をやめねばならない。
- システム的な語りは直列的で、記号的で、報告可能だ。
- 孵化的な洞察はしばしば並列的で、下位記号的で、まだ報告できない。
機械に発見させたいなら、我々は発見が一つの文として生まれるべきだという要求をやめるべきだ。人間はそのようにはしない。我々は潜在的作業空間にあの雑然とした統合を委ね、言語化はそのあとで行う。
4. 思考連鎖が突破口であると同時に罠でもある理由
思考連鎖 (CoT) のプロンプトは本物の解錠だった。モデルに「段階を追って考えよ」と求めると、多段階の課題で性能が上がり、誤りが目に見えるようになる。だがそれは、分野全体をある微妙な混同のほうへとそっと押しやりもした。
我々は推論をテキストとして最適化しはじめた。
これには、時とともに積み重なる三つの代償が伴う。
4.1 直列化の税
モデルが中間の認知をトークンとして表現せねばならないなら、本当の情報を運ばないかもしれない語りに対して計算と文脈を払うことになる。システムに、言葉を吐き出して「思考の時間を買う」よう強いているのだ。
人間もこれの一種をする（内言）。だが我々は非言語的な形式でも思考する。LLMは、既定では推論時にその選択肢を持たない。デコードのインターフェースが主なのだ。
4.2 物語の固着とコミットメントの連鎖
自己回帰的デコードはコミットメントの機械だ。いったんトークンが生み出されると、それがそのままプロンプトになる。初期の前提が、続くすべてを錨のように固定する。これによって「物語の慣性」が生じる。後の制約が修正を強いるべきときでさえ、モデルが進み続けるのだ。
人間は「待て、それはなしだ」と言える。
素のデコーダーはそうできない。外側のループで包まない限りは。
4.3 報告可能性のバイアス
システムに自らを正当化せよと求めると、システムはうまく正当化できるほうへと傾く。それは探索を歪めうる。人間は合理化する。分離脳の作話は劇的な事例だが、日常の説明もしばしば、真実よりも一貫性を保つ事後の物語だ。LLMも同じことをする。ただ、その物語を流暢に書けるだけだ。
だから思考連鎖は「モデルが自らの心を見せている」ものではない。しばしばそれは、モデルが正しさと相関するがその忠実さは保証されないもっともらしい物語を生み出しているのだ。これが投影ギャップの働いている姿である。
発見を気にかけるなら、罠は自明だ。**発見の過程を、その過程そのものを変えずに、説明として生まれさせることはできない。**ときにそれは助けになる（構造を強いることで）。ときにそれは、我々がまさに必要とするその様式を塞いでしまう。
5. 次の波、「静かに考えてから語る」アーキテクチャ
我々は、言語のみの認知から、言語をインターフェースの層とする潜在優先の認知への移行を予期すべきだ。
これからの24-36か月を規定するパターンが、ここにある。
5.1 潜在的スクラッチパッド、隠れた思考、そして「静かな」推論
直列化の税に対する最も直接的な処方は単純だ。モデルに、公開トークンを吐き出さずに計算する余地を与えることである。
思考連鎖を英語で書くよう強いる代わりに、モデルに潜在表現の内で内部の段階を走らせ、それから答えへと投影させる。これは、我々が話さずに「問題とともに座っている」ときにすることの、アーキテクチャ版だ。
この方向は、隠れた根拠トークン、潜在連鎖、停止／思考の段階、あるいは内部熟慮ループを導入する研究の取り組みにおいて、すでに見て取れる。それらは計算を可視のテキストから切り離す仕組みだ。モデルは、出力の長さを増やすことなく不確実性を減らすために計算を費やすことを許されるべきである。
5.2 発見エンジンを証明エンジンから切り離せ
最もすっきりしたメンタルモデルは、二段の認知スタックだ。
- **発見エンジン（潜在）。**候補となる仮説、計画、表象、あるいは説明を生成する。代替案を探索し、内的なシミュレーションを走らせ、曖昧さに耐える。
- **証明エンジン（言語）。**選び、検証し、伝える。構造化された推論を生み出し、一貫性を点検し、出典を引用し、コードを書く。
これは「マルチエージェント」アプローチとは異なる。それは機能の分離であり、コンパイラのパイプラインのようなものだ。
- フロントエンド。抽象構文木を生成する。
- ミドルエンド。最適化する。
- バックエンド。コードを吐き出す。
ベースモデルがいまだ自己回帰的デコーダーであっても、システム設計によってこれの一種を今日実装できる。
5.3 外側ループの認知、サンプリングと批評器と評価とツール
潜在優先のアーキテクチャが主流になるまで、我々はモデルを包むことで認知の場を近似できる。
- 複数のドラフト（サンプリング）。いくつかの解の軌道を探索する。
- **批評器／評価のループ。**送り出す前に自らの答えを攻撃する。
- **ツール使用。**算術、検索、シミュレーション、単体テストを肩代わりさせる。
これは孵化と意識的な点検の工学的な対応物だ。
- 背景での変異の生成
- それから入念な検証
実際にこのパターンは、多くの課題で一発の思考連鎖をすでに上回る。コミットメントの連鎖を減らすからだ。
5.4 単に文脈が増えるだけではない記憶
長い文脈窓は役立つが、使える長期記憶と同じものではない。圧縮と検索がなければ、「より多くのトークン」は干し草の山になる。
記憶を中核のモジュールとして扱うアーキテクチャの増加を予期する。エピソード的要約、意味記憶ストア、検索ポリシー、学習された圧縮を含めて。
発見エンジンは、遠く離れた結びつきをつくるために構造化された想起を必要とする。証明エンジンは、それを正当化するために追跡可能な想起を必要とする。
5.5 可塑性、繰り返し浮かび上がる欠けた環
生物学的な認知と、配備されたほとんどのLLMとのあいだの一つの深い分岐は、可塑性だ。脳は経験とともに絶えず変わる。ほとんどのモデルは、ファインチューニングを除けばそうしない。最も大事な「直観」の向上は、より大きなモデルからは来ない。むしろそれは、速い適応のための、制御され安全な仕組みから来る。
本番環境での制御されないパラメータの更新ではなく、短命の連想を形づくり、作業中の仮説を更新し、中核の能力を破滅的に上書きしない仕方で局所的な文脈から学べるシステムである。これが、ただ処理するだけの心と、自らを更新する心との違いだ。
発見は、考えを生成することだけではない。それは仮説空間を作り直すことである。
6. 実践的な含意、本物の発見システムを構築する（そして見分ける）方法
いまLLMで何かを構築しているなら、要点はこうだ。
6.1 より長い連鎖だけに頼るな。より良い探索の幾何のために最適化せよ
長い思考連鎖は深さの証拠ではない。しばしばそれは、モデルが持つ唯一の物差しであるトークンで時間を買っている証拠だ。
代わりに、
- 多様性を使え（複数のドラフト）。
- 構造化された自己攻撃を使え（批評）。
- 硬いツールを使え（実行、検索、テスト）。
- 遅いコミットメントを使え（前提を早くに固定するな）。
6.2 今日出荷できる具体的な「発見から証明へ」のループ
もし私が今日、本番用の推論エージェントを設計するなら、ただ「段階を追って考えよ」とプロンプトしたりはしない。私は、語りの前に沈黙を築くようにシステムを設計するだろう。
目標は、モデルが文脈窓にコミットする前に、潜在空間で不確実性を解消するよう強いるループだ。システムは高エントロピーの候補ベクトルを生成し、それらを評価（ツール、単体テスト）にぶつけ、勝った軌道を物語ではなく構造化された状態へと圧縮すべきである。解が見つかり検証されたあとで初めて、証明エンジンが目覚め、その状態を人が読める説明へと翻訳する。
6.3 避けがたいトレードオフ、監査可能性対認知
潜在優先の推論へと進むにつれ、我々はいくらかの透明性を失う。隠れたスクラッチパッドは性能を高めるが、検査可能性を下げる。
だから本当のフロンティアは、モデルを静かに考えさせることだけではない。
それは、我々がなお信頼できる仕方で、それらに静かに考えさせることである。
それはつまり、
- 検証可能な出力、
- ツールに基づく点検、
- 機構的な解釈可能性、
- そして「見えない認知」を決定的なリスクとして扱うガバナンスのパターン、である。
結論
次の飛躍が、LLMに「段階を追って考えよ」とより強く求めることから来るとは、私は思わない。私はそれが、生物学的であれ人工的であれ、心についての基本的な何かを認めることから来ると思う。話すことは思考が起きる場所ではない。話すことは思考が読み取れるようになる場所だ。
今日のLLMは、読み取りやすさにおいて目を見張るほど強い。それらは求めに応じて証明を生み出せる。だが発見は（明示的には計算しなかった考えを抱いて目覚めるような、あの感覚をともなうものは）別のアーキテクチャを必要とする。最初のトークンの前に孵化し、探索し、収束できる潜在的作業空間だ。
これからの2-3年は、規模の先へと進む。それは、欠けている分離の層を築くことをめぐるものになる。
- 雑然としていてよい発見エンジン、
- きれいでありうる証明エンジン、
- そして両者のあいだで投影ギャップを最小化する橋。
それが、「話す機械」から、良い考えがそうするように、まず静かに、そののち初めて言葉で、本当に我々を驚かせうるシステムへと至る道である。
スライドへのリンク https://gxnzdfgg.gensparkspace.com/