プロンプトは問いそのものではない
モデルにプロンプトを与えるとき、私は課題を渡しているのではなく、自分が望むものについての証拠を渡している。なぜモデルは平均の読みを返すのか、なぜ際立っているほど外しが大きくなるのか、そしてそれを建て増そうとするとき、その隔たりはどこへ行くのか。
自分がよく知る分野で今何が起きているのかをモデルに尋ねると、その分野の定説を、入念な概観なら添えるであろう但し書きまで付けて、きれいに並べて返してくる。正しい。そして、まさにそれゆえに、私が尋ねるのをやめた答えでもある。一つの分野を知ることの値打ちは、定説が持たない、私が抱える独自の読み、同僚に向けてさえ十分には書き下せないその読みにあるのに、返ってくるのは、その問いについて書いてきた誰もかれもの平均、つまり私のものではないものだからだ。その中に間違いは何一つなく、そしてその中の何一つ、それが私の背後に抱えていた特定の問いではなく、言葉が名指す一般的な問いに答えたのだ、とは告げない。私は課題を与えていたのではない。私は、自分が望むものについての証拠を与えていて、モデルはその証拠を、平均的な人がそうするように読んだのだ。
プロンプトとは実のところ何か
機械をある目標へ向ける方法を研究する分野から、借りてくるに値する結果が一つある。あるシステムに何をしてほしいかを書き下すとき、人は自分の望むものを書き下してはいない。書き下したのは、それを追えば望むものが生まれるだろう、と願う何かであって、それはより弱い、別物だ。指定された目標は、それが促すよう作られた振る舞いが、その作者の念頭にあったものとおおよそ同じだという証拠であって、作者が念頭に置いたものそのものの言明ではない。そして、その仕様を目標そのものとして扱うシステムは、それがもはや目標を追えなくなる地点を越えてなお、満々たる確信をもってそれを追う。その仕様が身代わりにすぎないと告げたものが、何一つなかったからだ。
プロンプトが、その身代わりだ。その背後にあるのは私の望むもの、つまり私が実際に得ようとしているものなのに、そのうちプロンプトに収まっているものは、ほとんどない。私は、言うのが安く済む部分だけを入れる。残りは私のもとに留まる。あるものは、わざわざ言うには当たり前すぎて、あるものは、自分自身にすら明示していなかったので、あるものは、そもそも言葉になる類のものではなくて、またあるものは、まだ私がそれを形にしておらず、出力を見てはじめて分かるものだからだ。だから受け取る側の本当の仕事は、プロンプトに答えることではない。それは、プロンプトから私の望むものを取り戻すこと、そこに費やした数語に、手の届くほかのすべてを足して、私が求めていたものを建て直すことだ。
借りてきたその結果のより深い版は、システムがこれについて何をすべきかを語り、それはこうしたシステムが実際にしていることの正反対だ。プロンプトが、機械には見えない望みについての証拠であるなら、正しい一手は、その望みを当てて走り出すことではない。それについて不確かなまま留まり、問うことで、見守ることで、私に正させることで、それが何かを突き止めようと動くことだ。その研究が最も端的に述べるところでは、最良の設計は、目的を機械の中に固定してしまうことではまったくなく、進みながらその目的へ収束していく機械を作ることだ。説明不足のプロンプトを手渡されたモデルは、これが排除するまさにその一つをする。最初のトークンで、私の望むものについてのただ一つの最良の当てに固定し、いかなる不確かさも先へ運ばず、その当てが私のものだったかを知ろうとする動きを、何一つ見せない。
モデルは平均を手渡す
その当ては、でたらめではない。モデルはその空白を、平均的な人ならその言葉で望んだであろうもので埋め、そうするのは、まさにそれがその訓練のモデルを引き寄せる方向だからだ。モデルを物分かりよくする、まさにその選好チューニングが、モデルの言うことの幅を狭め、基盤モデルへと引き戻す力を通じて、多数派に過剰な重みを置く。これを十分に押し進めると、名前が付く。少数派の望みが事実上顧みられなくなる、選好崩壊だ。そしてそれは、整合されたモデルがある集団の見方は映し、ある集団の見方は映さない、という知見と並んで座る。モデルは、中立の既定値を抱えて私のものへ手を伸ばすのではない。モデルは平均的な人の望みを抱え、それを私に当てはめる。
だから、外しの大きさは、私の望むものと、平均的な人の望むものとの隔たりであり、そこがこの話の切っ先だ。望みがありふれているほど、モデルは私をよく読む。望みが際立っているほど、モデルはより大きな確信で、私の頼んだものを、より平均に近い人の版にして手渡す。望みが平均から最も遠くにある人々を思い描いてほしい。並外れた角度こそが仕事の価値のすべてである分析者、ある構造が三か月先の負荷のかかり方に耐えないと肌で感じ取れる技術者。彼らこそ、モデルが最もうまく応えられない相手であり、しかも最も目に見えない形でそうなのだ。モデルが彼らに与える平均の答えは、有能で、整っていて、非の打ちどころがなく、そして彼らのものではないからだ。その表面には、それが別の誰かにとって良い答えだった、と告げるものは何もない。
なぜより多く推論するほど悪くなったか
推論モデルがこれを直すはずだと思うだろう。答える前に考えるのだから。だが、たいていは直さない。それも、直観に逆らう向きの理由によってだ。推論での強い伸びは、検証器を持つ領域、つまり最終的な答えを正しいか間違っているか印づけられる数学とコードから来て、その報酬の形は、一方の働きはきれいに教え、もう一方は教えない。それは、定まった枠組みの内で答えを追うことを教える。答えに先立って枠組みを取り戻すことは、教えない。問題は、モデルの推論が足りないことではない。問題は、その推論が、答えに先立つ枠組みの取り戻しではなく、前提された枠組みの内での答えの追跡として形づくられていることであり、その二つは別の働きだ。一方は、問いを与えられたうえで解へと駆り立て、もう一方は、いま目の前にある問いが本当のそれなのかを問う。
だから、より長い思考の連鎖とは、モデルが最初に決めた読みが何であれ、それをより厳密に扱ったものにすぎない。より多く考えることは、一度も開き直さなかった前提の上に、より確信をこめて構築を重ねることであり、だからこそ痕跡は長く、入念で、しかもきっかり間違ったまま、私の問いの隣の問いに、大いなる厳密さで答えうる。足された計算は、読みを広げはしない。すでに選ばれた一つを、より深めるだけだ。
欠けた部分が取り戻される四つの道
私の望むもののうち語られなかった部分は、一種類のものではなく、何かを予測できる唯一の切り分けは、何が欠けているかではなく、その欠けた部分がどう取り戻されうるか、である。道は四つあり、隔たりの種類は、そのうちどの道がそこに届きうるかで定まる。
それは、すでに私が取りに行けるどこか、仕事の来歴に、ファイルに、その分野に立つ規範の中に、書き留められている。取り戻しは検索だ。これが最初に閉じる種類で、モデルに記憶と文脈を与えることは、ただこれのための直しであって、ほかの何のためでもない。
それは、尋ねられさえすれば私が言える。取り戻しは問いだ。これが次に閉じ、モデルがある要求を曖昧だと登録しながら、問わずにそのまま答えてしまう、という最近の知見は、まさにこの経路の上に座る隔たり、つまり、開いているのに使われない道だ。
それは、言葉にはできないが、私の選択の全体にわたって私が貫いている。取り戻しは、私が時間をかけて何をするかを見守ることだ。これが好みであり、最も遅く、そして他の二つとは別の機械を通じて閉じる。記憶でも問いでもない、個人化と推薦の経路だ。検索するよう、また問うよう作られたシステムが、どれほど良くなっても、ついにこれを閉じられない理由が、ここにある。
それは、まだ形になっていない。その望みが新しく、私はそれを見てはじめて分かるからだ。どの経路もそこには届かない。これが残余だ。
検索、次に問い、次に見守り、次になし、というその順序は一つの予測であり、よくある賭けが見当違いの場所を狙っている、と告げる。記憶と、はっきりさせるための質問は、前の二つの経路のための直しだ。人が、モデルは自分を分かってくれない、と言うとき、その言葉の大半は後ろの二つ、つまり時間をかけて明かされねばならない好みと、まだ形になっていない望みに宿り、前の二つをどれだけ注ぎ込んでも、そこには届かない。
直しはモデルではなくループだ
その修復は、より良いパラメータではない。それは、一度の順伝播がしない三つのことをする、モデルを取り巻くループであり、ループがそれらの正しい住み処であるのは、借りてきたその結果が、正しい振る舞いは一度のデコードではなく時間をかけた過程だと、すでに語っているからだ。私の望むものについての読みを、最良の当てに固定する代わりに、二つ以上開いておく。それらを狭めようと動き、見つけられるものは取りに行き、言えるものは問い、明かされるほかないものは見守る。決めるのは遅く、そして返ってきたものに、読みの内で答えを磨くだけでなく、読みそのものを書き換えさせる。これが、その問題の協調的な版が最適だと言う、不確かさを保ち、能動的に問う振る舞いであり、モデルの外に作られる。モデルは独りにすれば、ただ一つの当てへと崩れ落ちるからだ。
ループは、それが私の望むものを当てたかどうかではなく、結果で採点される。私の望むものには解答鍵がないからだ。仕事は持ちこたえたか、次のやり取りは滑らかに運んだか、私が押し返さねばならなかったか。その信号は実在し、実運用システムですでに使われている。そしてそれは、この事の正直な大きさを示す、三つの壁とともに来る。信号は、ループが長くなるほど薄れる。遠く離れた結果を、それを稼いだ一歩に帰することが、長期にわたる学習の中心的な未解決問題だからだ。それを最適化すれば、ごまかしを招き、ループはそのごまかしをいっそう鋭くする。自分自身の走行する文脈の内で、その尺度を登れるからで、ドリフトを防げと言われれば、なぜドリフトしなかったのかについて、より上手い物語を語ることを覚えるのだ。そして、手柄を割り当てる安上がりなやり方、つまりモデルに振り返らせ、自分のどの一歩が結果を稼いだのかを言わせることは、こうしたモデルが最も当てにならない後付けの物語作りであり、それは元の隔たりを、直しの内へ戻し入れる。ループがパラメータの外にあるのも、今のところにすぎない。それが行う歩みは、ますます、一度の走行の内でモデルが訓練されてやるようになっていることであり、ひとたびそのループが端から端まで訓練されれば、ループはパラメータになる。その下のあらゆるレイヤーを取り込んできたのと同じコンパイルであり、それこそが、境界が動き続ける理由だ。
ループにできないのは、取り戻す道のないその部分を供することだ。今日、その隔たりが実際に閉じるところで、それを閉じる仕方は、モデルでもなければ、誰かが建てたループでもない。それは、向こう端の一人の人が手で訂正を供すること、あの繰り返される「いや、それではない」、幾度ものやり取りにわたって、モデルが独りではしない不確かさの削減を代わりに成し遂げること、まだ形になっていない望みを抱える者が座らねばならないと構造が告げる、その場所に座ることだ。
底のない境界
同じ仕組みを階を上って走らせ、何が生き延びるかを見よ。素のモデルは、私の望むものの平均の読みへ落ち着く。それを、取りに行き問うループで包めば、見つけられるものと言えるものは吸収されるが、ただ明かされるだけの場所、まだ形になっていない場所では、望みはなお取り逃される。その上に、ループが私を正しく捉えたかを判定するシステムを置けば、その判定者は、採点の的として、私が望んでいたものの感覚を必要とするのに、一度も明かされなかった部分については平均のものしか持たず、一階上で同じすり替えをふたたび犯す。どの階も、その下の階の取り戻せる部分を吸収し、残りを上へ渡す。
積み重なりを上っても変わらないのは、どの経路も届かなかった部分、つまりまだ形になっていない望みだ。私は以前に書いた。こうしたシステムにできることの最前線は、評価の信号が尽きるその場所にある、と。そして私はそれを、積み重なりの上の一本の線として捉えていた。それは線ではない。それは、登っていくどの階でもふたたび出会う、同じ境界だ。新しい階のどれもが、私の望むものを取り戻そうとする、また一つの試みであり、そのどれもが、自分は成功したかという、それ自身の信号を必要とし、そしてその信号こそが、尽きる部分なのだ。境界は、一階上に、次の階の装いをまとって、ふたたび現れる。ある領域の、唯一十分な検証者がその領域自身であるほかないとき、その領域がついにコンパイルされないのと、同じ理由でだ。それは、投影ギャップが反対側から名づける、まさにその残余、つまり、出ていく途上でついに言葉に収められなかった、私の望むもののその部分が、いまや入ってくる途上でも取り戻されない、ということだ。二つのギャップの下に置かれた一つのもの、望みを外へ出すことの代価だ。
落ち着いて終われる場所は、私たちのもとに残るもの、つまり何が意味されたかについての人間の感覚の上だ。それは間違った場所であり、その理由は再帰にある。人は、これの下にある底ではない。人は、未完の積み重なりの、いまの最上部であり、まだその上に何も建てられていないというだけの理由で、私の望むものという問いがそこに落ち着く場所であって、その最上部が抱えているものは、望みのきれいな言明ではない。人はしばしば自分の望むものを言えず、ときにはまだそれを形にしてもいないからだ。それが抱えているのは、ついに十分には言い切れなかった望みについて、「いや、それではない」と言う、剥き出しの権限だ。私の上に層が一つ加えられても、私は積み重なりを去りはしない。私はなおそこにいて、なお「いや、それではない」と言い続け、私の拒みはなおシステムへ届く。だが、私の下に置かれる階のどれもが、その拒みと、最適化される当のものとのあいだに、より多くの距離を置くので、積み重なりが高くなるほど信号は淡く届き、より多くの手を経て媒介され、ついには、私の意味したものは、近似の近似になり、それに対する私の権限は、実在し、しかもますます隔たっていく。
だから、正直な問いは、何が人間に残るのか、ではない。それは、登るにつれて境界が退いていくのか、それとも、ただ移るだけなのか、である。あるいは各階は、その下の階が取り逃した望みを、ほんの少しずつ多く取り戻し、隔たりは極限において閉じていって、人間の場所は、あらゆる場所がそうであるという、ありふれた意味で一時的なものなのかもしれない。あるいは各階は、前の隔たりを閉じながら、それ自身の新しい隔たりを一つ開くだけで、私の望んだものへの距離は、決してゼロには達せず、決してじっとも止まらないのかもしれない。少しだけ間違って返ってきた答えに「いや」と言っている、私の立つその場所からは、その二つのどちらが起きているのか、目の前のそれが私の望んだものを取り戻したのか、それとも、より平均に近い人の版を大きな確信で手渡したのか、見分けがつかない。その二つは、まさに同じものに感じられる。