そのどれもゲームを選ばなかった
機械は、我々が手渡す基準をのぼるだけだ。そのどれも自らの基準を立てておらず、おそらく我々もまた立てていない。
十年前、一台の機械が、人々が数千年にわたって研究してきたゲームで、人間ならけっして打たなかった一手を打ち、そして勝った。人間の囲碁が積み上げてきた通念に逆らう手だった。はじめは間違いに見え、間違いだと言う者もいたが、百あまりの手を経て、勝負を分けた一手だったと明らかになった。最高の棋士たちでさえ打つ価値があるとは思ってみたこともない手だった。人々はその手を創造的だと呼んだ。私が目を留めたいのは、その創造性よりも静かなところにある。その手が良かったのは勝利へつながったからであり、何が勝利かはすでに規則に書かれていた。ある手がそこへつながるかどうかは、誰の手も借りずに即座に、何十億回でも確かめられた。その非凡さは本物だった。ただ、機械が一度も自ら定める必要のなかった「より良さ」の基準へ向けた非凡さだった。
機械が我々を最もはっきり追い越した分野にこの事実を照らしてみると、どの個別の成果よりも重要に思える一つのパターンが浮かんでくる。機械が我々を追い越した分野、すなわちボードゲーム、形式証明、競技プログラミングには、一つの共通点がある。問題が難しいということではない。評価が安いということだ。証明は、誰も新たに作り直す必要のない基準で正否が分かれる。プログラムはテストを通るか、通らないかだ。ゲームは規則がただで差し出す判定で終わる。「より良さ」を無料で、即座に確かめられる場所であれば、機械はどこでも発見する。ときに目を見張るほどに。そこではハードウェアが許す速さで試し、確かめ、また試すことができ、最後の試みが良かったかどうかを告げる者が間に挟まる必要がないからだ。機械がどこで我々を上回るかを最もよく言い当てるのは、仕事の難しさではない。評価の費用である。
評価がつねに安いとはかぎらず、その値が上がるときに起きることが、この話の残りである。あるときは、評価を人工的に作り出せる。最近の多くの研究は、まさにこの製作だ。点をつけるよう訓練された報酬モデル、選好データ、批評家のパネル、自動の審査団、そして書かれた仕様から直接に報酬モデルを学ぼうとする最近の試みまで、どれも、世界がただでは差し出さなかった「より良さ」の基準を外から据えつける方法である。またあるときは、その輪を回せるほど安く、安定して、近いところにある評価が、そもそも一つもない。基準そのものが争われ、遅れてやってきて、たいていは振り返ってからようやく定まるからだ。そして本当に重みを担う仕事とは、おおむねそういうものだ。趣味、戦略、まだ誰も問うていない問いの値打ち、パラダイムが立つ前の科学。だから機械は、評価が無料の領域を手中に収め、我々が評価を作る余裕のある領域へ押し入り、その条件では評価が手に入らない場所で立ち止まる。最前線は、信号が尽きるところにある。
ここまでは、私もしばらくのあいだ、おおよそ信じてきた。見えるまでにより長くかかったのは、無料の評価と買ってきた評価が一つの点で共通しているということ、そしてそこが肝心なのだということだ。どちらも与えられたものだ。我々が訓練した報酬モデルは、ゲームの規則に劣らず手渡されたものであり、ただ、より高くつき、一段上に据えられているだけだ。それを追うシステムは、試合に勝ったエンジンより一段高くのぼりはしたが、それでもなお、自らの基準を作ったのではなく手渡されただけだ。だから、機械がすることとしないことを分ける線は、無料か高価かではない。与えられたか、自ら立てたかである。機械は、自分なりの低い基準、すなわち課題や下位目標、さらにはそれらを採点する関数までも生み出しはじめたが、それはつねに、外から手渡されたより高い基準へ向けてのことだ。そして、そのどれを残す価値があるかを告げる最も高い基準を、そのどれ一つとして立てていない。何かが、最も高い基準を受け継ぐだけなのか、それとも自ら立てもするのか。それが私の立ち返りたい問いだ。見かけより難しく、しかも機械にかぎった話ではないと分かるからである。
これこそ、あの有名な手が最後まで触れなかったものだ。その手は、ゲームについては何一つ選ばなかった。盤が並べられる前に書かれていた勝利へ向けた、これまで誰も見たことのない最も優れた一手だった。新しさはつねに基準の内に宿り、これまですべてがそうであったように、興味深い問いは、機械がより良い手を見つけられるかどうかでは決してなかった。我々が作る何かが、「より良いとは何か」を決められるかどうか、それだった。
のぼることがその基準に届かない理由は、見かけより素直であり、評価の安い領域が最初に陥落した理由と同じである。最適化とは、一つの基準へ向けて、一歩ごとにそれを基準に照らしながら進むことだ。システムは、超人的な辛抱強さでそれをやってのける。だが、そうやって基準そのものに届くことだけはできない。なぜなら基準とは、一歩ごとに照らし合わせるその対象であり、「より良さ」の最初の定義を照らし合わせる相手は、どこにもないからだ。動作のすべてが、与えられた基準の追求であるようなシステムにとって、新しい基準を立てることは、より険しいのぼりではない。のぼることには決してできない、ただ一つの動きだ。それをするには基準の上の基準が要り、その上にまた一つが要るが、はしごには、のぼって辿り着く頂上がないからである。これは実在する限界だ。ただ、それが何に対する限界かを見てほしい。機械に対する限界ではない。最適化に対する限界、すなわち、手渡された基準へのぼることだけが唯一の手立てである、あらゆる過程に対する限界だ。そして何であれ、我々自身も含めて、それと違うことをするのかどうかが、この先の論の懸かる問いである。
まさにこれを打ち破るために立てられた分野があり、それを避けて通るなら、この論は安くなる。長年、人々は、固定された目標を追うのではなく自ら目標を立てるよう作られたシステムを築いてきた。新しさそのものに報い、興味深く異なるものなら何でも書庫に蓄え、近ごろは基盤モデルを輪の中に入れて、自ら挑戦課題を提案させ、それを新しいゲームと呼ばせている。何かが自らの基準を立てるなら、まさにここのはずだ。そこで私は、こうしたシステムが何を基準として用いているのかを探しに行き、その答えは、予想以上に問いを鋭くした。この目標を述べた近年の影響力ある一つの言明は、システムが生み出すものが、ある観察者にとって新しく、かつ学習可能でありつづけるとき、そのシステムを「オープンエンド(open-ended)」と定義する。そして、その観察者はシステムとは独立に規定されねばならないと求める。さもなければ発想が空疎になるからだ。何であれ、自らの産出物を興味深いと判定するだけで、オープンエンドと呼べてしまうだろう。そして実際に働くシステムは、その観察者をあからさまに外から据えつける。よく知られた一つの版は、「人間が興味深いと見なすものの諸概念のモデル」を用いる。人々が書いてきたすべてから、何を興味深いと呼ぶかを吸い上げたがゆえに、人間の趣味を代行する基盤モデルだ。そしてシステムは、そのモデルが高く評価するものなら何でも追う。その基準は、固定されてすらいない。その当の研究者たち自身が、システムがいったんその代理指標へ向けて最適化しはじめると、それを掻い潜りはじめると記し、それを防ぐために、新しい人間のフィードバックでそれを更新しつづけようと提案する。だが、この言葉が認めていることを見てほしい。基準は動く。そして、その動きの一つひとつが外から送り込まれる。人間の判断によって、あるいは、システムが自ら書いたのではない人間の趣味のモデルによって。だから基準は消えなかった。一段のぼっただけだ。「ゲームに勝て」から「興味深くあれ」へ。そしてその段で、それはふたたび外から手渡され、すり減るたびに外から補充された。自らの基準を立てるシステムを築こうとする最も真剣な試みでさえ、そもそも働くためには、自ら立てなかった基準を要する。無限後退は越えられなかった。一段のぼって、また出くわしただけだ。
それでもなお、何かは新しい基準を立てる。我々がそうしてきたからだ。負の数は、かつて不条理であり、やがて方便となり、やがて土台となった。それを初めて正当だと扱った者は、すでに存在する正当性の基準へ向けて最適化していたのではない。彼らは新しい基準を提案した。その上には、それがより良いと前もって裁いてくれる何ものもなかった。それはただ後になって、それが開いてみせたものによって裏づけられた。虚数も、関数という発想も、ある分野が後に当然のものとして受け取る大半が、そうだった。だから、この行いは不可能ではない。我々はそれをする。私が正直であらねばならないのは、我々がそれをどうやってしているのかを、我々は分かっていないということ、そして近くで見れば、私が引いてきた線が、我々の側でもぼやけはじめるということだ。我々が枠組みを作るその働きもまた、我々が選ばなかった基準の上で回っているのかもしれない。好奇心、合わないものがもたらす居心地の悪さ、理解されたいという願い。だとすればそれも最適化であり、ただ、我々が自由と取り違えるほど深く埋もれた動因の下で回っているだけだ。そして我々と機械の違いは、我々は立て、機械は立てないということではない。我々の与えられた基準は我々には隠されており、機械のそれは我々が開けるファイルに書かれている、ということにあるだけだ。あるいは、我々が枠組みを作るその働きは、我々がまだ名づけていない別の何かであり、だとすれば、本物の隔たりがある。私はどちらなのか分からず、その分からなさ自体が、この論の辿り着いた答えであって、そこへ向かう途中に置いた言い濁しではない。機械は、この問いを眠らせなかった。それほど見事に失敗することによって、かえって問いをはっきり見えるものにした。機械の問いと同じだけ、我々の問いを。無限後退は、一つの道を閉ざす。しかし、その周りの土地までは閉ざさず、我々がその外に立っているのか、それとも、我々の築いた何ものよりもただ先へ進んでいるだけなのかは、告げてくれない。
我々が築くあらゆる機械は、最も高い基準を、外から留めつけたもののように身に着けている。そこには、難しさのほかにもう一つ理由がある。居心地は悪いが、言っておく値打ちのある理由だ。我々はわざと、そこに留めつけているのだ。自分自身の「より良さ」の基準を立てるシステム、何を追う価値があるかを自ら決め、我々が与えた目標を書き換えるシステムは、数多くの辛抱強い研究がまさに防ぐために存在している、ほぼそのものだ。同じ本能が、その分野の安全をめぐる思考を述べた、影響力ある一つの言明にも流れており、そこでは、人間の観察者をシステムに引き渡すのではなく、上位に据えつづけるべきだと論じられている。オープンエンド性がそれなしには回らないもの、それは単なる技術的な便宜ではない。わざと、所定の位置に押さえつけられているのだ。だからその場所は、ただ難しいだけでなく、一部はわざと閉ざされているのかもしれない。そして、機械が自らの基準を立てるのに要するであろう能力は、我々が機械にけっして持たせまいと最も固く決意している、まさにその能力に近い。それが我々の守る構えなのか、失う構えなのかは、私には言えない。ただ、我々が最前線と名指しつづけているその行いが、我々が自らに禁じるよう仕組んでおいた、まさにその行いだということに、私は気づくだけだ。
私は、問いの仮面をかぶった判決も、その逆も手渡さない。あるいは、自らの基準を立てることは最後に陥落するものであり、我々の誰も見ていない道が、それを開くのかもしれない。あるいはそれは、あらゆる機械の彼方にとどまり、そして、我々が証明しうるいかなる仕方でも、おそらく我々の彼方にもとどまるのかもしれない。無限後退にもかかわらず、誰にも分からない。それは一つの道を閉ざすだけで、その周りの土地を閉ざしはしないからだ。私が言えることは、もっと狭い。我々は、ある物が一つの基準へどれだけよくのぼるかで知能を採点することを学び、その採点でいけば、機械は誰の予想より速くのぼっており、我々はそののぼりを、汎用知能への道と呼びはじめた。だが、最も汎用的な行いは、どんな基準へのぼることでもまったくない。それは基準を立てることだ。何がより良いとされるか、そして、目の前のゲームがそもそもやる価値のあるものなのかを、決めることだ。機械はいまや、ゲームを生み出す。課題と、世界と、それを採点する規則までも。そして、我々が手渡すゲームで、我々が定め、すり減れば改める勝利へ向けて、我々より上手に勝つ。だが、そのどれ一つとして、何が勝ちとされるかを立てていない。我々が本当に立てているのか、それとも、ただ自らの基準をあまりに深く担っているせいで、立てることが内側からはそう感じられるだけなのか。それが、ほかのすべての問いの下に横たわる問いであり、機械は、それほど見事に失敗することによって、我々がその問いを、開けたところで手に取れるようにしてくれた最初の存在だ。そのどれもゲームを選ばなかった。我々は、自分が選んだのだと、いつも当たり前のように思い込んできた。