그중 누구도 게임을 고르지 않았다
기계는 우리가 건네는 기준을 오를 뿐이다. 그중 무엇도 제 기준을 세우지 않았고, 어쩌면 우리도 세운 적 없다.
십 년 전, 한 기계가 사람들이 수천 년 동안 연구해 온 게임에서 사람이라면 두지 않았을 수를 두고 이겼다. 인간의 바둑이 쌓아 온 통념을 거스르는 수였다. 처음엔 실수처럼 보였고 누군가는 실수라고도 했지만, 백여 수가 지난 뒤 승부를 가른 한 수로 드러났다. 최고의 기사들조차 둘 만하다 여겨 본 적 없는 수였다. 사람들은 그 수를 창의적이라 불렀다. 내가 주목하고 싶은 것은 그 창의성보다 조용한 데 있다. 그 수가 좋았던 까닭은 승리로 이어졌기 때문이고, 무엇이 승리인지는 이미 규칙에 적혀 있었다. 어떤 수가 거기로 이어지는지는 아무도 손대지 않고도 즉시, 수십억 번이고 확인할 수 있었다. 그 비범함은 진짜였다. 다만 기계가 한 번도 스스로 정할 필요가 없었던 ‘더 나음’의 기준을 향한 비범함이었다.
기계가 우리를 가장 또렷이 앞지른 분야에 이 사실을 비추어 보면, 어떤 개별 성취보다 더 중요해 보이는 한 가지 패턴이 떠오른다. 기계가 우리를 앞선 분야, 곧 보드게임과 형식 증명과 경쟁 프로그래밍에는 한 가지 공통점이 있다. 문제가 어렵다는 점이 아니다. 평가가 값싸다는 점이다. 증명은 아무도 새로 만들 필요 없는 기준으로 옳고 그름이 가려지고, 프로그램은 테스트를 통과하거나 못 하며, 게임은 규칙이 거저 내주는 판정으로 끝난다. ‘더 나음’을 공짜로, 즉시 가려낼 수 있는 곳이라면 어디서든 기계는 발견한다. 때로는 눈부시게. 거기서는 하드웨어가 허락하는 속도로 시도하고 확인하고 다시 시도할 수 있고, 마지막 시도가 쓸 만했는지 일러 줄 사람이 사이에 낄 필요가 없기 때문이다. 기계가 어디서 우리를 앞지를지 가장 잘 알려 주는 것은 일의 어려움이 아니다. 평가의 비용이다.
평가가 늘 값싼 것은 아니며, 그 값이 오를 때 벌어지는 일이 이야기의 나머지다. 어떤 때는 평가를 인공적으로 만들어 낼 수 있다. 최근의 많은 연구가 바로 이 제작이다. 점수를 매기도록 훈련된 보상 모델, 선호 데이터, 비평가 패널, 자동 심사단, 명세서에서 곧장 보상 모델을 학습하려는 최근의 시도까지, 모두 세상이 거저 내주지 않은 ‘더 나음’의 기준을 바깥에서 들여놓는 방법이다. 또 어떤 때는 그 고리를 돌릴 만큼 값싸거나 안정적이거나 가까운 평가가 아예 없다. 기준 자체가 논란거리이고, 뒤늦게 오며, 대개 돌이켜 본 뒤에야 정해지기 때문이다. 그리고 진짜 무게를 지니는 일이란 대개 그런 것이다. 취향, 전략, 아직 아무도 던지지 않은 물음의 값어치, 패러다임이 서기 전의 과학. 그래서 기계는 평가가 공짜인 영역을 차지하고, 우리가 평가를 만들 여력이 있는 영역으로 밀고 들어가며, 그런 평가조차 구할 수 없는 곳에서 멈춘다. 최전선은 신호가 바닥나는 곳에 있다.
여기까지는 나도 한동안 어느 정도 믿어 왔다. 더 오래 걸려서야 보인 것은 공짜 평가와 사들인 평가가 한 가지 점에서 똑같다는 사실이다. 둘 다 주어진 것이다. 우리가 훈련시킨 보상 모델은 게임의 규칙 못지않게 건네받은 것이다. 다만 더 비싸고 한 층 위에 놓였을 뿐이다. 이를 좇는 시스템은 게임에서 이긴 그 엔진보다 한 층 높이 올라섰지만 여전히 자기 기준을 만든 것이 아니라 건네받았을 뿐이다. 그러므로 기계가 하는 일과 하지 못하는 일을 가르는 선은 공짜냐 비싸냐가 아니다. 주어진 것이냐, 스스로 세운 것이냐다. 기계는 자기 나름의 하위 기준, 곧 과제와 하위 목표, 심지어 그 과제를 채점하는 함수까지 만들어 내기 시작했지만 언제나 바깥에서 건네받은 더 높은 기준을 향해서다. 그리고 그중 무엇을 남길지를 정하는 가장 높은 기준을 세운 기계는 하나도 없다. 어떤 것이든 자기 가장 높은 기준을 물려받기만 하는가, 아니면 스스로 세우기도 하는가. 이 물음은 뒤에서 다시 다루고 싶다. 보기보다 까다롭고, 기계에게만 해당하는 것도 아니기 때문이다.
그 유명한 수가 끝내 건드리지 못한 것이 이것이다. 그 수는 게임에 관해서는 아무것도 고르지 않았다. 판이 놓이기도 전에 정해진 승리를 향해 둔, 지금껏 본 가장 빼어난 한 수였을 뿐이다. 새로움은 늘 기준 안에 머물렀고, 지금껏 모든 것이 그래 왔으며, 흥미로운 물음은 기계가 더 나은 수를 찾을 수 있느냐가 결코 아니었다. 우리가 만든 무언가가 ‘무엇이 더 나은가’를 정할 수 있느냐였다.
올라서는 그 기준에 닿을 수 없는 까닭은 보기보다 단순하며, 평가가 값싼 영역이 가장 먼저 무너진 까닭과 같다. 최적화란 한 기준을 향해 매 걸음을 그 기준에 비추어 가며 나아가는 일이다. 시스템은 초인적인 끈기로 그 일을 해낼 수 있다. 다만 그렇게 해서 기준 자체에 닿는 일만은 할 수 없는데, 기준이란 걸음마다 비추어 보는 그 대상이고, 최초의 ‘더 나음’의 정의를 비추어 볼 무언가는 어디에도 없기 때문이다. 작동의 전부가 주어진 기준을 좇는 데 있는 시스템에게 새 기준을 세우는 일은 더 힘겨운 오르막이 아니다. 올라서는 결코 할 수 없는 단 하나의 움직임이다. 그러려면 그 기준 위의 기준이 있어야 하고, 그 위에 다시 또 하나가 있어야 하는데, 사다리에는 올라서 도달할 꼭대기가 없기 때문이다. 이것은 실재하는 한계다. 다만 무엇에 대한 한계인지를 보라. 기계에 대한 한계가 아니다. 최적화에 대한 한계, 곧 건네받은 기준을 향해 오르는 일만이 유일한 수단인 모든 과정에 대한 한계다. 그리고 무엇이든, 우리 자신까지 포함해, 그와 다른 일을 하느냐가 이 글의 나머지가 매달린 물음이다.
바로 이것을 깨뜨리려고 세워진 분야가 있고, 이를 비켜 간다면 이 논의는 값싸진다. 오랫동안 사람들은 고정된 목표를 좇는 대신 스스로 목표를 세우도록 만든 시스템을 지어 왔다. 새로움 그 자체에 보상을 주고, 흥미롭게 다른 것이라면 무엇이든 따로 모아 두고, 근래에는 기반 모델을 고리 안에 넣어 스스로 도전 과제를 제안하고 그 결과를 새 게임이라 부르게 했다. 무언가가 자기 기준을 스스로 세운다면 바로 여기일 것이다. 그래서 나는 이런 시스템이 무엇을 기준으로 삼는지 찾아보았고, 그 답은 내 예상보다 물음을 더 날카롭게 만들었다. 이 목표를 밝힌 근래의 영향력 있는 한 진술은 시스템이 내놓는 것이 어떤 관찰자에게 새롭고 또 학습 가능한 것으로 이어질 때 그 시스템을 ‘개방형(open-ended)‘이라 정의한다. 그리고 그 관찰자는 시스템과 독립적으로 규정되어야 한다고 요구한다. 그러지 않으면 발상이 공허해지기 때문이다. 무엇이든 제 산출물을 스스로 흥미롭다 판정하는 것만으로 개방형이라 불릴 수 있을 테니. 실제로 작동하는 시스템들은 그 관찰자를 대놓고 바깥에서 들여온다. 그중 잘 알려진 한 갈래는 ‘인간이 흥미롭다 여기는 것들의 모델’을 쓴다. 사람들이 써 온 모든 글에서 무엇을 흥미롭다 부르는지 빨아들였기에 인간의 취향을 대신하는 기반 모델이다. 시스템은 그 모델이 높게 매기는 것이라면 무엇이든 좇는다. 그 기준은 고정되어 있지조차 않다. 그 연구자들 스스로, 시스템이 그 대리 지표를 향해 최적화하기 시작하면 곧 그것을 갉아먹는다고 적는다. 그러고는 이를 막으려 새로운 인간 피드백으로 기준을 거듭 고쳐 나가자고 제안한다. 그런데 이 말이 인정하는 바를 보라. 기준은 움직인다. 다만 그 움직임 하나하나가 바깥에서 온다. 인간의 판단에서, 또는 시스템이 직접 쓰지 않은 인간 취향의 모델에서 온다. 그러니 기준은 사라지지 않았다. 한 층 올라갔을 뿐이다. ‘게임에서 이겨라’에서 ‘흥미로워라’로. 그리고 그 층에서 다시 바깥에서 건네받았고 닳을 때마다 바깥에서 채워졌다. 자기 기준을 스스로 세우는 시스템을 지으려는 가장 진지한 시도조차, 작동하려면 스스로 세우지 않은 기준이 있어야 한다. 무한 소급을 건너뛴 것이 아니다. 한 칸 올라가 다시 마주쳤을 뿐이다.
그럼에도 무언가는 새 기준을 세운다. 우리가 그래 왔으니까. 음수는 한때 터무니없는 것이었다가 편법이었다가 토대가 되었다. 음수를 처음 정당하다 여긴 이들은 이미 있던 정당성의 기준을 향해 최적화하고 있던 것이 아니었다. 그들은 새 기준을 제안했다. 그 위에는 더 낫다고 미리 판정해 줄 무엇도 없었다. 오직 나중에야 그 기준이 열어 준 것들로 입증되었다. 허수도, 함수라는 발상도, 한 분야가 나중에 당연시하는 대부분이 그랬다. 그러니 이 행위가 불가능한 것은 아니다. 우리는 한다. 다만 정직하게 말해야 할 것은, 우리가 이를 어떻게 하는지 모른다는 점, 그리고 가까이 들여다보는 순간 내가 그어 온 선이 우리 쪽에서도 흐려지기 시작한다는 점이다. 우리가 기준을 세우는 그 일 역시 우리가 고르지 않은 기준 위에서 돌아가는지도 모른다. 호기심, 들어맞지 않는 것이 주는 불편함, 이해받고 싶다는 바람. 그렇다면 그 또한 최적화이며, 다만 우리가 자유라 착각할 만큼 깊이 묻힌 동인 위에서 돌아갈 뿐이다. 우리와 기계의 차이는 우리는 짓고 기계는 짓지 못한다는 데 있지 않다. 우리의 주어진 기준은 우리에게 가려져 있고, 기계의 것은 우리가 열어 볼 수 있는 파일에 적혀 있다는 데 있을 뿐이다. 아니면 우리가 기준을 세우는 그 일이 우리가 아직 이름 붙이지 못한 무언가이고, 그렇다면 진짜 간극이 있다. 나는 어느 쪽인지 모르고, 그 모름 자체가 이 글이 다다른 바이지 거기로 가는 길에 놓아둔 얼버무림이 아니다. 기계는 이 물음을 잠재우지 않았다. 그토록 말끔히 실패함으로써, 오히려 물음을 비로소 또렷이 보이게 만들었다. 기계의 물음만큼이나 우리의 물음을. 무한 소급은 한 길을 닫는다. 그러나 그 둘레의 땅까지 닫지는 않으며, 우리가 그 바깥에 서 있는지 아니면 우리가 지은 무엇보다 그저 더 멀리 나아가 있을 뿐인지는 말해 주지 않는다.
우리가 짓는 모든 기계는 가장 높은 기준을 바깥에서 덧대어 단 것처럼 걸치고 있다. 거기에는 어려움 말고도 한 가지 이유가 있다. 불편하지만 말해 둘 만한 이유다. 우리가 일부러 거기 달아 둔 것이다. 자기 자신의 ‘더 나음’의 기준을 세우는 시스템, 무엇을 좇을 가치가 있는지 스스로 정하고 우리가 준 목표를 고쳐 쓰는 시스템은 수많은 끈질긴 연구가 막으려 존재하는 바로 그것에 가깝다. 같은 본능이 그 분야의 안전론을 밝힌 한 영향력 있는 진술에도 흐르는데, 거기서는 인간 관찰자를 시스템에 넘기지 말고 우위에 두어야 한다고 논한다. 개방형 시스템이 없이는 돌아가지 못하는 그 관찰자는 단지 기술적 편의가 아니다. 일부러 제자리에 붙들어 둔 것이다. 그러니 그 자리는 단지 어렵기만 한 것이 아니라 일부러 닫아 둔 것인지도 모른다. 기계가 자기 기준을 세우는 데 필요한 능력은 우리가 기계에게 결코 주지 않으려 가장 단단히 마음먹은 바로 그 능력에 가깝다. 그것이 우리가 지킬 자세인지 잃을 자세인지 나는 말할 수 없다. 다만 우리가 줄곧 최전선이라 부르는 그 행위가 우리가 스스로 금하도록 짜 놓은 바로 그 행위임을 알아챌 뿐이다.
나는 물음의 탈을 쓴 판결도, 그 반대도 건네지 않겠다. 어쩌면 자기 기준을 세우는 일은 가장 마지막에야 무너질 것이고, 우리 중 누구도 보지 못한 길이 그 일을 열지도 모른다. 어쩌면 그 일은 모든 기계 너머에 머물고, 우리가 끝내 증명할 수 없는 방식으로 우리 너머에도 머물지 모른다. 무한 소급에도 불구하고 아무도 모른다. 그것은 한 길을 닫을 뿐 그 둘레의 땅을 닫지는 않기 때문이다. 내가 말할 수 있는 것은 더 좁다. 우리는 한 시스템이 기준을 향해 얼마나 잘 오르는가로 지능을 매기는 법을 배웠고, 그 잣대로 보면 기계는 누구의 예상보다 빠르게 오르고 있으며, 우리는 그 오름을 일반 지능으로 가는 길이라 부르기 시작했다. 그러나 가장 일반적인 행위란 어떤 기준을 향해 오르는 일이 전혀 아니다. 그것은 기준을 세우는 일이다. 무엇이 더 나은지를, 그리고 눈앞의 게임이 과연 둘 만한 것인지를 정하는 일이다. 기계는 이제 게임을 만들어 낸다. 과제와 세계와 그것을 채점하는 규칙까지. 그리고 우리가 건네는 게임에서, 우리가 정하고 닳으면 새로 고치는 승리를 향해 우리보다 더 잘 이긴다. 그러나 그중 무엇이 이김인지를 정한 기계는 하나도 없다. 우리가 정말로 정하는지, 아니면 그저 우리의 기준을 너무 깊이 지니고 있어 정하는 일이 안에서만 그렇게 느껴지는지는 다른 모든 물음 아래 놓인 물음이다. 그리고 기계는 그토록 말끔히 실패함으로써, 우리가 그 물음을 비로소 환히 꺼내 들게 해 준 첫 존재다. 그중 누구도 게임을 고르지 않았다. 우리는 우리가 골랐다고 늘 당연하게 여겨 왔다.