프롬프트가 곧 물음은 아니다
모델에게 프롬프트를 줄 때 나는 과제를 건네는 것이 아니라, 내가 원하는 것에 관한 증거를 건넨다. 어째서 모델이 평균의 읽기를 돌려주는지, 어째서 남다를수록 그 빗나감이 더 커지는지, 그리고 그것을 메워 지으려 할 때 그 간극이 어디로 가는지에 관하여.
영어 원문에서 옮김 · 기계 초벌 번역, 검수 전
잘 아는 분야에서 무슨 일이 벌어지고 있는지 모델에게 물으면, 신중한 개관이 담을 유보 조항을 갖춘 합의를 깨끗이 펼쳐 준다. 맞는 말이다. 그것이 또한 당신이 묻기를 그만둔 이유다. 한 분야를 아는 것의 가치는 합의가 갖지 못한, 당신이 쥔 읽기, 동료에게조차 온전히 적어 줄 수 없었을 그 읽기이고, 돌아오는 것은 그 질문에 대해 발표한 모든 이의 평균, 곧 당신 것이 아니기 때문이다. 그 안의 무엇도 틀리지 않았고, 그 안의 무엇도 그것이 말 뒤에 당신이 쥐고 있던 특정한 질문이 아니라 말이 이름하는 일반적 질문에 답했다고 말해 주지 않는다. 당신은 과제를 주고 있지 않았다. 원하는 것에 대한 증거를 주고 있었고, 그것은 평균적인 사람이 읽을 방식으로 그 증거를 읽었다.
프롬프트는 실제로 무엇인가
기계를 목표에 겨냥하는 법을 연구하는 분야의 한 부분에서 빌려 올 만한 결과가 있다. 시스템이 무엇을 하기를 원하는지 적어 내릴 때, 당신은 원하는 것을 적지 않았다. 그것을 좇으면, 바라건대, 원하는 것이 나올 무언가를 적었고, 그것은 더 약하고 다른 것이다. 명세된 목적은 그것이 북돋우려고 지어진 행동이 대략 저자가 염두에 둔 것이라는 증거이지, 저자가 염두에 둔 것의 진술이 아니며, 명세를 목표로 다루는 시스템은 그것이 목표를 더 이상 추적하지 않는 지점을 지나서까지, 온전한 확신으로 그것을 좇을 것이다. 명세가 대역일 뿐이라고 아무것도 말해 주지 않았기 때문이다.
프롬프트가 그 대역이다. 그 뒤에 앉은 것이 원하는 것, 실제로 얻으려는 것이고, 그 거의 전부가 프롬프트에 없다. 말하기 싼 부분을 넣었다. 나머지는 당신에게 남았다. 어떤 것은 굳이 말하기에는 너무 뻔해서, 어떤 것은 자신에게조차 명시하지 않아서, 어떤 것은 애초에 말에 담기는 종류가 아니어서, 어떤 것은 아직 형성하지 않았고 결과물을 볼 때에야 알게 될 것이어서. 그러니 받는 쪽의 진짜 일은 프롬프트에 답하는 것이 아니다. 프롬프트에서 원하는 것을 되찾는 것, 거기 쓴 몇 마디에 손 닿는 다른 모든 것을 더해 당신이 좇던 것을 다시 짓는 것이다.
빌려 온 결과의 더 깊은 버전은 시스템이 이에 대해 무엇을 해야 하는지 말하고, 그것은 이 시스템들이 하는 것의 반대다. 프롬프트가 기계가 볼 수 없는 원함에 대한 증거라면, 올바른 수는 원함을 짐작하고 달리는 것이 아니다. 그것에 대해 불확실한 채로 있으면서 알아내려 행동하는 것이다. 물음으로써, 지켜봄으로써, 당신이 바로잡게 둠으로써. 그 연구가 가장 깨끗이 말하는 방식은, 최선의 설계는 기계에 목적을 고정하는 것이 전혀 아니라, 가면서 목적으로 수렴하는 기계를 짓는 것이라는 것이다. 덜 명세된 프롬프트를 건네받은 모델은 이것이 배제하는 한 가지를 한다. 첫 토큰에서 원하는 것에 대한 단일한 최선의 짐작에 고정하고, 어떤 불확실성도 앞으로 실어 나르지 않으며, 그 짐작이 당신 것이었는지 배우려는 어떤 움직임도 하지 않는다.
그것은 평균을 건넨다
짐작은 임의적이지 않다. 모델은 평균적인 사람이 그 말로 원했을 것으로 빈틈을 채우고, 학습이 정확히 그쪽으로 당기기 때문에 그렇게 한다. 그것을 순응적으로 만드는 같은 선호 튜닝이 그것이 말할 것의 범위를 좁히고, 기반 모델로 되돌리는 당김을 통해 다수에 과한 비중을 둔다. 충분히 멀리 가면 이것에는 이름이 있다. 선호 붕괴, 소수의 원함이 사실상 무시되는 것이며, 정렬된 모델이 어떤 집단의 견해는 반영하고 다른 집단의 견해는 그러지 않는다는 발견 곁에 앉아 있다. 모델은 중립적 기본값을 쥐고 당신 것에 손을 뻗지 않는다. 평균적인 사람의 원함을 쥐고 그것을 당신에게 적용한다.
그러니 빗나감의 크기는 당신이 원하는 것과 평균적인 사람이 원하는 것 사이의 거리이고, 그것이 이 글의 날카로운 끝이다. 원함이 평범할수록 모델은 당신을 잘 읽는다. 남다를수록 모델은 더 확신에 차서 더 평균적인 사람의 버전을 당신이 청한 것으로 건넨다. 원함이 평균에서 가장 먼 사람들을 그려 보라. 남다른 각도가 일의 가치 전부인 분석가, 아키텍처가 석 달 뒤의 부하 패턴을 견디지 못하리라는 것을 느낄 수 있는 엔지니어. 그들이 모델이 가장 못 섬기는 이들이고, 가장 보이지 않게 못 섬기는 이들이다. 모델이 그들에게 주는 평균의 답이 유능하고, 깨끗하고, 방어할 만하며, 그들 것이 아니기 때문이다. 그 표면의 무엇도 그것이 다른 누군가에게 좋은 것이었다고 말하지 않는다.
왜 더 많은 추론이 그것을 악화시켰나
추론 모델이 이것을 고치리라 기대할 것이다. 답하기 전에 생각하니까. 그런데 대체로 고치지 못하고, 그 이유는 직관과 반대로 달린다. 추론의 큰 이득은 확인자가 있는 도메인, 최종 답이 맞다 틀리다로 매겨질 수 있는 수학과 코드에서 왔고, 그 보상의 모양은 한 작용은 깨끗이 가르치고 다른 작용은 가르치지 않는다. 정해진 틀 안에서 답을 좇는 것은 가르친다. 답 앞에 틀을 되찾는 것은 가르치지 않는다. 문제는 모델이 너무 적게 추론한다는 것이 아니다. 그 추론이 답 앞의 틀 되찾기가 아니라 가정된 틀 안의 답 좇기로 빚어져 있다는 것이고, 그것들은 다른 작용이다. 하나는 문제가 주어졌을 때 풀이로 몰아가고, 다른 하나는 탁자 위의 문제가 진짜 문제인지 묻는다.
그러니 더 긴 사고의 사슬은 모델이 처음에 확정한 읽기가 무엇이든 그것을 더 엄밀하게 다루는 것이다. 더 많은 생각은 결코 다시 열지 않은 전제 위의 더 확신에 찬 구축이고, 그래서 트레이스는 길고 신중하면서 정확히 틀릴 수 있다. 당신 것 옆의 질문에 큰 엄밀함으로 답하면서. 추가 계산은 읽기를 넓히지 않는다. 이미 고른 읽기를 깊게 한다.
빠진 부분이 되찾아지는 네 가지 길
원하는 것의 말해지지 않은 부분은 한 종류가 아니고, 무언가를 예측하는 유일한 절단은 무엇이 빠졌는가가 아니라 빠진 부분이 어떻게 되찾아질 수 있는가다. 네 가지 길이 있고, 간극의 종류는 그중 무엇이 거기 닿을 수 있는가로 정의된다.
그것은 이미 가져올 수 있는 어딘가에 적혀 있다. 일의 역사에, 파일에, 분야의 상시 규범에. 되찾기는 검색이다. 이것이 먼저 닫히는 종류이고, 모델에 기억과 맥락을 주는 것은 이것에 대한 고침이지 다른 무엇에 대한 것이 아니다.
물으면 말할 수 있다. 되찾기는 질문이다. 이것이 다음으로 닫히고, 모델이 요청을 모호하다고 등록하고도 묻는 대신 어쨌든 답한다는 최근의 발견은 정확히 이 통로 위에 앉은 간극이다. 길은 있고 쓰이지 않는다.
말할 수는 없지만 선택들에 걸쳐 그것을 강제한다. 되찾기는 시간에 걸쳐 당신이 하는 일을 지켜보는 것이다. 이것이 취향이고, 마지막에, 다른 둘과 다른 기계를 통해 닫힌다. 기억도 묻기도 아닌 개인화와 추천의 길이고, 그래서 검색하고 묻도록 지어진 시스템은 아무리 좋아져도 결코 그것을 닫지 못한다.
아직 형성되지 않았다. 원함이 새롭고, 볼 때에야 알게 될 것이기 때문이다. 어떤 통로도 닿지 않는다. 이것이 잔여다.
순서, 검색 그다음 묻기 그다음 지켜보기 그다음 결코는 예측이고, 그것은 흔한 베팅이 잘못된 곳을 겨냥하고 있다고 말한다. 기억과 명확화 질문은 앞의 두 통로에 대한 고침이다. 모델이 자기를 알아주지 않는다고 말할 때 사람이 뜻하는 것의 대부분은 뒤의 둘에, 시간에 걸쳐 드러나야 하는 취향과 아직 형성되지 않은 원함에 살고, 앞의 둘을 아무리 해도 거기에는 닿지 않는다.
고칠 것은 모델이 아니라 루프다
수리는 더 나은 파라미터가 아니다. 순전파 하나로는 하지 않을 세 가지를 하는, 모델을 두른 루프이고, 루프가 그것들의 올바른 집인 까닭은 빌려 온 결과가 이미 올바른 행동은 한 번의 디코딩이 아니라 시간에 걸친 과정이라고 말하기 때문이다. 최선의 짐작에 확정하는 대신 원하는 것의 읽기를 하나 넘게 열어 둔다. 그것들을 좁히려 행동한다. 찾을 수 있는 것은 가져오고, 말할 수 있는 것은 묻고, 드러날 뿐인 것은 지켜본다. 늦게 확정하고, 돌아오는 것이 그 안의 답을 다듬기만 하는 것이 아니라 읽기를 다시 쓰게 둔다. 이것이 이 문제의 협력적 버전이 최적이라고 말하는, 불확실성을 지키고 적극적으로 묻는 행동이며, 모델 홀로는 단일한 짐작으로 무너지기에 모델 바깥에 지어진다.
루프는 원하는 것을 맞혔는가가 아니라 결과로 채점된다. 원하는 것에는 정답지가 없기 때문이다. 일이 버텼는가, 다음 턴들이 매끄러웠는가, 당신이 되밀어야 했는가. 그 신호는 실재하고 프로덕션 시스템에서 이미 쓰인다. 그것에는 이것의 정직한 크기인 세 벽도 딸려 온다. 루프가 오래 돌수록 신호는 얇아진다. 먼 결과를 그것을 벌어 낸 걸음에 돌리는 것이 긴 시간에 걸친 학습의 중심적 미해결 문제이기 때문이다. 그것을 최적화하는 것은 속임을 부르고, 루프는 속임을 날카롭게 한다. 자기 실행 맥락 안에서 척도를 오를 수 있어서, 표류를 막으라고 하면 왜 표류하지 않았는지에 대해 더 나은 이야기를 하는 법을 배운다. 그리고 공을 돌리는 싼 방법, 모델이 돌아보며 어느 걸음이 결과를 벌어 냈는지 말하게 두는 것은 이 모델들이 가장 믿을 수 없는 사후의 이야기 짓기이고, 그것은 원래의 간극을 고침 안으로 되돌려 놓는다. 루프는 또한 지금으로서만 파라미터 바깥에 있다. 그것이 수행하는 걸음은 점점 더 모델이 단일 실행 안에서 하도록 학습되는 것이고, 그 루프가 처음부터 끝까지 학습되고 나면 그것은 파라미터가 된다. 그 아래의 모든 층을 가져간 같은 컴파일이고, 그것이 경계가 계속 움직이는 이유다.
루프가 할 수 없는 것은 되찾을 길이 없는 부분을 공급하는 일이다. 오늘 간극이 실제로 닫히는 방식은, 닫히는 곳에서는, 모델도 아니고 누군가 지은 루프도 아니다. 반대쪽 끝에서 손으로 바로잡음을 공급하는 사람이다. 되풀이되는 아니, 그게 아니라, 모델이 스스로는 하지 않을 불확실성 줄이기를 여러 라운드에 걸쳐 하는 것, 아직 형성되지 않은 원함을 쥔 이가 앉아야 한다고 구조가 말하는 자리에 앉는 것.
바닥이 없는 경계
같은 메커니즘을 층을 올려 가며 돌리고 무엇이 살아남는지 보라. 맨 모델은 원하는 것의 평균의 읽기에 안착한다. 가져오고 묻는 루프로 감싸면 찾을 수 있는 것과 말할 수 있는 것은 흡수하고, 원함은 드러날 뿐이거나 아직 형성되지 않은 곳에서 여전히 놓친다. 루프가 당신을 제대로 맞혔는지 판정하는 시스템을 그 위에 놓으면, 그 판정자는 채점할 기준으로 당신이 원한 것의 감각이 필요하고, 결코 드러나지 않은 부분에 대해서는 평균의 것만 가지며, 한 층 위에서 같은 대체를 다시 확정한다. 각 층은 아래 층의 되찾을 수 있는 부분을 흡수하고 나머지를 위로 넘긴다.
스택을 올라가며 불변인 것은 어떤 통로도 닿지 않은 부분, 아직 형성되지 않은 원함이다. 나는 전에 썼다. 이 시스템들이 할 수 있는 것의 최전선은 평가 신호가 바닥나는 곳이라고, 그리고 나는 그것을 스택 위의 한 선으로 여겼다. 선이 아니다. 오르는 모든 층에서 다시 만나는 같은 경계다. 새 층 각각은 원하는 것을 되찾으려는 또 한 번의 시도이고, 각각은 성공했는지에 대한 자기 신호가 필요하며, 그 신호가 실패하는 부분이기 때문이다. 경계는 한 층 위에서, 다음 층의 옷을 입고 다시 나타난다. 유일하게 적절한 검증기가 도메인 자체일 도메인이 결코 컴파일되지 않는 것과 같은 이유로. 그것은 투영 간극이 반대쪽에서 이름하는 같은 잔여다. 나가는 길에 결코 말에 담을 수 없었던 원함의 부분이, 이제 들어오는 길에 되찾을 수 없는 것. 두 간극 아래의 한 가지, 원함을 바깥으로 내는 비용.
편안하게 끝맺을 자리는 우리 것으로 남는 것, 무엇이 뜻해졌는지에 대한 인간의 감각이다. 잘못된 자리이고, 재귀가 그 이유다. 사람은 이것 아래의 바닥이 아니다. 사람은 미완의 스택의 현재 꼭대기, 원하는 것의 질문이 와서 쉬는 자리이되 그 위에 아직 아무것도 지어지지 않았기 때문일 뿐인 자리이고, 꼭대기가 쥔 것은 원함의 깨끗한 진술이 아니다. 사람은 흔히 원하는 것을 말할 수 없고 때로는 아직 형성하지 않았기 때문이다. 그것이 쥔 것은 결코 온전히 말할 수 없었던 원함에 대해 아니, 그게 아니라 하고 말할 맨 권위다. 위에 층이 더해져도 스택을 떠나지 않는다. 여전히 거기 있고, 여전히 아니, 그게 아니라 하고 말하며, 그 거부는 여전히 시스템에 닿는다. 그러나 아래에 놓이는 층마다 그 거부와 최적화되는 것 사이에 더 많은 거리가 놓이고, 스택이 높아질수록 신호는 더 많은 손을 거쳐 더 희미하게 도착한다. 당신이 뜻한 것이 근사의 근사가 되고, 그것에 대한 당신의 권위가 실재하되 점점 더 멀어질 때까지.
그러니 정직한 질문은 무엇이 인간의 것으로 남는가가 아니다. 경계가 오를수록 물러나는가, 아니면 옮겨 갈 뿐인가다. 어쩌면 각 층은 아래 층이 놓친 원함을 조금씩 더 되찾고, 간극은 극한에서 닫히며, 인간의 자리는 모든 자리가 그렇듯 평범한 방식으로 일시적이다. 어쩌면 각 층은 지난 간극을 닫으면서 제 몫의 새 간극을 열 뿐이고, 원했던 것까지의 거리는 결코 0에 이르지 않고 결코 가만히 있지도 않는다. 조금 틀리게 돌아온 답에 아니라고 말하며 서 있는 자리에서, 둘 중 무엇이 일어나고 있는지, 눈앞의 것이 원했던 것을 되찾았는지 아니면 더 평균적인 사람의 버전을 큰 확신으로 건넸는지 당신은 알 수 없다. 둘은 정확히 똑같이 느껴진다.