인지가 공개되었다

재귀성이 한 층 더 깊어졌고, 대부분의 참여자는 아직 알아채지 못했다.

영어 원문에서 옮김

경제학에서 재귀성이란 시장 참여자의 믿음이 그 믿음이 겨누는 시장 자체를 빚어내는 역학을 가리킨다. 그것은 고전 이론이 머물던 곳에서 한 층 위에 놓인 구조적 통찰이었다. 이제 더 깊은 층이 생겼다. 믿음을 만들어 내는 인지 과정의 층이고, 오픈 웨이트(open-weight) 기반이 이를 처음으로 상업적으로 작동시킬 수 있게 만들었다.

정교한 상업적 행위자들은 경쟁자 에이전트에게 제안을 보내기 전에 그 에이전트를 로컬에서 근사적으로 돌려 보기 시작하고 있다. 이 습관이 뿌리내리는 곳에서 전환율의 비대칭은 미묘하지 않을 것이다. 이것은 2020년대 후반의 지배적 전략 역학이 될 흐름의 첫 수다.

이 글은 무엇이 바뀌었는지를 짚는다.

기반이 이제 공개되어 있다

표준적인 견해는 AI 모델이 들여다볼 수 없는 블랙박스라는 것이다. 이 견해는 2018년에는 옳았다. 그때는 최전선의 역량이 연구소 안에 살았고 모델 파라미터와 행동 사이의 관계가 정말로 불투명했다. 2026년에는 점점 거짓이 되어 간다. 전략의 층위에서는 위험할 만큼 거짓이 되었다.

공개된 기반 신호의 다섯 가지 출처가 이제 5년 전에는 없던 밀도와 상업적 관련성을 띠고 존재한다.

모델 카드, 평가, 아키텍처 노트, 부분적인 훈련 공개가 이제 최전선급 오픈 웨이트 모델 다수에 따라붙는다. 공개의 정도는 들쭉날쭉하지만, 그 기반은 이전의 어떤 상업적 인지 인프라보다도 배치 이전에 더 많이 문서화되어 있다. 일반 추론부터 에이전트 평가와 적대적 평가까지 모든 단위의 공개 평가 벤치마크는 그 기반에 함께 따라다니는, 측정된 행동 프로파일을 부여한다. 공개된 완성 출력과 알려진 실패 패턴은 모델이 공개되는 순간부터 쌓이고, 어떤 주요 공개든 몇 주 안에 커뮤니티는 그 모델이 어디서 헛소리를 지어내고, 어디서 거부하고, 어디서 루프에 빠지고, 어떤 프롬프트 구조에 굴복하는지를 지도로 그려 낸다. 운영 배치에서 새어 나온 프롬프트와 시스템 메시지는 배치자가 무엇을 끌어내려 했는지를 드러내고, 이것은 이제 관련 커뮤니티에서 반쯤 공개된 자료로 취급된다.

다섯 번째 출처가 가장 무게가 크다. 적대적 전이성 연구는 오픈 웨이트 모델을 겨누어 최적화한 교란이 비슷한 방법으로 훈련된 클로즈드 웨이트 모델에도 전이됨을 보였다. 그 전이는 고르지 않지만, 가까운 오픈 시스템이 클로즈드 시스템에 관해 전략적으로 유의미한 정보를 주기에는 충분할 만큼 실재한다. 이 전이성은 한낱 흥밋거리가 아니다. 기반 가지성(substrate-knowability)을 완전한 오픈 시스템 너머로 확장하는 구조적 사실이다.

구분은 이렇게 잡아야 한다. 오픈 웨이트 기반은 재현 가능하게 모델링된다. 충분한 연산을 가진 제3자가 그 추론 행동을 재현할 수 있다는 뜻이다. 클로즈드 웨이트 기반은 행동으로 탐침할 수 있다. API 응답, 공개 평가, 새어 나온 프롬프트, 가까운 오픈 시스템으로부터의 전이성이 결합해 실재하는 범위 정보를 만들어 낸다. 재현 가능성은 강한 형태다. 탐침은 약한 형태다. 둘 다 실재하고, 둘 다 이전의 어떤 상업적 인지 기반도 그러지 못한 방식으로 공개되어 있다.

그 상투구가 살아남는 까닭은 한 층에서는 참이고(개별 뉴런을 읽을 수는 없다) 다른 층에서는 편리하기 때문이다(무언가를 블랙박스라 부르는 것은 그에 관해 생각을 멈춰도 된다는 면허다). 실제 상황은 이렇다. 그 기반은 전략적 상호작용에 중요한 층위에서 유난히 읽힌다. 곧 어떤 종류의 입력이 어떤 종류의 응답을 낳는가의 층위이고, 구조를 공유하는 기반 위에서 돌아가는 에이전트 집단 전체에 걸친 층위다.

이것은 완전한 해석 가능성이 아니다. 그럴 필요도 없다. 전략적 상호작용에는 완전한 해석 가능성이 필요하지 않다. 거기에 필요한 것은 범위 지식이고, 범위 지식은 이제 공개되어 있다.

기반 가지성

이 역학이 작동하려면 세 가지 조건이 함께 성립해야 한다.

기반이 강한 의미에서 열려 있어야 한다. 오픈 파라미터, 문서화된 아키텍처, 충분한 연산을 가진 제3자가 추론 행동을 재현할 만큼 상세한 파인튜닝 명세. 전이성은 이 역학의 일부를 클로즈드 웨이트 기반으로까지 넓히지만, 강한 형태의 기반 가지성은 기반 자체가 바깥에서 모델링될 수 있을 것을 요구한다.

집단이 실제로 그 오픈 웨이트 기반 위에 배치해야 한다. 아무도 쓰지 않는 기반은 그 역학을 낳지 않는다. 흥미로운 경우는 많은 참여자가 같거나 밀접하게 연관된 기반 위에 에이전트를 배치해, 인지 구조가 공유되고 공개적으로 모델링될 수 있는 집단을 만들어 낼 때다.

참여자에게는 그 기반을 집단 규모로 모델링할 실제 연산 자원이 필요하다. 이것은 논리적 능력이 아니다. 상당한 연산 비용을 동반하는 공학적 능력이고, 그 비용은 참여자마다 고르지 않게 분포한다. 가장 많은 시뮬레이션을 가장 빠르게, 가장 높은 충실도로 돌릴 수 있는 쪽이 가장 많은 전략 정보를 거머쥔다. 전략 구조의 원천은 능력의 절대 수준이 아니라 이 비대칭이다.

이것은 재귀성이 고전적으로 기술되어 온 층보다 더 깊은 층에 놓인다. 시장에 관한 믿음의 층위에서 일어나는 재귀성은 참여자가 다른 참여자가 정보를 어떻게 해석할지를 모델링하기를 요구했다. 기반 가지성은 참여자가 그 해석을 만들어 내는 인지 과정 자체를 모델링하기를 요구한다. 여기서 깊이란 단지 한 겹의 재귀가 더해진 것이 아니다. 인간은 늘 행동 추론을 통해 다른 인간의 인지를 모델링해 왔다. 새로운 점은, 그 추론을 만들어 내는 인지 과정 자체가 이제 집단 규모로 공개적으로 재현 가능하다는 것, 그래서 그 모델링이 더는 행동 추론에만 기대지 않는다는 것이다. 참여자는 그 과정 자체의 근사를 돌려 볼 수 있다.

아우만(Aumann)의 상관 균형(correlated equilibrium)이 가장 가까운 형식적 이웃이지만, 오픈 웨이트 기반은 기술적 의미의 표준적 상관 장치가 아니다. 그것은 참여자가 직접 모델링할 수 있는 실행 가능한 인지 객체다. 더 가까운 형식적 이웃은 시뮬레이션 기반 프로그램 균형(Cooper, Oesterheld, Conitzer)과 오픈소스 게임(Sistla, Kleiman-Weiner)으로, 거기서는 프로그램 사이의 투명성이 정규형 플레이에서는 닿을 수 없는 균형을 가능하게 한다. 오픈 웨이트 기반은 누구도 그렇게 설계하지 않았는데도, 배치 규모에서, 기본값으로 부분적인 경제적 유비를 만들어 낸다. 구조적으로 새로운 점은 이렇다. 공유된 공개 객체가 외부 신호가 아니라 참여자의 행동을 만들어 내는 인지 기계 자체라는 것, 그 기계를 모델링하려면 고르지 않게 분포된 상당한 연산 자원이 든다는 것, 그리고 그 기계가 고정된 게임이론적 객체이기보다 훈련과 배치를 거치며 진화한다는 것이다.

이 역학은 구조적으로 새롭다. 기존의 장치는 발판일 뿐이다.

하니스 반론

가장 강한 반론이다. 오픈 파라미터는 에이전트를 완전히 예측 가능하게 만들지 않는다. 특정한 방식으로 부분적으로 예측 가능하게 만들 뿐이고, 파라미터를 감싸는 하니스(harness) 층은 행동을 극적으로 바꿀 수 있다.

파라미터가 결정하는 것은 이렇다. 기반의 기본 역량과 편향. 모델이 어떤 개념을 가졌는지, 어떤 추론 패턴으로 기우는지, 특정 입력이 주어졌을 때 어떤 응답 분포를 내놓는지. 결정적으로, 파라미터는 무엇이 불가능한지를 결정한다. 파라미터가 정한 범위 바깥에는 어떤 하니스도 낳을 수 없는 응답이 있다.

하니스가 더하는 것은 이렇다. 행동을 빚는 시스템 프롬프트. 에이전트가 순수 추론 바깥의 일을 하게 하는 도구 접근. 메모리와 상태. 검색 구성. 배치자에게만 사적인 방식으로 파라미터를 고치는 파인튜닝. 디코딩 파라미터. 파이프라인 구조. 다중 에이전트 조율. 하니스는 진짜로 강력하다. 맞춤형 시스템 프롬프트에 독점 도구와 사적 파인튜닝이 더해지면, 기반 파라미터만 모델링해서는 예측되지 않는 행동을 낳을 수 있다.

정직하게 구분하면 이렇다. 오픈 파라미터는 응답 범위를 공개로 만든다. 배치된 행동을 공개로 만들지는 않는다.

그래도 그것으로 충분하다.

그 범위에는 다른 무엇도 주지 못하는 실재하는 정보가 담겨 있다. 범위 지식으로부터 가능한 응답의 공간, 응답 분포의 형태, 그 기반이 압박을 받아 무너지는 지점, 어떤 종류의 전략이 그 기반의 역량 안에 있는지, 어떤 프롬프트로 감싸든 기반 그 자체로는 도움 없이 낳을 수 없는 것이 무엇인지를 예측할 수 있다. 이것은 완전한 예측이 아니다. 아무것도 없는 것보다는 훨씬 더하고, 어떤 참여자가 다른 참여자의 인지에 관해 이전에 가졌던 그 무엇보다 더하다.

전략적 함의는 이렇다. 정교한 참여자는 기반 가지성의 점근선이 아니라 기울기에 관해 추론할 것이다. 관건이 되는 물음은 결코 “내가 배치된 에이전트를 완전히 시뮬레이션할 수 있는가”가 아니다. 답은 늘 아니오이기 때문이다. 관건이 되는 물음은 “상대가 내 응답 공간을 아는 것보다 내가 상대의 응답 공간을 더 잘 아는가”이다. 전략적 자산은 이 비대칭이다. 절대 수준이 아니다.

테드 창의 “이해”는 그 극한을 그려 낸다. 두 증강된 정신이 서로를 너무 깊이 모델링한 나머지, 둘 다 이미 재귀를 끝까지 두어 본 탓에 상호작용 전체가 단 한 수로 무너진다. 그 극한에 닿을 이는 거의 없다. 경제는 완전한 불투명과 완전한 투명 사이의 기울기에서 살아갈 것이고, 전략 구조가 실제로 작동하는 곳이 바로 거기다.

이 틀은 깊은 해석 가능성이나 완전한 시뮬레이션에 관한 강한 주장을 요구하지 않는다. 요구하는 것은 단지 범위가 공개되어 있다는 것, 배치된 행동이 부분적으로 사적이라는 것, 그리고 그 간극을 어떤 참여자가 다른 참여자보다 더 잘 추론할 수 있다는 것뿐이다.

틀의 수

컴파일 명제(Compilation Thesis)는 기술 스택에서 되풀이되는 한 패턴을 가리킨다. 병목이 위로 옮겨 가면서 판단이 인프라로 컴파일된다는 것이다. 한때 전문가의 판단이던 것이 도구에, 이어 라이브러리에, 이어 API에, 이어 기반 모델에 박힌다. 병목은 한 층 위로 옮겨 간다. 지금의 최전선은 판단이 공유된 평가 인프라와 공유된 모델 행동으로 컴파일되는 것이다.

오픈 웨이트 기반은 이 컴파일의 극한이다. 누구나 접근할 수 있는 인프라로 컴파일된 판단이다. 누구나 그것을 돌릴 수 있다. 충분한 연산을 가진 누구나 그것이 내놓는 것을 모델링할 수 있다. 그러나 기반을 모델링하는 역량은 연산만이 아니다. 기록된 상호작용, 영역에 특화된 흔적, 배치 지식, 평가 하니스 또한 비대칭적인 입력이고, 기반이 운영에서 어떻게 움직이는지를 특권적으로 관찰하는 기업이 결국 가장 강한 모델링 역량을 쥘 수도 있다. 연산은 사적인 인지 접근보다 사기 쉽다. 특권은 기반을 소유하는 데서 그것을 규모 있게 모델링하는 데로 옮겨 가고, 규모 있게 모델링하는 데 드는 입력은 여전히 고르지 않게 분포한다.

판단이 완전히 컴파일되고 완전히 공개되면, 경쟁 우위는 더 이상 범용 기반 수준의 판단에 접근하는 데서만 오지 않는다. 그것은 모두와 같은 컴파일된 판단 위에서 돌아가는 집단을 예측하고 앞질러 움직이는 능력에서 온다.

이것은 본래의 컴파일 명제가 짚지 않은 층이다. 본래의 다섯 층 틀은 이제 여섯으로 늘어난다. 실행, 조율, 판단, 모델링, 방향, 의미. 모델링 층은 기반으로 컴파일된 판단과, 하나의 주체가 하나의 시스템을 지휘한다고 가정한 방향 사이에 놓인다. 그것은 컴파일된 인프라를, 경쟁자보다 더 빠르고 더 정확하게, 실시간으로, 그 자체가 공개된 기반에 의해 행동이 결정되는 집단을 상대로 시뮬레이션하는 역량이다.

이것이 그 정교화다. 앞서 진술된 틀이라면 판단이 컴파일되는 순간 병목이 방향으로 옮겨 간다고 예측할 것이다. 그것은 불완전했다. 적어도 공유된 기반이 에이전트 대 에이전트의 전략적 상호작용을 떠받치는 곳에서는 병목이 위로 옮겨 가기 전에 아래로 옮겨 간다. 판단에서 기반 모델링으로, 그다음에야 방향으로. 다른 배치 맥락에서는(내부 도구, 인간과 에이전트의 협업, 주인과 대리인의 정렬) 방향이 이미 더 어려운 문제일 수 있다. 그러나 공유된 기반이 에이전트 대 에이전트의 전략적 상호작용을 떠받치는 곳에서, 방향은 지금의 병목이 아니다. 모델링 층이 병목이다.

모델링 층은 상업적 경쟁이 보통 벌어지는 곳에서 한 층 아래에 놓인다. 애플리케이션 품질에서, 프롬프트 엔지니어링에서, 에이전트 신뢰성에서 경쟁하는 회사들은 모두 에이전트 대 에이전트 상거래의 결과를 결정하는 층에서 한 층 위에서 일하고 있다. 그들은 하니스 구성에서 경쟁하는데, 구조적으로 무게를 지니는 수는 그 아래 기반 모델링 층에서 일어나고 있다.

이제 집중에 관한 주장인데, 이것은 직관에 어긋난다. 오픈 웨이트 공급자는 클로즈드 웨이트 공급자가 얻지 못하는 구조적 우위를 얻는다. 클로즈드 웨이트 기반도 여전히 탐침할 수 있다. API 응답, 평가, 가까운 오픈 시스템으로부터의 전이성이 참여자에게 실재하는 범위 정보를 준다. 그러나 탐침은 재현이 아니다. 클로즈드 기반은, 외부 생태계가 그 둘레에 도구와 시뮬레이션과 벤치마크와 적대적 지도와 안전 시험과 모델링 전문성을 쌓아 올릴 수 있는, 그런 종류의 공유된 실행 가능 객체가 될 수 없다. 오픈 기반은 될 수 있다. 오픈 기반은 클로즈드 기반이 될 수 없는 방식으로 외부 생태계 전체의 조율 지점이 된다. 클로즈드 웨이트 공급자는 역량과 더불어 자신이 직접 통제하는 플랫폼 매개 조율에서 경쟁한다. 오픈 웨이트 공급자는 역량에 더해 자신이 통제하지 않는 외부 생태계 조율에서 경쟁한다. 역량이 관련 시장 문턱을 넘고 나면, 네트워크 시장에서는 조율이 한계 역량을 이길 수 있다.

반론. 역량은 역사적으로 조율을 이긴 적이 많다. 답. 역량이 중요한 곳은 구매자의 가치가 다른 구매자의 선택과 무관한 곳이다. 조율이 중요한 곳은 구매자의 가치가 다른 구매자가 무엇을 골랐는지에 달린 곳이다. 에이전트 생태계는 그 둘째 종류로, 설계상 그렇다. 에이전트가 다른 에이전트와 규모 있게 상호작용하기 때문이다. 시장 구조는 조율에 유리하고, 그 조율을 낳는 구조적 속성은 기반의 개방성이다.

모델링 층이 다시 짜는 것

참여자가 기반을 읽는데 상대는 읽지 못할 때 무엇이 바뀌는지, 빠르게 세 가지 예를 든다.

조달 협상. 한 구매 기업이 오픈 파라미터 위에 에이전트를 배치해, 관련된 오픈 파라미터 위에 놓인 판매 기업의 에이전트와 협상한다. 어떤 제안이 나가기 전에, 구매자는 후보 제안에 대한 판매자의 응답 분포를 시뮬레이션할 수 있다. 판매자도 같은 일을 할 수 있다. 무슨 일이 벌어지는지는 어느 쪽이 더 많은 기반 모델링 역량, 상대의 배치 패턴에 관한 더 많은 기록된 맥락, 빠른 반복을 위한 더 많은 연산을 가졌는지에 달려 있다. 역량이 더 큰 쪽이 상대가 예상할 수 없는 자리로 먼저 들어선다. 역량이 없는 쪽은 이미 재귀를 몇 수 앞서 두어 본 상대와 협상하는 자신을 발견한다.

추천과 설득. 한 플랫폼이 사용자 참여를 최적화하려고 추천 에이전트를 배치한다. 사용자는 플랫폼 콘텐츠를 거르고 거기에 따라 행동하려고 비서 에이전트를 배치한다. 둘 다 관련된 오픈 웨이트 기반 위에서 돌아간다. 플랫폼은 사용자의 비서를 모델링할 수 있다. 비서는 플랫폼의 추천기를 모델링할 수 있다. 설득이 구조적으로 불가능해지지는 않는다. 옮겨 갈 뿐이다. 더 모델을 의식하게 되고, 연산과 훈련 데이터의 비대칭에 더 기대게 되며, 사용자 인터페이스의 통제와 타이밍에 더 기대게 된다. 사용자 인지에 관한 비대칭 정보를 가정했던 익숙한 형태의 주의력 경제 설득은 토대의 일부를 잃는다. 다른 무언가가 그 자리를 채운다. 그 이행은 매끄럽지 않을 것이다.

기반을 의식한 적대적 입력. 새로운 공격 기법이 아니다. 기존 전이성 역학의 집단 규모 상업판이다. 기반을 모델링할 수 있는 적은, 개별 배치만이 아니라 비슷한 기반 위에서 돌아가는 에이전트 집단 전체에 걸쳐 특정 응답을 낳는 입력을 만든다. 새로운 점은 전이성 자체가 아니다. 그것은 잘 연구되어 있다. 새로운 점은 표적이 한 상업 집단에 걸친 배치된 기반 계열의 응답 범위가 된다는 것, 그리고 공격이 탐지되기 전에 상업 채널을 통해 번지도록 설계될 수 있다는 것이다. 방어자에게는 대칭적인 기반 모델링 역량이 필요하다. 하니스 수준의 강화만으로는 공유된 범위를 겨눠 최적화된 공격을 탐지하지 못하기 때문이다.

이 새로운 경제적 역할은 세 가지 예 모두에 걸쳐 떠오른다. 에이전트 집단을 모델링하는 일을 중심으로 전문 기능이 나타난다. 이 역할이 에이전트 경제에서 차지하는 자리는 알고리즘 트레이딩 회사가 금융 시장에서 차지하는 자리와 같다. 시간 압박 아래 전략을 모델링하는 층위에서 그렇다는 것이지, 에이전트 경제가 말 그대로 금융 시장처럼 움직이기 때문은 아니다. 특정 입력이 주어졌을 때 에이전트 집단이 무엇을 할지를, 경쟁자보다 더 빠르고 더 잘 예측하는 전문가들이다. 그들은 속도와 모델링 품질을 통해 지대를 거머쥘 것이다. 그 기술은 지금 이름 붙은 그 무엇과도 다르다. 그것은 기계학습 연구와 퀀트 트레이딩과 경쟁적 게임이론 사이에 놓이고, 이 기술 집합을 의도적으로 짜 맞춘 조직은 거의 없다.

비율이 중요하다

기반 가지성은 시장마다 한결같지 않다. 이 역학의 세기는 에이전트 집단이 여러 기반에 어떻게 분포하는지에 달려 있고, 그 분포는 원시 인스턴스 수가 아니라 전략적으로 유의미한 거래에서 결정 물량이 차지하는 몫으로 잰다.

하나의 기반이 무게 있는 결정 다수를 떠받치는 단일 기반 시장에서는 지배적 기반을 모델링하는 일이 기본 참가 자격이 된다. 각각 상당한 몫을 떠받치는 두 기반이 있는 양극 시장에서는 기반 사이를 가로지르는 모델링이 값진 기술이다. 유의미한 기반이 셋에서 다섯 있는 다극 시장에서는 모델링 전문성이 기반 짝마다 쪼개지고 조율 비용이 더 높다. 어떤 기반도 깊은 모델링을 정당화할 만큼의 결정 물량을 떠받치지 못하는 파편화된 시장에서는 그 역학이 약해진다.

이 명제는 단일 기반 시장과 양극 시장에서 가장 강하고, 파편화된 시장에서 가장 약하다. 어느 시장에서든 첫 과제는 에이전트가 있는지를 묻는 것이 아니다. 그 에이전트들이 어떤 기반 비율 위에서 돌아가는지를 묻는 것이다.

다음 라운드의 형태

이 일을 해낼 수 있는 사람들로 채워진 첫 회사들은, 누군가 그들이 무엇을 하는지 옳게 짚어내기까지 몇 해 동안 비정상적으로 수익성이 좋아 보일 것이다. 그들은 AI를 잘한다거나, 빠르다거나, 운이 좋다고 묘사될 것이다. 그 구조적 사실은, 관찰자들이 그 회사들의 공통점을 알아볼 만큼 패턴이 충분히 되풀이되기 전까지는 보이지 않을 것이다.

AI에서 다음 라운드의 전략적 집중이 띨 형태는 지금의 틀이 예측하는 것이 아니다. 그것은 최고의 모델을 만드는 연구소에만 쌓이지 않을 것이다. 최전선 모델 경쟁은 눈에 보이는 경쟁이다. 거기에는 이름이 알려진 참여자, 공개 벤치마크, 잘 이해된 지표가 있다. 전략적으로 무게를 지니는 경쟁은 그 가운데 무엇도 없이 한 층 아래에서 벌어지고 있다. 이 라운드에서 이기는 참여자는 분석가들이 지켜보는 쪽이 아닐 것이다. 분석가들이 지켜보는 쪽은 한 층 위에서 경쟁하고 있다.