인지가 공개되었다
재귀성이 한 층 더 깊어졌고, 대부분의 참여자는 아직 알아채지 못했다.
영어 원문에서 옮김 · 기계 초벌 번역, 검수 전
경제학에서 재귀성은 시장 참여자의 믿음이 그 믿음의 대상인 시장을 빚는 역학을 가리킨다. 고전 이론이 작업하던 곳에서 한 층 위의 구조적 통찰이었다. 이제 더 깊은 층이 있다. 믿음을 만들어 내는 인지 과정의 층이고, 오픈 웨이트 기반이 방금 그것을 처음으로 상업적으로 작동하게 만들었다.
정교한 상업 행위자들은 경쟁자의 에이전트에게 제안을 보내기 전에 그 에이전트의 국소 근사를 돌리기 시작하고 있다. 이 습관이 자리 잡는 곳에서 전환율의 비대칭은 미묘하지 않을 것이다. 이것이 2020년대 후반의 지배적 전략 역학이 될 것의 첫수다.
이 글은 무엇이 바뀌었는지에 이름을 붙인다.
기반은 이제 공개되어 있다
표준적 관점은 AI 모델이 들여다볼 수 없는 블랙박스라는 것이다. 이 관점은 최전선의 능력이 연구소 안에 살고 파라미터와 행동의 관계가 진짜로 불투명하던 2018년에는 옳았다. 2026년에는 점점 틀려 가고 있다. 전략의 층에서는 위험할 만큼 틀린 것이 되었다.
5년 전에는 없던 밀도와 상업적 유관성으로, 공개 기반 신호의 원천 다섯 가지가 이제 존재한다.
모델 카드, 평가, 아키텍처 노트, 부분적 학습 공개가 이제 많은 최전선급 오픈 웨이트 모델에 딸려 온다. 공개는 고르지 않지만, 기반은 이전의 어떤 상업적 인지 인프라보다 배포 전에 더 잘 문서화되어 있다. 일반 추론에서 에이전트 평가와 적대적 평가까지 모든 세부 수준의 공개 평가 벤치마크가 기반에 함께 다니는 측정된 행동 프로파일을 준다. 공개 완성 결과와 알려진 실패 패턴은 모델이 공개되는 순간부터 쌓인다. 주요 공개가 있고 몇 주 안에 커뮤니티는 그것이 어디서 지어내고, 어디서 거부하고, 어디서 맴돌고, 어떤 프롬프트 구조에 굴복하는지를 지도로 그린다. 프로덕션 배포에서 새어 나온 프롬프트와 시스템 메시지는 배포자가 무엇을 끌어내려 했는지를 드러내며, 관련 커뮤니티에서는 이제 반쯤 공개된 자료로 다뤄진다.
다섯 번째 원천이 가장 중대하다. 적대적 전이 가능성 연구는 오픈 웨이트 모델에 맞춰 최적화된 교란이 비슷한 방법으로 학습된 클로즈드 웨이트 모델로 전이된다는 것을 보였다. 전이는 고르지 않지만, 가까운 오픈 시스템이 클로즈드 시스템에 대해 전략적으로 정보가 되게 할 만큼은 실재한다. 전이 가능성은 신기한 현상이 아니다. 기반 가지성을 완전히 공개된 시스템 너머로 확장하는 구조적 사실이다.
올바른 구별은 이렇다. 오픈 웨이트 기반은 재현 가능하게 모델링할 수 있다. 충분한 컴퓨트를 가진 제3자가 추론 행동을 재현할 수 있다. 클로즈드 웨이트 기반은 행동적으로 탐침할 수 있다. API 응답, 공개 평가, 새어 나온 프롬프트, 가까운 오픈 시스템으로부터의 전이 가능성이 합쳐져 진짜 응답 범위 정보를 만든다. 재현 가능성이 강한 형태다. 탐침이 약한 형태다. 둘 다 실재하고, 둘 다 어떤 상업적 인지 기반도 전에는 그런 적 없는 방식으로 공개되어 있다.
그 상투어가 살아남는 까닭은 한 수준에서는 참이고(개별 뉴런을 읽을 수는 없다) 다른 수준에서는 편리하기(무언가를 블랙박스라 부르는 것은 생각을 멈춰도 된다는 허가다) 때문이다. 실제 상황은, 기반이 전략적 상호작용에 중요한 수준에서 유난히 읽기 쉽다는 것이다. 구조를 공유하는 기반 위에서 돌아가는 에이전트 집단에 걸쳐 어떤 종류의 입력이 어떤 종류의 응답을 낳는가의 수준이다.
이것은 완전한 해석 가능성이 아니다. 그럴 필요가 없다. 전략적 상호작용은 완전한 해석 가능성을 요구하지 않는다. 응답 범위에 대한 지식을 요구하고, 그 지식은 이제 공개되어 있다.
기반 가지성
이 역학이 작동하려면 세 조건이 함께 성립해야 한다.
기반은 강한 뜻에서 열려 있어야 한다. 오픈 웨이트, 문서화된 아키텍처, 충분한 컴퓨트를 가진 제3자가 추론 행동을 재현할 만큼 상세한 파인튜닝 명세. 전이 가능성은 역학의 일부를 클로즈드 웨이트 기반으로 확장하지만, 기반 가지성의 강한 형태는 기반 자체가 바깥에서 모델링될 수 있어야 한다.
집단이 실제로 그 오픈 웨이트 기반 위에 배포해야 한다. 아무도 쓰지 않는 기반은 역학을 낳지 않는다. 흥미로운 경우는 많은 참여자가 같거나 밀접하게 관련된 기반 위에 에이전트를 배포해, 인지 구조가 공유되고 공개적으로 모델링 가능한 집단을 만들 때다.
참여자에게는 집단 규모에서 기반을 모델링할 진짜 계산 자원이 필요하다. 이것은 논리적 능력이 아니다. 상당한 컴퓨트 비용이 드는 엔지니어링 능력이고, 그 비용은 참여자마다 고르지 않게 분포한다. 가장 많은 시뮬레이션을 가장 빠르게, 가장 높은 충실도로 돌릴 수 있는 이가 가장 많은 전략 정보를 붙잡는다. 전략 구조의 원천은 능력의 절대 수준이 아니라 비대칭이다.
이것은 재귀성이 고전적으로 기술되어 온 곳보다 깊은 층에 자리한다. 시장에 대한 믿음의 층에서의 재귀성은 참여자가 다른 참여자들이 정보를 어떻게 해석할지 모델링하기를 요구했다. 기반 가지성은 참여자가 그 해석을 만들어 내는 인지 과정을 모델링하기를 요구한다. 여기서의 깊이는 그저 추가된 재귀가 아니다. 인간은 늘 행동 추론으로 다른 인간의 인지를 모델링해 왔다. 새로운 점은 추론을 만들어 내는 인지 과정이 이제 집단 규모에서 공개적으로 재현 가능하다는 것이고, 이는 모델링이 더 이상 행동 추론에만 기대지 않는다는 뜻이다. 참여자는 그 과정 자체의 근사를 돌릴 수 있다.
Aumann의 상관 균형 영역이 가장 가까운 형식적 이웃이지만, 오픈 웨이트 기반은 기술적 뜻에서의 표준적 상관 장치가 아니다. 참여자가 직접 모델링할 수 있는 실행 가능한 인지 객체다. 더 가까운 형식적 이웃은 시뮬레이션 기반 프로그램 균형(Cooper, Oesterheld, Conitzer)과 오픈 소스 게임(Sistla, Kleiman-Weiner)이다. 프로그램 사이의 투명성이 정규형 게임에서는 불가능한 균형을 가능하게 하는 경우다. 오픈 웨이트 기반은 아무도 그렇게 설계하지 않았는데도, 배포 규모에서, 기본값으로 그 부분적인 경제적 유사물을 만든다. 구조적으로 새로운 점은, 공유된 공개 객체가 외부 신호가 아니라 참여자의 행동을 만들어 내는 인지 기계라는 것, 그 기계를 모델링하는 데 고르지 않게 분포한 상당한 계산 자원이 필요하다는 것, 그리고 그 기계가 고정된 게임 이론적 객체가 아니라 학습과 배포를 통해 진화한다는 것이다.
이 역학은 구조적으로 새롭다. 기존의 장치는 비계다.
하네스 반론
가장 강한 반론. 오픈 웨이트는 에이전트를 완전히 예측 가능하게 만들지 않는다. 특정한 방식으로 부분적으로 예측 가능하게 만들 뿐이고, 파라미터를 감싸는 하네스 층은 행동을 극적으로 바꿀 수 있다.
파라미터가 결정하는 것. 기반의 기본 능력과 편향. 모델이 어떤 개념을 갖는지, 어떤 추론 패턴으로 기울어지는지, 특정 입력에 어떤 응답 분포를 내는지. 결정적으로, 파라미터는 무엇이 불가능한지를 결정한다. 파라미터가 정하는 응답 범위 바깥의 응답은 어떤 하네스도 만들 수 없다.
하네스가 더하는 것. 행동을 빚는 시스템 프롬프트. 에이전트가 순수 추론 바깥의 일을 하게 하는 도구 접근. 기억과 상태. 검색 구성. 배포자만 아는 방식으로 파라미터를 바꾸는 파인튜닝. 디코딩 파라미터. 파이프라인 구조. 다중 에이전트 오케스트레이션. 하네스는 진짜로 강력하다. 맞춤 시스템 프롬프트에 독점 도구에 비공개 파인튜닝을 더하면 기본 파라미터 모델링이 예측하지 못하는 행동을 만들 수 있다.
정직한 구별. 오픈 웨이트는 응답 범위를 공개한다. 배포된 행동을 공개하지는 않는다.
이것으로 충분하다.
응답 범위에는 다른 무엇도 주지 않는 진짜 정보가 들어 있다. 응답 범위 지식으로부터 가능한 응답의 공간, 응답 분포의 모양, 기반이 압박 아래서 깨지는 지점, 어떤 종류의 전략이 기반의 능력 안에 있는지, 어떤 프롬프트로 감싸도 기본 기반이 홀로는 만들 수 없는 것을 예측할 수 있다. 완전한 예측은 아니다. 아무것도 없는 것보다 훨씬 많고, 어떤 참여자가 다른 참여자의 인지에 대해 이제껏 가져 본 어떤 것보다 많다.
전략적 함의. 정교한 참여자는 기반 가지성의 점근선이 아니라 기울기를 두고 추론할 것이다. 유관한 질문은 결코 “배포된 에이전트를 완전히 시뮬레이션할 수 있는가”가 아니다. 답은 늘 아니오이기 때문이다. 유관한 질문은 “상대가 내 응답 공간에 대해 아는 것보다 내가 상대의 응답 공간에 대해 더 많이 아는가”다. 비대칭이 전략 자산이다. 절대 수준이 아니다.
Ted Chiang의 “Understand”가 극한의 경우를 그린다. 두 강화된 마음이 서로를 너무 깊이 모델링해서, 둘 다 이미 재귀를 끝까지 돌려 봤기에 상호작용 전체가 단 한 수로 무너진다. 거의 아무도 그 극한에 이르지 못할 것이다. 경제는 완전한 불투명과 완전한 투명 사이의 기울기, 전략 구조가 실제로 작동하는 곳에서 살 것이다.
이 틀은 깊은 해석 가능성이나 완전한 시뮬레이션에 대한 강한 주장을 요구하지 않는다. 응답 범위는 공개되어 있고, 배포된 행동은 부분적으로 비공개이며, 그 간극을 어떤 참여자는 다른 참여자보다 더 잘 추론할 수 있다는 것만 요구한다.
틀의 수
컴파일 명제는 기술 스택에서 되풀이되는 패턴에 이름을 붙인다. 병목이 위로 옮겨 가면서 판단이 인프라로 컴파일된다. 한때 전문가의 판단이던 것이 도구에, 그다음 라이브러리에, 그다음 API에, 그다음 기반 모델에 박힌다. 병목은 그 위의 층으로 옮겨 간다. 현재의 최전선은 판단이 공유된 평가자 인프라와 공유된 모델 행동으로 컴파일되는 것이다.
오픈 웨이트 기반은 이 컴파일의 극한이다. 보편적으로 접근 가능한 인프라로 컴파일된 판단. 누구나 돌릴 수 있다. 충분한 컴퓨트가 있는 누구나 그것이 무엇을 만들어 내는지 모델링할 수 있다. 그러나 기반 모델링 역량은 컴퓨트만이 아니다. 기록된 상호작용, 도메인 특화 트레이스, 배포 지식, 평가 하네스도 비대칭적 입력이며, 기반이 프로덕션에서 어떻게 행동하는지에 대해 특권적 관찰을 가진 기업이 결국 가장 강한 모델링 역량을 갖게 될 수 있다. 컴퓨트는 비공개 인지 접근보다 사기 쉽다. 특권은 기반을 소유하는 데서 규모 있게 모델링하는 데로 옮겨 가고, 규모 있는 모델링의 입력은 여전히 고르지 않게 분포한다.
판단이 완전히 컴파일되고 완전히 공개되면, 경쟁 우위는 더 이상 범용의 기본 판단에 대한 접근만으로는 오지 않는다. 다른 모두와 같은 컴파일된 판단 위에서 돌아가는 집단을 예측하고 앞지르는 능력에서 온다.
이것은 원래의 컴파일 명제가 이름 붙이지 않은 층이다. 원래의 다섯 층 틀은 이제 여섯으로 늘어난다. 실행, 오케스트레이션, 판단, 모델링, 방향, 의미. 모델링 층은 기반으로 컴파일된 판단과, 단일한 주체가 단일한 시스템을 지휘한다고 가정한 방향 사이에 자리한다. 그것은 컴파일된 인프라를 경쟁자보다 빠르고 정확하게, 실시간으로, 스스로 공개된 기반이 행동을 결정하는 집단을 상대로 시뮬레이션하는 역량이다.
이것이 다듬어진 부분이다. 앞서 진술된 틀은 판단이 컴파일되면 병목이 방향으로 옮겨 간다고 예측했을 것이다. 그것은 불완전했다. 병목은 위로 올라가기 전에 아래로 내려간다. 적어도 공유 기반이 에이전트 대 에이전트의 전략적 상호작용을 실어 나르는 곳에서는. 판단에서 기반 모델링으로, 그다음에야 방향으로. 다른 배포 맥락(내부 도구, 인간-에이전트 협업, 주인-대리인 정렬)에서는 방향이 이미 더 어려운 문제일 수 있다. 그러나 공유 기반이 에이전트 대 에이전트의 전략적 상호작용을 실어 나르는 곳에서 방향은 현재의 병목이 아니다. 모델링 층이 병목이다.
모델링 층은 상업 경쟁이 보통 일어나는 곳보다 한 층 아래에 자리한다. 애플리케이션 품질로, 프롬프트 엔지니어링으로, 에이전트 신뢰성으로 경쟁하는 회사들은 모두 에이전트 대 에이전트 상거래의 결과를 결정하는 층보다 한 층 위에서 일하고 있다. 구조적으로 중대한 수들이 그 아래 기반 모델링 층에서 벌어지는 동안 그들은 하네스 구성으로 경쟁하고 있다.
이제 직관에 어긋나는 집중 주장. 오픈 웨이트 제공자는 클로즈드 웨이트 제공자가 갖지 못하는 구조적 우위를 얻는다. 클로즈드 웨이트 기반도 여전히 탐침할 수 있다. API 응답, 평가, 가까운 오픈 시스템으로부터의 전이 가능성이 참여자에게 진짜 응답 범위 정보를 준다. 그러나 탐침은 재현이 아니다. 클로즈드 기반은 외부 생태계가 도구, 시뮬레이션, 벤치마크, 적대적 지도, 안전 테스트, 모델링 전문성을 그 주위에 지을 수 있는 종류의 공유된 실행 가능 객체가 될 수 없다. 오픈 기반은 될 수 있다. 오픈 기반은 클로즈드 기반이 될 수 없는 방식으로 외부 생태계 전체의 조율점이 된다. 클로즈드 웨이트 제공자는 능력과, 자기가 직접 통제하는 플랫폼 매개 조율로 경쟁한다. 오픈 웨이트 제공자는 능력에 더해, 자기가 통제하지 않는 외부 생태계 조율로 경쟁한다. 능력이 유관한 시장 문턱을 넘고 나면, 네트워크 시장에서는 조율이 한계 능력을 이길 수 있다.
반론: 역사적으로 능력이 조율을 이긴 경우가 많다. 응답: 능력은 구매자의 가치가 다른 구매자의 선택과 무관한 곳에서 중요하다. 조율은 구매자의 가치가 다른 구매자가 무엇을 골랐는지에 달린 곳에서 중요하다. 에이전트 생태계는 구성상 두 번째 종류다. 에이전트가 다른 에이전트와 규모 있게 상호작용하기 때문이다. 시장 구조는 조율을 선호하고, 조율을 낳는 구조적 속성은 기반의 개방성이다.
모델링 층이 다시 틀 짓는 것
참여자가 기반을 읽고 있는데 상대는 그러지 않을 때 무엇이 바뀌는지, 짧은 예 셋.
조달 협상. 구매 기업이 오픈 웨이트 위에 에이전트를 배포해, 관련된 오픈 웨이트 위의 판매 기업 에이전트와 협상한다. 어떤 제안이 나가기 전에 구매자는 후보 제안들에 대한 판매자의 있을 법한 응답 분포를 시뮬레이션할 수 있다. 판매자도 같은 일을 할 수 있다. 무슨 일이 일어나는지는 어느 쪽이 더 많은 기반 모델링 역량, 상대의 배포 패턴에 대한 더 많은 기록된 맥락, 빠른 반복을 위한 더 많은 컴퓨트를 가졌는가에 달려 있다. 역량이 더 많은 쪽이 상대가 예상할 수 없는 위치로 먼저 움직인다. 역량이 없는 쪽은 이미 재귀를 여러 수 앞까지 돌려 본 상대와 협상하고 있는 자신을 발견한다.
추천과 설득. 플랫폼이 사용자 참여를 최적화하는 추천 에이전트를 배포한다. 사용자는 플랫폼 콘텐츠를 거르고 처리하는 어시스턴트 에이전트를 배포한다. 둘 다 관련된 오픈 웨이트 기반 위에서 돌아간다. 플랫폼은 사용자의 어시스턴트를 모델링할 수 있다. 어시스턴트는 플랫폼의 추천기를 모델링할 수 있다. 설득이 구조적으로 불가능해지지는 않는다. 이동한다. 더 모델을 의식하게 되고, 컴퓨트와 학습 데이터의 비대칭에 더 기대게 되고, 사용자 인터페이스 통제와 타이밍에 더 기대게 된다. 사용자 인지에 대한 비대칭 정보를 가정하던 익숙한 형태의 주의 경제 설득은 토대의 일부를 잃는다. 다른 무언가가 그 자리를 채운다. 전환은 매끄럽지 않을 것이다.
기반을 의식한 적대적 입력. 새로운 공격 기법이 아니다. 기존 전이 가능성 역학의 집단 수준 상업 버전이다. 기반을 모델링할 수 있는 공격자는 개별 배포만이 아니라 비슷한 기반 위에서 돌아가는 에이전트 집단 전체에 걸쳐 특정 응답을 낳는 입력을 만든다. 새로움은 전이 가능성 자체가 아니다. 그것은 잘 연구되어 있다. 새로움은 표적이 상업 집단에 걸쳐 배포된 기반 계열의 응답 범위가 되고, 공격이 탐지되기 전에 상업 채널을 통해 퍼지도록 설계될 수 있다는 것이다. 방어자에게는 대칭적인 기반 모델링 능력이 필요하다. 하네스 수준의 강화만으로는 공유된 응답 범위에 맞춰 최적화된 공격을 탐지하지 못하기 때문이다.
세 예 모두에 걸쳐 새로운 경제적 역할이 떠오른다. 에이전트 집단을 모델링하는 전문 기능이 나타난다. 이 역할이 에이전트 경제에 대해 갖는 관계는, 시간 압박 아래의 전략적 모델링이라는 수준에서, 알고리즘 트레이딩 회사가 금융 시장에 대해 갖는 관계와 같다. 에이전트 경제가 문자 그대로 금융 시장처럼 행동해서가 아니다. 특정 입력이 주어졌을 때 에이전트 집단이 무엇을 할지 경쟁자보다 빠르고 잘 예측할 수 있는 전문가들. 그들은 속도와 모델링 품질로 지대를 붙잡을 것이다. 그 기술은 현재 이름 붙은 어떤 것과도 다르다. 머신러닝 연구, 퀀트 트레이딩, 경쟁적 게임 이론 사이에 자리하며, 이 기술 묶음을 의도적으로 갖춘 조직은 드물다.
비율이 중요하다
기반 가지성은 시장마다 균일하지 않다. 역학의 강도는 에이전트 집단이 기반들에 어떻게 분포하는가에 달려 있다. 날것의 인스턴스 수가 아니라, 전략적으로 유관한 거래에서의 결정 비중으로 잰다.
하나의 기반이 중대한 결정의 대부분을 실어 나르는 단일 기반 시장에서는 지배적 기반을 모델링하는 것이 기본 조건이 된다. 두 기반이 각각 상당한 비중을 가진 양극 시장에서는 교차 기반 모델링이 값진 기술이다. 서너다섯 개의 유의미한 기반이 있는 다극 시장에서는 모델링 전문성이 기반 쌍별로 쪼개지고 조율 비용이 더 높다. 어떤 기반도 깊은 모델링을 정당화할 만큼의 결정 비중을 갖지 못하는 파편화된 시장에서는 역학이 약해진다.
이 논제는 단일 기반과 양극 시장에서 가장 강하고, 파편화된 시장에서 가장 약하다. 어떤 시장에서든 첫 과업은 에이전트가 있는지 묻는 것이 아니다. 그 에이전트들이 어떤 기반 비율 위에서 돌아가는지 묻는 것이다.
다음 라운드의 모양
이것을 할 수 있는 사람들로 채워진 첫 기업들은 누군가 그들이 무엇을 하는지 제대로 알아보기 전까지 몇 년 동안 터무니없이 수익성 높아 보일 것이다. AI를 잘한다고, 빠르다고, 운이 좋다고 묘사될 것이다. 구조적 사실은 관찰자들이 그 기업들의 공통점을 볼 수 있을 만큼 패턴이 충분히 되풀이되기 전까지는 보이지 않을 것이다.
AI에서 다음 라운드의 전략적 집중이 취할 모양은 현재의 틀이 예측하는 것이 아니다. 최고의 모델을 만드는 연구소에만 쌓이지 않을 것이다. 최전선 모델 경쟁은 보이는 경쟁이다. 이름 붙은 참여자, 공개 벤치마크, 잘 이해된 지표가 있다. 전략적으로 중대한 경쟁은 한 층 아래에서, 이 중 아무것도 없이 벌어지고 있다. 이 라운드에서 이기는 참여자는 분석가들이 지켜보는 이들이 아닐 것이다. 분석가들이 지켜보는 이들은 한 층 위에서 경쟁하고 있다.