논리로 우리는 증명하고, 직관으로 우리는 발견한다

오늘의 LLM이 뛰어난 증명 엔진인 까닭, 그리고 다음 2-3년이 "조용한" 발견 아키텍처의 몫인 까닭

2026-02-08

초록

내가 하는 가장 흥미로운 생각은 말끔한 문장의 사슬로 도착하는 일이 드물다. 그것은 형태로, 언어 이전의 상태로, 배경에서 부화하다가 마지막에야 문장으로 딱 맞물린다. 이 구별이 중요한 까닭은 현대 LLM의 진보 대부분이 그 반대의 인터페이스, 곧 언어 먼저, 한 번에 한 토큰씩, “추론”을 텍스트로 수행하는 방식 위에 지어졌기 때문이다. 강력하고, 감사하기 좋고, 엄청나게 생산적이지만, 발견에는 세금을 매긴다. 이 글은 오늘의 LLM이 증명 엔진처럼 행동한다고 주장한다. 직렬적이고, 언어화할 수 있고, 일관성의 압력을 받으며, 알려진 길을 끝내는 데 탁월하다. 인간의 인지, 특히 “샤워 중의 생각” 같은 통찰과 가설 생성은 다른 체제에 기댄다. 양립하지 않는 조각들이 하나로 맞물릴 때까지 붙들어 둘 수 있는 병렬의 잠재 작업 공간이다. 다음 24-36개월의 진짜 능력 이득은 더 긴 사고의 사슬에서 오지 않을 것이다. 잠재 공간에서 조용히 생각하고, 내부 시뮬레이션을 돌리고, 그다음에야 언어로 투영할 수 있는 모델로 발견을 증명에서 분리하는 아키텍처에서 올 것이다. 인지과학이 우리 안에서 일어난다고 시사하는 것, 오늘의 LLM이 그것을 어떻게 비추고 (또 놓치고) 있는지, 그리고 다음 물결을 정의할 구체적인 시스템 패턴을 스케치하겠다.

슬라이드 링크: https://gxnzdfgg.gensparkspace.com/

1. 문장으로 말하지 않는 아침의 생각

나는 무언가가 이미 “거기” 있는 채로 깨어났다.

정당화할 수 있는 결론도, 다시 돌려 볼 수 있는 삼단논법도 아니었다. 내가 자는 동안 협상을 벌여 온 듯한 몇 개의 아이디어가 이룬 배치에 가까웠고, 거기에 중요하다는 감정의 꼬리표와 여길 봐라고 말하는 일종의 내부 포인터가 붙어 있었다. 몇 분이 지나서야 그것은 언어가 되었다.

어떤 ML 블로그보다 Poincaré가 더 잘 붙잡은 종류의 순간이다.

논리로 우리는 증명하고, 직관으로 우리는 발견한다.

우리는 “직관”을 두루뭉술한 딱지로 다룬다. 그러나 그 현상학은 구체적이다. 발견은 흔히 언어 이전에 시작된다. “시스템 1”의 충동성(불쑥 내뱉는 빠른 패턴 매칭)이 아니다. “시스템 2”의 서술(느리고 명시적인 단계들)도 아니다. 그것은 제3의 모드인 부화하는 인지에 가깝다. 문장 수준의 흔적을 행진하듯 거치지 않고도 멀리 떨어진 표상들을 결합할 수 있는 배경의 통합이다.

불편한 부분은 지금부터다. 오늘의 LLM은 그 반대 모드에 최적화되어 있다. 프롬프트를 일관된 선형의 산물로 바꾸는 데는 경이롭다. 증명을 쓰고, 단계별 추론을 생성하고, 사고처럼 보이는 설명을 낼 수 있다. 그러나 그것이 자동으로 좋은 발견자라는 뜻은 아니다.

여기 내가 다음 몇 해를 거는 논제가 있다.

**지금의 LLM은 대체로 증명 엔진이다.**직렬적이고, 언어화할 수 있으며, “다음 토큰을 내놓아야 한다”는 인터페이스에 갇혀 있다. 발견을 흉내 낼 수는 있지만 그 대가로 무거운 세금을 치른다. 발견이란 주어진 추론 흔적을 늘리는 것이 아니라, 새로운 잠재 구조를 제안하며 불확실성 아래서 가설을 생성하는 일을 뜻한다.”

**다음 2-3년은 둘을 분리하는 아키텍처에 관한 것이 될 것이다.**탐색하고, 시뮬레이션하고, 통합할 수 있는 “조용한” 발견 기반, 그리고 그 결과를 언어로 투영하는 증명/설명 층.

2. 진짜 병목은 지능이 아니다. 인터페이스다

인간과 LLM 모두 선형의 언어 흐름으로 소통한다. 한 단어 뒤에 다음 단어. 그 흐름은 좁은 통로다. 말할 때 당신은 마음이 반드시 갖고 있지는 않았던 순서에 자신을 묶는다. 트랜스포머가 디코딩할 때, 그것은 뒤따르는 모든 것의 맥락이 될 토큰 하나를 확정한다.

그 흐름 밑에는 다른 것이 산다. 잠재 작업 공간, 부분적인 아이디어들이 공존할 수 있는 고차원의 분산된 상태다. 인지과학에서 오랜 계보의 모델들은 인지를 병렬 제약 충족으로 다룬다. 많은 상호작용하는 요인들이 하나씩 열거되는 대신 일관성으로 “가라앉는다”. 신경과학에서 전역 작업 공간 이론은 이를 조화시키는 영향력 있는 방법 하나다. 수많은 병렬 무의식 처리가 경쟁하고, 그중 한 연합이 “이겨” 당신이 단일한 의식적 내용으로 보고할 수 있는 것이 된다.

이 틀은 현대 트랜스포머의 거동에 섬뜩할 만큼 잘 대응한다. (이것은 병목과 조율의 수준에서의 유비이지, 생물학적 동등성의 주장이 아니다)

병렬 잠재 계산은 순전파 안에서 일어난다(은닉 상태, 어텐션 헤드, 잔차 스트림).
직렬 방송은 디코딩에서 일어난다(토큰 하나가 선택되어 맥락에 덧붙는다).

결정적인 손실은 그 사이에서 일어난다. 풍부한 잠재 상태가 하나의 시퀀스로 표현되어야 할 때, 정보는 떨어져 나가거나 일그러진다. 나는 이를 투영 간극(projection gap)이라 부른다. 고차원 잠재 기반에 표상된 것과, 선형의 서사로 압축될 때 살아남는 것 사이의 어긋남이다.

투영 간극은 당신 자신 안에서 느낄 수 있다.

무언가를 “알지만” 아직 말하지 못한다.
이유를 나열하지 못한 채 일관성을 감지한다.
해법을 그릴 수는 있지만 순서대로 설명하기는 힘들다.

그리고 LLM에서도 볼 수 있다.

모델은 흔히 답을 (잠재 상태에서) 일찍 “알지만” 여전히 긴 설명을 내놓는다.
강제된 사고의 사슬은 인과적으로 충실하지 않은 그럴듯한 서술로 이어질 수 있다.
모델은 토큰 하나하나 계속 나아가야 하므로 초기의 실수가 연쇄한다.

**언어는 사고가 아니다. 사고의 병목을 거친 투영이다.**투영을 과정으로 착각할 때, 우리는 증명을 발견으로 오인한다.

3. 직관과 “샤워 중의 생각”에 대해 인지과학이 실제로 말하는 것

사람들은 모든 정신 현상을 “시스템 1 대 시스템 2”에 억지로 끼워 넣기를 좋아한다. 유용한 교육 도구이지만 통찰의 충분한 모델은 아니다.

인지과학과 신경과학이 폭넓게 뒷받침하는, 더 근거 있는 그림은 이렇다.

3.1 통찰은 흔히 부화 더하기 문턱 넘기다

“통찰” 문제 해결에서 사람들은 자주 이렇게 보고한다.

막혀 있다가,
물러서거나 (마음이 떠돌다가), 그다음
갑작스러운 “아하!” 순간.

이는 두 단계의 역학과 맞는다.

병렬 배경 처리: 무의식적으로 연상을 탐색하고, 제약을 풀고, 표상의 비중을 다시 매긴다.
전역 점화 / 의식적 접근: 일관된 해법이 충분히 강해지면 의식에 들어와 보고 가능해진다.

그 “아하”는 마법이 아니다. 분산된 시스템이 수렴하고 하나의 해석이 이길 때 느껴지는 것이다.

3.2 마음이 떠도는 것은 사고의 부재가 아니다. 다른 배분 체제다

뇌에는 의도적 제어와 결부된 네트워크와 내부에서 생성된 사고와 결부된 네트워크가 있다. 샤워하거나, 걷거나, 반쯤 잠들었을 때 하향식 과업 제어가 느슨해진다. 그것은 “더 멍청한 모드”가 아니다. 탐색의 기하를 바꾼다. 현재의 언어적 서사에서 오는 제약은 줄고, 먼 연상의 기회는 는다.

이것이 중요한 까닭은 발견이 흔히 현재의 국소 최적을 벗어나기를 요구하기 때문이다. 최적화의 말로 하면 부화는 때로 온도 상승이다. 갇혀 있는 분지를 벗어나는 통제된 방법이다.

3.3 언어 이전의 사고는 실재하고, 흔하며, 이론화가 덜 되어 있다

모든 사고가 말로 이루어지지는 않는다는 강한 증거가 있다(행동 연구, 환자 연구, 내성 표집 방법에서). 사람들은 심상, 공간적 구조, 정서의 꼬리표, “상징화되지 않은” 사고를 보고한다. 문장 없이도 분명한 의도나 아이디어를 가질 수 있다.

그래서 “직관”은 표준적인 ‘시스템 1 대 시스템 2’ 이분법에 잘 들어맞지 않는다. 지금의 ML 담론에서 (최신 추론 모델처럼) 우리는 흔히 시스템 2를 명시적인 언어적 직렬화, 곧 토큰을 단계별로 찍어 내는 행위와 뒤섞는다. 그러나 깊은 인지 작업이 늘 언어의 사슬은 아니다.

진짜 발견은 제3의 모드에서 작동한다. 시스템 2처럼 느려서 시간과 컴퓨트를 요구하지만, 시스템 1처럼 조용해서 기호 논리가 아니라 고차원 연상 위에서 작동한다. 기계가 발견하기를 원한다면, ‘추론’이 늘 트랜스크립트처럼 보여야 한다고 요구하기를 멈춰야 한다

시스템식 서술은 직렬적이고, 기호적이며, 보고 가능하다.
부화하는 통찰은 흔히 병렬적이고, 하위 기호적이며, 아직 보고 가능하지 않다.

기계가 발견하기를 원한다면, 발견이 문장으로 태어나야 한다고 요구하기를 멈춰야 한다. 인간은 그렇게 하지 않는다. 우리는 잠재 작업 공간이 지저분한 통합을 하게 두고, 그 뒤에 언어화한다.

4. 사고의 사슬은 왜 돌파구이자 함정인가

사고의 사슬(CoT) 프롬프팅은 진짜 돌파구였다. 모델에게 “단계별로 생각하라”고 요구하면 다단계 성능이 나아지고 오류가 읽을 수 있게 된다. 그러나 그것은 분야 전체를 미묘한 혼동 쪽으로 슬쩍 밀기도 했다.

우리는 텍스트로서의 추론에 최적화하기 시작했다.

여기에는 시간이 지날수록 쌓이는 세 가지 비용이 있다.

4.1 직렬화 세금

모델이 중간 인지를 토큰으로 표현해야 한다면, 실제 정보를 싣지 않을지도 모르는 서술에 컴퓨트와 맥락을 치르게 된다. 시스템에게 단어를 내뱉어 “생각할 시간을 사도록” 강제하는 것이다.

인간도 이것의 한 버전(내적 발화)을 하지만, 우리는 비언어적 형식으로도 생각한다. LLM은 기본적으로 추론 시점에 그 선택지가 없다. 디코딩 인터페이스가 상사다.

4.2 서사의 잠금과 확정의 연쇄

자기회귀 디코딩은 확정 기계다. 토큰이 하나 나오면 그것은 프롬프트가 된다. 초기의 가정이 뒤따르는 모든 것을 붙든다. 이것이 “서사 관성”을 만든다. 나중의 제약이 수정을 강제해야 할 때조차 모델은 계속 나아간다.

인간은 “잠깐, 그건 취소”라고 말할 수 있다.
바닐라 디코더는 바깥 루프로 감싸지 않는 한 그럴 수 없다.

4.3 보고 가능성 편향

시스템에게 스스로를 정당화하라고 요구하면, 그것이 잘 정당화할 수 있는 쪽으로 시스템을 기울인다. 그것은 탐색을 왜곡할 수 있다. 인간은 합리화한다. 분리 뇌의 작화가 극적인 사례이지만, 일상의 설명도 흔히 진실보다 일관성을 지키는 사후의 이야기다. LLM도 같은 일을 한다. 다만 그 이야기를 유창하게 쓸 수 있을 뿐이다.

그러니 CoT는 “모델이 자기 마음을 보여주는 것”이 아니다. 흔히 그것은 정답과 상관되지만 충실하리라는 보장은 없는 그럴듯한 서사를 모델이 내놓는 일이다. 작동 중인 투영 간극이다.

발견을 신경 쓴다면 함정은 분명하다. 과정을 바꾸지 않고서는 발견 과정이 설명으로 태어나도록 강제할 수 없다. 때로 그것은 돕는다(구조를 강제한다). 때로 그것은 우리에게 필요한 바로 그 모드를 막아 버린다.

5. 다음 물결: “조용히 생각하고, 그다음 말하는” 아키텍처

우리는 언어만의 인지에서 언어를 인터페이스 층으로 둔 잠재 우선 인지로의 전환을 기대해야 한다.

다음 24-36개월을 정의할 패턴들은 이렇다.

5.1 잠재 스크래치패드, 숨은 사고, 그리고 “조용한” 추론

직렬화 세금에 대한 가장 직접적인 해법은 단순하다. 모델에게 공개 토큰을 내보내지 않고 계산할 공간을 주는 것이다.

사고의 사슬을 영어로 쓰도록 강제하는 대신, 모델이 잠재 표상 안에서 내부 단계를 돌린 뒤 답으로 투영하게 둔다. 이는 당신이 말하지 않고 “문제와 함께 앉아 있을” 때 하는 일의 아키텍처 버전이다.

이 방향은 숨은 근거 토큰, 잠재 사슬, 멈춤/사고 단계, 내부 숙고 루프를 도입하는 연구들에서 이미 보인다. 컴퓨트를 보이는 텍스트에서 떼어 내는 메커니즘들이다. 모델은 출력 길이를 늘리지 않고도 불확실성을 줄이는 데 컴퓨트를 쓸 수 있어야 한다.

5.2 발견 엔진을 증명 엔진에서 분리하라

가장 깨끗한 심적 모델은 2단계 인지 스택이다.

발견 엔진(잠재): 후보 가설, 계획, 표상, 설명을 생성하고, 대안을 탐색하고, 내부 시뮬레이션을 돌리고, 모호함을 견딘다.
증명 엔진(언어): 고르고, 검증하고, 소통한다. 구조화된 추론을 내놓고, 일관성을 검사하고, 출처를 인용하고, 코드를 쓴다.

이것은 “다중 에이전트” 접근과 다르다. 컴파일러 파이프라인 같은 기능적 분리다.

프런트엔드: 추상 구문 트리를 생성한다
미들엔드: 최적화한다
백엔드: 코드를 내보낸다

기반 모델이 여전히 자기회귀 디코더라 해도, 시스템 설계로 이것의 한 버전을 오늘 구현할 수 있다.

5.3 바깥 루프 인지: 샘플링, 비평가, 검증기, 도구

잠재 우선 아키텍처가 주류가 되기 전까지, 우리는 모델을 감싸 인지의 장을 근사할 수 있다.

여러 초안(샘플링): 여러 해법 궤적을 탐색한다.
비평가/검증기 루프: 내보내기 전에 자기 답을 공격한다.
도구 사용: 산술, 검색, 시뮬레이션, 단위 테스트를 떠넘긴다.

이것은 부화와 의식적 검사의 엔지니어링 유사물이다.

배경에서의 변형 생성
그다음 의도적 검증

실제로 이 패턴은 확정의 연쇄를 줄이기 때문에 많은 과업에서 이미 단발 CoT를 이긴다.

5.4 그저 더 많은 맥락이 아닌 기억

긴 컨텍스트 창은 도움이 되지만, 쓸 수 있는 장기 기억과 같지 않다. 압축과 검색 없이는 “더 많은 토큰”은 건초 더미가 된다.

기억을 핵심 모듈로 다루는 아키텍처의 부상을 기대하라. 일화 요약, 의미 저장소, 검색 정책, 학습된 압축을 포함해서.

발견 엔진에는 먼 연결을 만들 구조화된 회상이 필요하다. 증명 엔진에는 그것을 정당화할 추적 가능한 회상이 필요하다.

5.5 가소성: 계속 다시 떠오를 빠진 고리

생물학적 인지와 배포된 대부분의 LLM 사이의 깊은 차이 하나는 가소성이다. 뇌는 경험에 따라 끊임없이 변한다. 대부분의 모델은 파인튜닝을 빼면 변하지 않는다. 가장 중요한 “직관”의 개선은 더 큰 모델에서 오지 않을 것이다. 빠른 적응을 위한 통제되고 안전한 메커니즘에서 올 것이다.

프로덕션에서의 통제되지 않은 파라미터 갱신이 아니라, 핵심 역량을 파국적으로 덮어쓰지 않는 방식으로 짧게 사는 연상을 형성하고, 작업 가설을 갱신하고, 국소 맥락에서 배울 수 있는 시스템이다. 이것이 처리만 하는 마음과 스스로를 갱신하는 마음의 차이다.

발견은 아이디어를 생성하는 것만이 아니다. 가설 공간을 다시 빚는 일이다.

6. 실무적 함의: 진짜 발견 시스템을 어떻게 짓고 (또 알아볼) 것인가

지금 LLM으로 짓고 있다면 요점은 이렇다.

6.1 더 긴 사슬에만 기대지 마라. 더 나은 탐색 기하에 최적화하라

긴 사고의 사슬은 깊이의 증거가 아니다. 흔히 그것은 모델이 가진 유일한 척도인 토큰으로 시간을 사고 있다는 증거다.

대신,

다양성(여러 초안)을 써라.
구조화된 자기 공격(비평)을 써라.
단단한 도구(실행, 검색, 테스트)를 써라.
늦은 확정(가정을 일찍 잠그지 않기)을 써라.

6.2 출시할 수 있는 구체적인 “발견에서 증명으로” 루프

오늘 프로덕션용 추론 에이전트를 설계한다면, 나는 그저 ‘단계별로 생각하라’고 프롬프트하지 않을 것이다. 말하기 전에 침묵을 짓도록 시스템을 설계할 것이다.

목표는 모델이 컨텍스트 창에 확정하기 전에 잠재 공간에서 불확실성을 해소하도록 강제하는 루프다. 시스템은 높은 엔트로피의 후보 벡터를 생성하고, 검증기(도구, 단위 테스트)에 대어 돌리고, 이긴 궤적을 서사가 아니라 구조화된 상태로 압축해야 한다. 해법이 발견되고 검증된 뒤에야 증명 엔진이 깨어나 그 상태를 사람이 읽을 수 있는 설명으로 번역한다.

6.3 피할 수 없는 맞바꿈: 감사 가능성 대 인지

잠재 우선 추론으로 옮겨 가면서 우리는 얼마간의 투명성을 잃을 것이다. 숨은 스크래치패드는 성능을 높이지만 점검 가능성을 낮춘다.

그러니 진짜 최전선은 모델이 조용히 생각하게 만드는 것만이 아니다.
우리가 여전히 신뢰할 수 있는 방식으로 조용히 생각하게 만드는 것이다.

그것은 다음을 뜻한다,

검증 가능한 결과물,
도구 기반 검사,
기계적 해석 가능성,
그리고 “보이지 않는 인지”를 결정적 위험으로 다루는 거버넌스 패턴.

결론

나는 다음 도약이 LLM에게 “단계별로 생각하라”고 더 세게 요구하는 데서 온다고 생각하지 않는다. 생물학적이든 인공적이든 마음에 대한 기본적인 무언가를 인정하는 데서 온다고 생각한다. 말은 사고가 일어나는 자리가 아니다. 말은 사고가 읽을 수 있게 되는 자리다.

오늘의 LLM은 읽을 수 있게 만드는 데 놀랍다. 요구하면 증명을 내놓는다. 그러나 발견(명시적으로 계산하지 않은 아이디어를 안고 깨어나는 느낌의 그것)에는 다른 아키텍처가 필요하다. 첫 토큰 전에 부화하고, 탐색하고, 수렴할 수 있는 잠재 작업 공간이다.

다음 2-3년은 규모를 넘어설 것이다. 빠진 분리 층을 짓는 일이 될 것이다.

지저분해도 되는 발견 엔진,
깨끗할 수 있는 증명 엔진,
그리고 투영 간극을 최소화하는 둘 사이의 다리.

그것이 “말하는 기계”에서, 좋은 아이디어가 그러하듯 우리를 실제로 놀라게 할 수 있는 시스템으로 가는 길이다. 먼저 조용히, 그다음에야 말로.

슬라이드 링크: https://gxnzdfgg.gensparkspace.com/