LLM 시대의 추론 리드
LLM 이후 데이터 과학은 무엇이 되는가
영어 원문에서 옮김 · 기계 초벌 번역, 검수 전
LLM은 질의, 코드, 차트, 요약, 심지어 “권고”를 생성하는 일을 극적으로 싸게 만들었다. 진짜 진보다. 특히 탐색, 반복, 그리고 질문과 증거의 첫 시도 사이의 마찰을 낮추는 데서.
그러나 불편한 부분은 이것이다. 더 싼 분석이 자동으로 더 나은 결정을 낳지는 않는다. 많은 조직에서는 그 반대다. 분석을 만드는 비용을 없애면, 늘 진짜 제약이었던 것이 드러난다.
- 불분명한 정의
- 약한 통계적 추론
- 유인이 이끄는 서사
- 배우도록 계측되지 않은 결정 과정
LLM이 데이터 과학을 죽인다고 생각한다면, 데이터 과학이 주로 분석을 만드는 일이었다고 암묵적으로 가정하는 것이다. 그것은 결코 그 직무가 아니었다. 그저 병목이었을 뿐이다.
이제 값진 것은 분석을 만드는 능력이 아니다. 모호함, 유인, 검증을 견디는 추론을 만들고, 실제 조직의 실제 사람들이 믿음을 갱신하고 행동하게 하는 능력이다.
그 역할이 추론 리드다.
1. 분석이 넘치는 세계의 다섯 가지 실패 양상
다음에 무엇이 깨지는지 차분히 진단하고 싶다면 여기서 시작하라. 분석을 생성하기 쉬워질 때 보게 될 패턴들이다.
분석 인플레이션
명료함은 늘지 않는데 결과물만 는다. 같은 차트의 열 가지 버전, 그럴듯한 설명 다섯, “권고” 셋, 그러고도 아무 움직임이 없다. 결과물이 싸지면 조직은 해석에 익사할 수 있다.
의미의 표류
같은 지표 이름이 팀, 도구, 시간에 따라 조용히 다른 것을 뜻한다.
“활성”이 고전적인 예다. 로그인했다, 핵심 이벤트를 수행했다, 결제했다, 잔존했다, 혹은 그저 어떤 테이블에 나타났다. 행동하려 하기 전까지는 모두가 합의했다고 생각한다.
자신만만한 모호함
실제 자유도는 숨겨진 채 분석은 정밀해 보인다.
시간 창, 코호트 규칙, 조인 경로, 결측, 선택. 이것들이 암묵적이면 결과는 결론이 아니다. 누군가 잘못된 질문을 던지는 순간 무너질 부서지기 쉬운 산출물이다.
서사 세탁
“모델이 그랬다”가 가정을 책임지지 않는 방법이 된다. 책임은 추론에서 수사로 옮겨 간다. 사람들은 무엇이 결론을 거짓으로 만들지 묻기를 멈추고, 선호하는 계획을 정당화하는 결과물을 찾기 시작한다.
규모화된 결정 회피
더 많은 분석이 확정을 미루는 사회적으로 용인되는 방법이 된다. 한 번 더 잘라 보기, 한 번 더 점검, 한 번 더 분해. 조직은 움직임을 진보와 혼동한다.
LLM이 이 문제들을 만들지는 않지만 증폭한다. 조직이 이미 무엇이든 그것을 가속한다. 조직이 엄밀하면 지렛대를 얻는다. 조직이 허술하면 자기기만을 규모화한다.
그러니 질문은 “분석을 더 빨리 생성할 수 있는가?”가 아니다. 질문은 “누가 추론을 소유하는가?”다.
2. 데이터 과학자 → 추론 리드
대부분의 조직이 데이터 기반이 되지 못하는 것은 대시보드가 없어서가 아니다. 지저분한 현실을 행동으로 이어지는 믿음 갱신으로 바꾸는 일에 아무도 책임지지 않기 때문이다.
추론 리드는 그 믿음 갱신에 책임진다.
연기하는 의미의 “소통”이 아니다. 불확실성 아래, 유인 안에서, 실제 결과가 걸린 기술 리더십이다.
추론 리드가 소유하는 것
틀 짓기
막연한 요청을 결정에 묶인 주장으로 바꾼다. 결정 담당자를 명시한다. 무엇이 생각을 바꿀지 구체화한다. 이것들에 답할 수 없다면 그 요청은 분석 과업이 아니다. 분석인 척하는 결정 과업이다.
의미
결론에 앞서 정의를 못 박는다. 개체, 코호트 규칙, 그레인, 시간 의미론, 지표 정의. 이 일은 느리게 느껴지지만, 팀들이 서로 다른 현실을 두고 다투는 것을 막는 유일한 일임을 깨닫는 순간 달리 보인다.
방법
식별 전략을 고르고 가정을 밝힌다. 가능하면 실험. 아니면 준실험 설계. 관찰 연구는 무엇이 그것을 부서지기 쉽게 하고 무엇이 그것을 깨뜨릴지 말할 수 있을 때만.
스트레스 테스트
자기 결론을 반증하려 해 본다. 민감도 점검, 음성 대조, 신뢰할 수 있는 기준선과의 대조. 결과가 좋아 보일 때 끝나는 것이 아니다. 무너뜨리기 어려울 때 끝난다.
행동 경계
불확실성을 문턱값으로 번역한다. 출시, 보류, 롤백. 중요한 가드레일. “무엇이 우리 생각을 바꿀 것인가?”라는 문장은 수사적 장식이 아니다. 추론과 콘텐츠의 차이다.
LLM이 들어맞는 자리
LLM은 후보를 생성하는 데 뛰어나다. 가설, 분석 초안, 코드 뼈대, 대안 설명, 제안된 점검. 질문에서 첫 초안까지의 시간을 압축하고 탐색을 싸게 만든다.
추론 리드는 책임을 소유한다. 정의, 가정, 강건성 기준, 행동 경계는 외주되지 않는다. 모델을 공격적으로 쓰되, 소유권의 대용품이 되게 두지 마라.
단순한 심적 모델 하나가 실제로 잘 버틴다. LLM은 끝없이 초안을 만들 수 있다. 시니어의 판단은 여전히 희소한 자원이다.
3. 도구: 추론 브리프
분석이 넘치는 조직에는 속이기 더 어렵고 검토하기 더 쉬운 표준 결과물 단위가 필요하다.
대시보드가 아니다. 슬라이드 덱이 아니다. 노트북 스크린샷이 아니다.
가정을 보이게 하고, 의미를 명시적으로 만들고, 결정을 감사 가능하게 하는 간결한 산출물이다.
그 산출물이 추론 브리프다.
좋은 추론 브리프는 한 자리에서 읽을 만큼 짧고, 인계를 견딜 만큼 구조화되어 있다. “여기 차트가 있다”와 “여기 우리가 믿는 것, 믿는 이유, 그에 대해 할 일이 있다”의 차이다.
실무 템플릿
1) 결정 맥락
어떤 결정이 걸려 있고, 누가 소유하며, 일정은 어떠한가.
2) 주장
행동에 묶인 반증 가능한 진술.
”X를 하면 조건 C 아래서 Y가 대략 Δ만큼 바뀐다.”
3) 정의
개체, 코호트 규칙, 그레인, 시간 창, 지표 공식. 이것이 흐릿하면 하류의 어떤 것도 믿을 수 없다.
4) 방법과 가정
실험, 준실험, 또는 관찰. 가정을 평이하게 밝힌다. 주요 실패 양상을 포함한다.
5) 결과와 불확실성
효과 크기에 불확실성을 더한다. 불확실성이 크면 그렇다고 말하라. 효과가 이질적이면 결정에 중요한 조각을 보여 주라.
6) 강건성과 행동 경계
무너뜨리려고 무엇을 했는가. 출시, 보류, 롤백의 문턱값. 무엇이 결정을 바꿀 것인가.
7) 출처
질의나 노트북, 데이터셋 버전, 정의 버전으로의 링크.
출처가 브리프를 오래가게 만든다. 그것이 없으면 조직은 배우지 않는다. 논쟁을 반복한다.
LLM이 브리프를 개선하는 법
모델을 써서 절의 초안을 잡고, 반론을 제안하고, 강건성 점검을 열거하고, 정의가 고정된 뒤 청중에 맞춰 다시 쓰라.
브리프는 진실의 원천으로 남는다. 모델은 그것을 채우고, 시험하고, 전달하도록 돕는 도구다.
4. 데이터 엔지니어 → 의미 컴파일러
이 지점에서 많은 팀이 긴장을 느낀다.
한편으로 추론 브리프는 명료함과 책임 쪽으로 민다. 다른 한편으로 조직은 여전히 지저분한 시스템, 바뀌는 정의, 코드와 대시보드와 부족 지식에 흩어진 즉석 논리 위에서 돌아간다.
의미 컴파일러가 들어오는 자리가 거기다.
자연어는 명세가 아니다. SQL은 의미가 아니다. SQL은 구현이다. 추론이 영웅의 일을 넘어 규모를 키우려면, 의도에서 의미로, 검증된 결과물로 가는 반복 가능한 경로가 필요하다.
의미 컴파일러를 “우리가 질문을 던졌다”와 “우리가 답을 재사용하고 감사할 수 있다” 사이의 다리로 생각하라.
기본 파이프라인
의도
사람의 말로 된 질문.
의미 표현
조직 안에서의 의미에 대한, 구조화되고 버전이 매겨진 기술.
타입 검사
모호하거나 일관되지 않은 요청이 설득력 있는 결과물이 되기 전에 거부하는 규칙.
실행 더하기 검증
대조와 불변 조건을 짝지은, 생성된 질의와 분석.
관료제를 더하자는 것이 아니다. 가장 비싼 종류의 실패, 곧 나쁜 결정을 이끌 만큼 오래 살아남는 설득력 있는 오답을 막자는 것이다.
의미 표현이 담아야 하는 것
최소한으로 유지하고도 가치의 대부분을 얻을 수 있다.
- 개체와 정체성
사용자, 계정, 고객이란 무엇인가. 정체성이 시간에 따라 어떻게 합쳐지고 갈라지는가. - 일급 개념으로서의 그레인
사용자-일 대 사용자-월은 주석이 아니다. 타입이다. 많은 분석 실패는 사업 서사를 걸친 그레인 오류일 뿐이다. - 시간 의미론
이벤트 시각 대 처리 시각, 시간대, 창 정의, 늦게 도착하는 데이터 규칙. - 지표 정의와 버전
공식, 필터, 제외, 그리고 의미가 바뀐다는 사실. - 조인 제약
허용된 조인 경로, 예상 카디널리티, 중복 방지.
조직이 이것들을 명시적으로 표현할 수 없다면, 영원히 암묵적으로 다툴 것이다.
추론을 가장 자주 망치는 타입 오류
완전한 분류는 필요 없다. 셋이면 실제 사고의 대부분을 덮는다.
- 유령 효과를 만드는 그레인 불일치
- 지표를 부풀리는 조인 폭발
- 보이지 않는 이유로 결과를 어긋나게 하는 시간 창의 모호함
의미 컴파일러는 이것들이 다듬어진 차트와 자신만만한 서사가 되기 전에 일찍 잡아낸다.
데이터 과학과 데이터 엔지니어링의 악수
DS와 DE가 이웃이기를 멈추고 결합되는 곳이 여기다.
추론 리드는 추론 브리프 안에서 의미와 가정을 명세한다. 플랫폼은 그 의미를 재사용하고, 점검하고, 감사할 수 있도록 부호화한다.
의미론, 계약, 지표 층, 무엇이라 불러도 좋다. 이름은 중요하지 않다. 기능이 중요하다. 매번 정의를 두고 싸우다 추론이 무너지지 않도록, 조직에 의미의 타입 시스템을 주는 것이다.
5. 기업 안에서의 분석 규칙
추론은 통계적 과정만이 아니다. 예측 가능한 실패 양상을 가진 사회적 과정이다. LLM은 좋은 쪽과 나쁜 쪽을 모두 증폭한다.
몇 가지 규범이 큰 몫을 한다.
정의 없이는 주장도 없다
그레인과 지표가 명시적이지 않으면 증거가 아니다. 초안이다.
이 규칙 하나가 놀랄 만큼 많은 가짜 불일치를 없앤다.
행동 경계 없이는 행동도 없다
모든 추론 브리프는 출시, 보류, 롤백 기준과 “무엇이 우리 생각을 바꿀 것인가”로 끝난다.
이를 강제하지 않으면 분석은 콘텐츠가 된다.
무너뜨리려는 시도 없이는 결과도 없다
반증하려 해 보지 않았다면 끝난 것이 아니다. 이것이 조직을 합리화된 확신으로부터 지키는 방법이다.
효과 있는 가벼운 의식
추론 리뷰를 코드 리뷰처럼 돌려라. 의미 먼저, 그다음 방법, 그다음 강건성, 그다음 행동 경계. 이름이 명시된 결정 담당자와 기록된 후속 조치로 끝낸다.
어두운 진실 하나를 평이하게 말하자면 이것이다. 분석이 넘치는 조직에서 기본 실패 양상은 무지가 아니다. 합리화된 확신이다.
당신의 일은 확신이 제 자리를 벌어 얻게 만드는 것이다.
6. 다음에 무엇이 바뀌고 어떻게 올라설 것인가
LLM은 계속 나아질 것이다. 도구는 계속 매끄러워질 것이다. “질문하면 답을 얻는다”가 일상이 될 것이다.
차별점은 조직이 답을 규율 있는 추론과 행동으로 바꿀 수 있는가가 될 것이다.
2-3년 안에 확인할 수 있는 예측
- 강한 팀은 대시보드 산출량이 아니라 추론 주기 시간을 최적화할 것이다. 질문에서 브리프로, 결정으로, 결과 검토로 가는 것이 중요한 루프가 된다.
- 분석 생산 업무는 압축된다. 추론 리더십이 시니어 트랙이 된다.
- 명시적 의미에 투자하지 않는 조직은 수확 체감에 부딪힌다. 결과물은 늘고, 합의는 줄고, 신뢰는 낮아진다.
- 최고의 데이터 과학자는 불확실성을 행동 경계로 번역하고 믿음의 변화를 가능하게 한다.
실무자로서 올라서는 법
데이터 과학자나 분석가라면
실제 결정에 대해 추론 브리프를 쓰는 연습을 하라. 도구만이 아니라 가정과 강건성에 유창해져라. “무엇이 우리 생각을 바꿀 것인가”의 반사 신경을 일찍 길러라.
플랫폼 쪽을 짓는다면
정의에 버전을 매기고 재사용할 수 있게 하라. 그레인, 시간 의미론, 조인 제약에 타입 검사를 더하라. 주장이 기본으로 계보를 지니도록 출처를 자동으로 만들어라.
분석의 솜씨는 더 이상 희소하지 않다. 좋은 소식이다.
우리가 마침내 데이터 일을 그것이 늘 내놓아야 했던 것으로 판단할 수 있다는 뜻이다.
조직을 움직이는 규율 있는 추론.