LLM 시대의 추론 리드
LLM 이후 데이터 과학은 무엇이 되는가
LLM은 질의와 코드와 차트와 요약을, 심지어 ‘추천’까지도 만들어 내는 비용을 극적으로 낮췄다. 이건 진짜 진전이다. 무언가를 탐색하고 거듭 손보는 일에서, 그리고 물음과 그에 대한 첫 증거 사이에 놓인 마찰을 낮추는 일에서 특히 그렇다.
그런데 불편한 대목은 여기 있다. 분석이 값싸진다고 해서 더 나은 결정이 절로 따라 나오지는 않는다. 많은 조직에서는 오히려 반대가 벌어진다. 분석을 만드는 비용을 걷어 내고 나면, 줄곧 진짜 제약이었던 것이 비로소 드러나기 때문이다.
- 흐릿한 정의
- 빈약한 통계적 추론
- 유인이 끌고 가는 서사
- 배우도록 설계되지 않은 결정 과정
LLM이 데이터 과학을 죽인다고 여긴다면, 데이터 과학이 주로 분석을 만드는 일이었다고 은연중에 가정하는 셈이다. 그건 애초에 일의 본령이었던 적이 없다. 그저 병목이었을 뿐이다.
이제 값을 지니는 것은 분석을 만드는 능력이 아니다. 모호함과 유인과 검증을 견디는 추론을 만들어 내고, 실재하는 조직의 실재하는 사람들이 그 추론 앞에서 믿음을 고쳐 행동에 옮기게 만드는 능력이다.
그 일을 맡는 자리가 추론 리드(Inference Lead)다.
1. 분석이 넘쳐나는 세계에서 무너지는 다섯 가지
다음에 무엇이 무너질지 차분히 짚어 보고 싶다면 여기서부터 시작하면 된다. 분석을 만들기가 쉬워지는 순간 어김없이 드러나는 양상들이다.
분석이 부풀어 오른다
명료함은 그대로인데 산출물만 불어난다. 같은 차트의 열 가지 판본, 그럴듯한 설명 다섯 가지, ‘추천’ 세 개가 쌓이는데도 정작 움직이는 것은 없다. 산출물이 값싸지면 조직은 해석에 빠져 익사할 수 있다.
의미가 슬그머니 표류한다
같은 지표 이름이 팀과 도구와 시간을 가로지르며 어느새 서로 다른 것을 가리킨다.
‘활성(active)‘이 그 전형이다. 로그인을 했다는 뜻일 수도, 핵심 이벤트를 했다는 뜻일 수도, 결제했거나 잔존했거나 그저 어느 테이블에 한 번 나타났다는 뜻일 수도 있다. 다들 합의했다고 여기지만, 막상 그 합의를 두고 행동에 옮기려는 순간 어긋난다.
자신만만한데 실은 모호하다
진짜 자유도는 숨은 채로, 분석은 정밀해 보인다.
시간 창, 코호트 규칙, 조인 경로, 결측, 선택. 이런 것이 말없이 묻혀 버리면 결과는 더 이상 결론이 아니다. 누군가 엉뚱한 물음을 던지는 순간 곧장 무너질, 부서지기 쉬운 인공물일 뿐이다.
서사가 책임을 세탁한다
‘모델이 그랬다’는 말이 자기 가정에 책임지기를 피하는 길이 된다. 책임이 추론에서 수사로 옮겨 간다. 사람들은 무엇이 이 결론을 거짓으로 만들지 묻기를 그만두고, 미리 정해 둔 계획을 정당화해 줄 산출물을 찾아 헤매기 시작한다.
결정 회피가 규모를 얻는다
분석을 더 하는 것이 결단을 미루는, 사회적으로 용인되는 방편이 된다. 한 번 더 잘라 보고, 한 번 더 점검하고, 한 번 더 쪼개 본다. 그러는 사이 조직은 움직임을 진전으로 착각한다.
LLM이 이 문제들을 만들어 내는 것은 아니다. 다만 증폭한다. 조직이 이미 어떤 모습이든 그 모습을 가속할 뿐이다. 조직이 엄정하다면 지렛대를 얻고, 조직이 허술하다면 자기기만을 규모만큼 키운다.
그러니 물어야 할 것은 ‘분석을 더 빨리 만들 수 있는가’가 아니다. ‘추론은 누가 책임지는가’다.
2. 데이터 과학자에서 추론 리드로
대다수 조직이 데이터로 움직이는 데 실패하는 까닭은 대시보드가 모자라서가 아니다. 어수선한 현실을 행동으로 이어지는 믿음의 갱신으로 바꾸는 일을 아무도 책임지지 않기 때문이다.
추론 리드는 바로 그 믿음의 갱신을 책임진다.
이건 겉치레로서의 ‘소통’이 아니다. 불확실성 아래에서, 유인의 한가운데서, 진짜 결과를 걸고 행하는 기술적 리더십이다.
추론 리드가 책임지는 것
틀을 세운다. 막연한 요청을 결정에 묶인 주장으로 바꾼다. 그 결정을 누가 책임지는지 짚어 낸다. 무엇이 마음을 바꿀지 못 박는다. 이 셋에 답하지 못한다면 그건 분석 과제가 아니다. 분석의 탈을 쓴 결정 과제다.
의미를 못 박는다. 결론에 앞서 정의부터 못 박는다. 개체, 코호트 규칙, 입자도, 시간의 의미, 지표의 정의. 이 일은 더디게만 느껴지지만, 곧 깨닫게 된다. 팀들이 서로 다른 현실을 두고 다투지 않게 막아 주는 유일한 일이 바로 이것임을.
방법을 고른다. 식별 전략을 고르고 가정을 밝힌다. 가능하면 실험한다. 안 되면 준실험 설계로 간다. 관찰뿐일 때는, 무엇이 그 결과를 부서지기 쉽게 만들고 무엇이 그것을 깨뜨릴지 말할 수 있을 때에만 쓴다.
스스로 깨뜨려 본다. 자기 결론을 스스로 반증해 보려 든다. 민감도 점검, 음성 대조, 믿을 만한 기준선과의 대조. 결과가 좋아 보인다고 끝난 게 아니다. 무너뜨리기 어려워졌을 때 비로소 끝난 것이다.
행동의 경계를 긋는다. 불확실성을 임계값으로 옮긴다. 출시, 보류, 롤백. 진짜 중요한 가드레일. ‘무엇이 우리 마음을 바꿀까’라는 물음은 수사적 장식이 아니다. 추론과 그저 그런 콘텐츠를 가르는 선이다.
LLM이 들어설 자리
LLM은 후보를 만들어 내는 데 뛰어나다. 가설, 초안 분석, 코드 골격, 다른 설명, 점검해 볼 만한 것들의 제안. LLM은 물음에서 첫 초고까지 걸리는 시간을 압축하고 탐색을 값싸게 만든다.
책임을 지는 것은 추론 리드다. 정의와 가정과 견고성의 기준, 그리고 행동의 경계는 외주로 넘기지 않는다. 모델은 거리낌 없이 쓰되, 그것이 책임을 대신하게 두지는 마라.
현장에서 버티는 단순한 심상 하나가 있다. LLM은 끝없이 초안을 찍어 낼 수 있다. 노련한 판단은 여전히 희소한 자원이다.
3. 도구: 추론 브리프
분석이 넘쳐나는 조직에는 농간 부리기 어렵고 검토하기 쉬운 표준 산출 단위가 필요하다.
대시보드가 아니다. 슬라이드 묶음도 아니다. 노트북 스크린숏도 아니다.
가정을 드러내고, 의미를 명시하고, 결정을 감사 가능하게 만드는 단출한 인공물이다.
그 인공물이 추론 브리프(Inference Brief)다.
좋은 추론 브리프는 한자리에서 다 읽을 만큼 짧고, 손을 갈아타도 버틸 만큼 짜임새가 있다. ‘여기 차트가 있다’와 ‘우리가 무엇을 믿고, 왜 믿으며, 그래서 무엇을 할지가 여기 있다’ 사이의 차이다.
실전 양식
1) 결정 맥락. 어떤 결정이 미정인지, 누가 책임지는지, 시한은 언제인지.
2) 주장. 행동에 묶인, 반증 가능한 진술. ‘X를 하면 조건 C에서 Y가 대략 Δ만큼 바뀐다.’
3) 정의. 개체, 코호트 규칙, 입자도, 시간 창, 지표 산식. 이게 흐릿하면 그 아래로는 무엇도 미덥지 않다.
4) 방법과 가정. 실험인지, 준실험인지, 관찰인지. 가정은 꾸밈없이 밝힌다. 주된 실패 양식까지 함께 적는다.
5) 결과와 불확실성. 효과 크기와 불확실성. 불확실성이 크면 크다고 말한다. 효과가 들쭉날쭉하면 결정에 중요한 구간을 보여 준다.
6) 견고성과 행동 경계. 그 결과를 깨뜨려 보려 무엇을 했는지. 출시, 보류, 롤백의 임계값. 무엇이 결정을 바꿀지.
7) 출처. 질의나 노트북으로 가는 링크, 데이터셋 판본, 정의 판본.
출처가 브리프를 오래가게 만든다. 출처가 없으면 조직은 배우지 못한다. 같은 논쟁을 되풀이할 뿐이다.
LLM이 브리프를 어떻게 낫게 하는가
정의를 못 박은 다음에는 모델을 시켜 각 절을 초안 잡고, 반론을 내놓게 하고, 견고성 점검 항목을 열거하게 하고, 듣는 사람에 따라 다시 쓰게 하면 된다.
브리프는 여전히 진실의 원천으로 남는다. 모델은 그 브리프를 채우고, 따져 보고, 전하도록 돕는 도구일 뿐이다.
4. 데이터 엔지니어에서 의미 컴파일러로
이 대목에서 많은 팀이 긴장을 느낀다.
한편으로 추론 브리프는 명료함과 책임 쪽으로 밀어붙인다. 다른 한편으로 조직은 여전히 어수선한 시스템, 흔들리는 정의, 코드와 대시보드와 구전 지식에 흩어진 임시변통 논리 위에서 돌아간다.
바로 거기서 의미 컴파일러(Meaning Compiler)가 들어선다.
자연어는 명세가 아니다. SQL은 의미가 아니다. SQL은 구현이다. 추론을 몇몇 사람의 영웅적 분투 너머로 키우려면, 의도에서 의미로, 다시 검증된 산출로 이어지는, 되풀이할 수 있는 길이 있어야 한다.
의미 컴파일러를 ‘우리가 물음을 던졌다’와 ‘그 답을 재사용하고 감사할 수 있다’ 사이를 잇는 다리로 생각하면 된다.
기본 파이프라인
의도. 사람의 말로 된 물음.
의미 표현. 조직 안에서 의미가 무엇인지를 구조화하고 판본까지 매겨 적어 둔 기술.
타입 검사. 모호하거나 모순된 요청이 설득력 있는 산출물로 둔갑하기 전에 걸러 내는 규칙.
실행과 검증. 생성된 질의와 분석을 대조 및 불변식과 짝지은 것.
이건 관료제를 더하는 일이 아니다. 가장 값비싼 종류의 실패, 곧 나쁜 결정을 끝까지 끌고 갈 만큼 오래 살아남는 설득력 있는 오답을 막는 일이다.
의미 표현이 담아야 하는 것
이걸 최소한으로만 갖춰도 값의 대부분을 얻을 수 있다.
- 개체와 정체성. 사용자, 계정, 고객이 무엇인지. 정체성이 시간에 따라 어떻게 합쳐지고 갈라지는지.
- 일급 개념으로서의 입자도. 사용자-일과 사용자-월은 주석이 아니다. 타입이다. 숱한 분석 실패는 비즈니스 서사를 걸쳐 입은 입자도 오류일 뿐이다.
- 시간의 의미. 이벤트 시각과 처리 시각, 시간대, 창 정의, 늦게 도착한 데이터를 다루는 규칙.
- 지표 정의와 판본. 산식, 필터, 제외 조건, 그리고 의미가 변한다는 사실.
- 조인 제약. 허용된 조인 경로, 예상 카디널리티, 중복 방지 장치.
조직이 이런 것을 명시적으로 표현하지 못하면, 영영 암묵 속에서만 다투게 된다.
추론을 가장 자주 망치는 타입 오류들
낱낱이 분류할 필요는 없다. 셋이면 실제 사고의 대부분을 덮는다.
- 허깨비 효과를 만들어 내는 입자도 불일치
- 지표를 부풀리는 조인 폭발
- 보이지 않는 까닭으로 결과를 서로 어긋나게 만드는 시간 창 모호함
의미 컴파일러는 이것들이 매끈한 차트와 자신만만한 서사로 굳기 전에, 일찌감치 잡아낸다.
데이터 과학과 데이터 엔지니어링이 맞잡는 손
여기서 DS와 DE는 이웃이기를 그치고 서로 맞물린다.
추론 리드는 추론 브리프 안에 의미와 가정을 명시한다. 플랫폼은 그 의미를 재사용하고 점검하고 감사할 수 있도록 부호화한다.
그것을 시맨틱이라 부르든, 계약이라 부르든, 지표 계층이라 부르든 이름은 중요하지 않다. 중요한 건 기능이다. 추론이 매번 정의를 둘러싼 싸움으로 무너지지 않도록, 조직에 의미를 위한 타입 시스템을 쥐여 주는 일이다.
5. 기업 안에서 분석을 다루는 규칙
추론은 통계적 과정이기만 한 것이 아니다. 예측 가능한 실패 양식을 지닌 사회적 과정이기도 하다. LLM은 좋은 쪽도 나쁜 쪽도 함께 증폭한다.
규범 몇 가지면 멀리 간다.
정의 없이는 주장도 없다
입자도와 지표가 명시적이지 않다면 그건 증거가 아니다. 초안이다.
이 단 하나의 규칙이 놀랄 만큼 많은 가짜 불일치를 없앤다.
행동 경계 없이는 행동도 없다
모든 추론 브리프는 출시, 보류, 롤백의 기준과 ‘무엇이 우리 마음을 바꿀까’로 끝난다.
이를 강제하지 않으면 분석은 그저 콘텐츠가 되어 버린다.
깨뜨려 보지 않고서는 결과도 없다
반증해 보려 한 적이 없다면 끝난 게 아니다. 이것이 조직을 합리화된 확신으로부터 지키는 길이다.
통하는 가벼운 의례 하나
추론 리뷰를 코드 리뷰처럼 돌려라. 의미가 먼저, 그다음이 방법, 그다음이 견고성, 그다음이 행동 경계. 끝에는 결정을 책임질 사람의 이름과 기록으로 남긴 후속 조치를 둔다.
어두운 진실 하나를 꾸밈없이 말하자면 이렇다. 분석이 넘쳐나는 조직에서 기본 실패 양식은 무지가 아니다. 합리화된 확신이다.
확신이 제자리를 스스로 벌어 내게 만드는 것, 그게 당신의 일이다.
6. 다음에 무엇이 바뀌고, 어떻게 한 단계 올라설까
LLM은 계속 좋아질 것이다. 도구는 계속 매끄러워질 것이다. ‘물으면 답이 나온다’가 예사가 될 것이다.
차이를 가르는 것은, 조직이 그 답을 절도 있는 추론과 행동으로 바꿀 수 있느냐다.
이삼 년 안에 확인해 볼 만한 예측들
- 강한 팀은 대시보드 산출량이 아니라 추론의 주기 시간을 최적화한다. 물음에서 브리프로, 브리프에서 결정으로, 결정에서 결과 검토로 이어지는 고리가 진짜 중요한 고리가 된다.
- 분석을 생산하는 일은 압축된다. 추론을 이끄는 일이 시니어 트랙이 된다.
- 명시적 의미에 투자하지 않는 조직은 수확 체감에 부딪힌다. 산출은 늘고, 합의는 줄고, 신뢰는 낮아진다.
- 최고의 데이터 과학자는 불확실성을 행동의 경계로 옮기고, 믿음이 바뀔 수 있게 만든다.
실무자로서 한 단계 올라서는 법
데이터 과학자나 분석가라면, 진짜 결정 위에서 추론 브리프를 써 보는 연습을 하라. 도구만이 아니라 가정과 견고성에 능숙해져라. ‘무엇이 우리 마음을 바꿀까’를 일찍부터 반사적으로 묻는 버릇을 길러라.
플랫폼 쪽을 짓는다면, 정의를 판본화하고 재사용할 수 있게 만들어라. 입자도와 시간의 의미와 조인 제약에 타입 검사를 더해라. 출처를 자동으로 남겨, 주장이 기본으로 제 계보를 지니게 하라.
분석의 솜씨는 더 이상 희소하지 않다. 좋은 소식이다.
데이터 작업을, 줄곧 마땅히 내놓았어야 할 것으로 마침내 평가할 수 있다는 뜻이니까.
조직을 움직이는, 절도 있는 추론으로.