부재한 취향 모델
AI로 만드는 일에 필요한 것은 생성기가 아니라 나침반이다
넷플릭스는 단순한 스트리밍 서비스가 아니다. 오래도록 돌아가는 취향 측정 기계다. 여러 해에 걸쳐 넷플릭스는 내가 무엇을 틀고 무엇을 끝까지 보고 무엇을 도중에 버리고 무엇을 다시 보는지, 새벽 두 시에 무엇을 몰아 보고 무엇에 다시는 손대지 않는지를 지켜본다. 그 이력 덕분에 넷플릭스는 선호를 놀랍도록 촘촘히 그려 낸다.
지난 시대에 그 우위는 대체로 추천을 뜻했다. 한정된 카탈로그에서 사용자가 무엇을 고를지 예측할 수 있다면 이겼다. 빤히 보일 만큼 불공정한, 익숙한 종류의 해자였다.
다음 시대는 더 낯설다. 카탈로그는 더 이상 고정되어 있지 않다. 생성기는 거의 무한한 후보를 만들어 낼 수 있다. 그런 세상에서 우위는 “무엇을 보여 줄 것인가”에서 **“무엇을 만들어 줄 것인가”**로 옮겨 간다. 취향은 시스템의 산출물이기를 멈추고 시스템의 입력이 된다.
이 말은 기존 강자가 거저 이긴다는 뜻처럼 들린다. 그럴 수도 있다. 다만 흥미로운 대목은 그 미묘함에 있다. 추천 데이터는 생성을 이끄는 지도(supervision)와 같은 것이 아니다. 로그는 노출의 제약과 화면 배치의 편향과 사회적 맥락 아래에서 사람들이 무엇을 소비했는지를 일러 줄 뿐이다. 생성기에는 더 어려운 것이 필요하다. 곧 반사실적 향유, 아직 존재하지 않는 것에 누군가가 어떻게 반응할지를 배워야 한다.
AI로 만드는 일이 여전히 슬롯머신처럼 느껴지는 까닭이 여기 있다. 우리에게는 생성할 수 있는 모델이 있다. 우리에게 없는 것은 인간의 취향을 평평하게 짓이기지 않으면서 그쪽으로 생성을 겨눌 고해상도의 방법이다.
무한 생성의 시대에 창작은 최적화 문제가 된다. 우리에게 빠진 것은 그 목적함수다.
1. 생성은 값싸고, 방향 잡기는 귀하다
십 년 전, 귀한 것은 제작이었다. 다듬어진 이미지 하나, 괜찮은 데모 하나, 앞뒤가 맞는 장면 하나를 만드는 데 시간과 도구와 솜씨가 들었다. 이제 발목을 잡는 제약은 불확실성 속의 선별이다.
생성이 흔해지면 창작은 한 가지를 만드는 일에서 가능한 여러 가지 사이를 뒤지는 일로 옮겨 간다. 사람들 대부분이 이미 창작 모델을 그렇게 쓴다.
- 한 묶음을 생성한다
- 하나를 남긴다
- 되풀이한다
- 뭔가 걸리기를 바란다
프롬프트는 후보를 요청하는 데는 도움이 되지만 평가를 풀어 주지는 않는다. 잘 평가하지 못하면 잘 방향을 잡지도 못한다. 방향을 잡지 못하면, 재기에 가장 쉬운 대리 지표가 무엇이든 그것을 최적화하게 된다.
오늘날 창작 시스템 대부분에서 그 대리 지표는 두루 통하는 품질과 일관성과 참여도가 뒤섞인 무엇이 된다. 쓸 만한 신호이긴 하지만, 창작자가 “이건 된다”라고 말할 때 뜻하는 그것은 아니다. 이것들은 “맞는 사람들에게 깊이 사랑받을 것이다”보다 “많은 사람에게 받아들여질 만하다”에 더 가깝다.
그래서 창작의 제약이 옮겨 갔다. 이제 그것은 “생성할 수 있는가”가 아니다. **“향유를 예측하고 빚어낼 수 있는가”**다.
2. 스칼라의 덫은 봉우리를 지운다
하나의 점수가 문화에 어울리지 않는 대상임을 보이는 가장 간단한 증명이 여기 있다.
두 작품을 떠올려 보자. 단편 둘, 캐릭터 디자인 둘, 노래 둘.
작품 A는 거의 모두에게 십 점 만점에 칠 점을 받는다. 무난하고 앞뒤가 맞고 두루 괜찮다.
작품 B는 사람을 가른다. 절반은 십 점을 주며 빠져든다. 나머지 절반은 사 점을 주고 금세 떠난다.
둘을 평균 내면 대략 같은 점수가 나온다. 문화적으로는 정반대다.
- 작품 A는 합의된 매끄러움이다. 아무도 불쾌하게 하지 않는다. 그만큼 애착도 좀처럼 만들지 못한다.
- 작품 B는 봉우리를 만든다. 하나의 신호가 되고, 부족을 찾아내고, 모방과 담론과 리믹스와 집착을 낳는다.
보상 모델이 스칼라라면, 이 두 대상은 분간이 안 될 수 있다. 스칼라는 대체로 평균만 “보기” 때문이다. 일단 평균을 최적화하기 시작하면, “아무도 싫어하지 않는” 콘텐츠를 체계적으로 골라내고 어떤 사람들이 격렬히 사랑하는 작품을 체계적으로 떨어뜨린다.
이건 도덕 논변이 아니다. 기하다. 하나의 보상 함수는 오를 언덕을 하나만 준다. 문화는 한 언덕이 아니다. 봉우리가 여럿인 풍경이다.
이것은 오늘날 가장 흔한 보상 모델링 장치가 만들어지는 방식과도 마침 들어맞는다. 표준적인 설계는 쌍별 선호로부터 하나의 보상값을 학습한 뒤, 그 스칼라를 재순위와 파인튜닝과 강화 학습에 쓴다. LLM이 산출물을 “평가”할 때조차 그 판단은 대개 하나의 스칼라 점수나 라벨로 뭉개진다. 최적화에는 오를 단일한 목표가 필요하기 때문이다.
이 실패 양상이 그토록 한결같은 까닭이 여기 있다. 취향을 한 숫자로 누르면 최적화가 믿고 따를 방향은 하나뿐이다. 그것은 깊은 애착이 아니라 넓은 동의 쪽으로 흘러간다.
빼어난 창작은 흔히 일부러 사람을 가른다. 기대를 깨고, 톤을 섞고, 일부만 읽어 낼 수 있는 코드를 쓰고, 방 안의 일부를 잃을 선택에 몸을 던진다. 바깥에서 보면 목소리란 어떤 사람은 신호로 알아보고 다른 사람은 오류로 받아들이는 결정들처럼 보인다. 스칼라 최적화는 그것을 결함으로 취급한다.
AI 산출물이 그토록 자주 유능하면서도 서로 바꿔 놓아도 표가 안 나게 느껴지는 큰 이유가 이것이다. 모델이 날을 세우지 못해서가 아니다. 둘레의 평가 논리가 시스템을 중간값의 무난함으로 떠미는 탓이다.
AI로 만드는 일이 무르익기를 바란다면, 하나의 점수가 아닌 다른 대상이 필요하다.
3. 향유는 여러 갈래이고, 취향은 조건적이다
누군가에게 무엇이 왜 좋았는지 물으면 좀처럼 숫자로 답하지 않는다. 그것이 자신을 어떻게 느끼게 했는지, 무슨 뜻이었는지, 어디서 놀라게 했는지, 정직하게 느껴졌는지, 어느 순간이 와닿았는지를 이야기한다.
창작의 향유는 스칼라가 아니다. 여러 갈래다.
더 충실한 대상은 향유 벡터, 곧 이런 신호들을 묶은 작은 다발이다.
- 공명 - 나를 움직였는가, 참되게 느껴졌는가
- 새로움 - 제멋대로라는 느낌 없이 나를 놀라게 했는가
- 일관성 - 짜임새가 있었는가, 전환의 값을 치렀는가
- 솜씨 - 의도되고 빚어진 것으로 느껴졌는가
- 정서 윤곽 - 긴장, 안도, 온기, 두려움, 경외, 위안
- 의미 - 내가 품고 갈 무언가를 말했는가
- 행동 의향 - 저장하고, 공유하고, 다시 보고, 리믹스하고 싶은가
매체마다 다른 갈래를 강조하지만, 글과 이미지와 음악과 영상을 가로질러 요점은 그대로다. 향유는 본래 하나의 다발이다.
이제 라벨을 아무리 더 붙여도 스칼라 보상을 깨뜨리는 둘째 사실을 더해 보자. 취향은 조건적이다.
같은 작품이 누군가에게는 정화이고 다른 누군가에게는 신파다. 어느 하위문화에는 상징이고 다른 곳에는 손발 오그라드는 것이다. 장르에 밝은 독자에게는 앞뒤가 맞고 가벼운 시청자에게는 헷갈린다. “좋음”은 작품 하나만의 속성인 경우가 드물다. 그것은 작품과 사람과 맥락 사이의 관계다.
이를 최소한으로 이름 붙이면 깔끔한 목표가 나온다. x를 작품, u를 사람 또는 취향 프로필, c를 맥락, R을 반응 벡터라 하자. 우리가 정작 원하는 대상은 누구이고 어떤 맥락인지에 조건 지어진 반응의 분포다.
“좋은가”가 아니다. “누가 사랑하고, 누가 싫어하며, 그것이 그들에게 무엇을 느끼게 하고, 우리는 얼마나 확신하는가”에 더 가깝다.
우리에게는 초기의 발판이 있다. 비교로 학습된 선호 모델, 미적 점수 매김, 비평하고 순위 매기는 LLM 평가자, 클릭과 시청 시간을 예측하는 참여 지표가 있다. 이 가운데 대부분은 세 가지 실패 양상 중 하나로 뭉개진다.
- 스칼라 붕괴
취향들을 하나의 봉우리로 평균 내는 한 점수 - 평가자 미학
다양한 인간이 실제로 사랑하는 것이 아니라, 모델이 좋다고 여기는 것을 재는 모델 - 참여도 혼동
호기심과 습관과 논란과 강박, 때로는 기쁨이 뒤섞인 시청 시간과 클릭을 최적화하는 것
빠진 것은 여러 갈래이고, 조건 지어졌으며, 불확실성에 정직한 취향 모델이다. 판결이 아니라 반응의 지도를 내놓는 시스템이다.
4. 생성기가 실제로 쓸 수 있는 취향 좌표가 우리에게 없다
“취향이 조건적이라면, 그냥 학습하면 되지”라는 말은 막상 구체화하려 들기 전까지는 쉬워 보인다. 생성기는 분위기를 조건으로 삼을 수 없다. 표현이 필요하다. 학습할 만큼 안정되고, 조건으로 삼을 만큼 간결하며, 방향을 잡을 만큼 뜻이 있는 좌표계 같은 것이 필요하다.
지금으로선 창작 AI가 그 좌표가 무엇이어야 하는지에 수렴하지 못했다.
쓸 만한 취향 좌표계라면 세 가지를 한꺼번에 해낸다.
첫째, 장기 특성과 단기 상태를 갈라놓는다.
어떤 선호는 안정적이다. 장르 친화도, 모호함에 대한 내성, 새로움을 향한 식욕, 속도 선호, 흥미를 잃기까지 얼마만큼의 일관성이 필요한지 같은 것이다. 다른 선호는 상황적이다. 기분, 의도, 함께 있는 자리, “오늘 밤엔 도전 말고 위안이 좋아” 같은 것이다. 특성과 상태를 섞으면 개인화가 무르게 부서진다. 마지막 세션에 과적합되어 그 사람을 잊는다.
둘째, 향유를 하나의 분위기가 아니라 다룰 수 있는 갈래로 바꾼다.
창작자가 “새롭게, 그러나 온전하게 만들어 줘”라고 말한다면, 시스템에는 “새로움”과 “온전함”이 따로 학습되고 따로 조절되는 표현이 필요하다. 그러지 않으면 “새로움 올림”은 “기이함 올림”이 되고, 모델은 거친 새로움 대리 지표에서 높은 점수를 챙기면서 기꺼이 일관성을 깨뜨린다.
셋째, 매번 다른 우주가 되지 않으면서 여러 양식을 가로질러 작동한다.
누군가의 취향이 글과 음악과 이미지와 영상을 가로질러 한결같다면, 시스템은 그 표현의 일부를 다시 쓸 수 있어야 한다. 모든 것에 통하는 하나의 축을 두라는 뜻이 아니다. 공유되는 잠재 구조, 곧 톤 선호, 반어에 대한 내성, 템포와 속도를 향한 식욕, 명료함 대 신비에 대한 선호, 진솔함 대 양식화에 대한 선호 같은 것을 뜻한다.
그렇다면 이걸 짓기 위해 우리는 실제로 무엇을 재는가, 연구 공상으로 빠지지 않으면서.
규모를 키울 수 있는 측정의 기본 요소는 신비롭지 않다.
- 비교
구체적인 의도 아래 A냐 B냐. 어느 결말이 더 정화로운가. 어느 캐릭터 실루엣이 더 상징적인가. 어느 훅이 드롭을 더 기다리게 하는가. - 측면 판단
”좋은가”가 아니라 “어떤 종류의 좋음인가.” 더 일관적인가 더 새로운가. 더 다정한가 더 강렬한가. 더 진솔한가 더 반어적인가. 이것이 진짜 제어판의 시작이다. - 지도(supervision)로서의 편집
창작자가 한 줄을 고쳐 쓰고, 한 박자를 다듬고, 코드를 바꾸고, 색 보정을 손볼 때, 그 편집은 구조를 갖춘 선호 신호다. 작품에 무엇이 빠졌고 창작자가 대신 무엇을 원했는지를 일러 준다. - 순간 주석
그것을 깨뜨린 한 줄. 그것을 살린 한 컷. 톤이 뒤집히며 관객의 일부가 떠난 그 순간. 이 신호들은 취향을 결과만이 아니라 구조에 매단다. - 잔존성
일주일 뒤의 시험. “좋았어”와 “내게 남았어”의 차이는 설탕과 의미의 차이다.
이 기본 요소들은 무거운 수학 없이도 더 구체적인 정식화를 가리킨다. 사용자의 이력과 피드백에서 간결한 취향 프로필을 학습한다. 후보마다 여러 갈래의 반응 윤곽을 예측하는 모델을 학습한다. 그런 다음 그 프로필을 써서 생성의 방향을 잡고, 제약을 만족하는 작은 후보 포트폴리오를 골라낸다.
여기서 한 가지 제품의 진실도 드러난다. 취향 다이얼은 슬라이더가 아니다.
창작자가 “새로움 삼십 퍼센트와 일관성 칠십 퍼센트를 줘”라고 뜻하는 일은 드물다. 그들이 뜻하는 것은 제약이다.
- 새롭게, 다만 일관성은 깨지 말 것
- 울게 하되, 비극이 아니라 안도로 울게 할 것
- 기이하게, 다만 여전히 진솔하게
- 강렬하게, 다만 짓누르지는 말 것
이것들은 경계다. 도구가 그 절충을 탐색하는, 저마다 예측된 반응 윤곽을 지닌 작은 후보 포트폴리오를 돌려주어야 한다는 뜻이다. 하나의 전역 최적점이 있는 척하지 않으면서 봉우리를 지키는 길이 그것이다.
5. 기존 강자, 도전자, 그리고 진짜 해자가 되는 것
이야기는 넷플릭스로, 그리고 여러 해 동안 선호를 학습해 온 모든 플랫폼으로 돌아온다. 추천에서 우위는 분명했다. 이력이 많을수록 순위가 좋아졌다. 생성에서 그 우위는 여전히 실재하지만 저절로 주어지지는 않는다.
기존 강자가 정말로 가진 것은 이렇다.
- 종단적 선호 흔적
한 번의 클릭이 아니라 여러 해의 행동. - 무르익은 표현 파이프라인
사용자 프로필, 항목 임베딩, 갱신 주기, 그리고 규모에 맞춰 제공할 만큼 표현을 안정되게 지켜 주는 시스템. - 유통과 피드백 고리
변경을 내보내고, 결과를 관찰하고, 끊임없이 되풀이하는 능력.
그러나 그들이 저절로 갖지는 못한 것은 이렇다.
- 생성된 변형에 대한 반사실적 선호 라벨
로그는 노출의 제약 아래 이루어진 선택이다. 생성기에는 카탈로그에 한 번도 존재한 적 없는 후보들에 대한 선호 신호가 필요하다. - 갈래 수준의 지도(supervision)
참여도는 “계속 봤다”는 일러 주지만, 무언가가 와닿은 것이 공명 때문인지 새로움 때문인지 위안 때문인지 강박 때문인지는 일러 주지 않는다. - 창작자가 실제로 쓰는 조건화 인터페이스
”개인화된 생성”은 그저 모델의 한 기능이 아니다. 의도와 제약과 반복되는 피드백을 끌어내는 작업 흐름이다.
도전자에게 진짜 틈이 열리는 곳이 여기다. 새로운 창작 도구는 알맞은 상호작용 고리를 쥐고 있다면 넷플릭스 규모의 이력이 필요하지 않다. 창작 도중에 비교와 편집과 순간 수준의 피드백을 붙잡는 도구는, 생성을 실제로 조건 짓는 종류의 구조화된 취향 데이터를 쌓을 수 있다. 시간이 지나면 그들은 “기존의 어떤 것을 너는 클릭할까”보다 “어떻게 하면 네가 사랑할 무언가를 만들까”에 가까운 취향 엔진을 지을 수 있다.
현실적인 함의는 해자가 옮겨 간다는 것이다. 카탈로그를 쥐는 일이 줄어들고 취향 훈련 고리를 쥐는 일이 늘어난다.
그 고리의 가장 강한 형태는 이렇게 생겼다.
- 시스템이 초기에 겨냥한 비교를 몇 개 끌어낸다
- 시간이 지나며 갱신되는 간결한 취향 프로필을 학습한다
- 후보들에 대해 여러 갈래의 반응 윤곽을 예측한다
- 하나의 점수를 좇는 대신 제약을 만족하는 포트폴리오를 생성한다
- 시청 시간만이 아니라 편집과 순간 주석으로부터 학습한다
창작자는 순위표를 원하지 않는다. 내보내기 전에 세 가지 답을 원한다.
- 봉우리는 어디인가
누가 이것을 격렬히 사랑할까 - 갈림은 어디인가
누가 떠날까, 그리고 무엇이 그러게 했을까 - 예측은 얼마나 확신하는가
시스템이 어림하는가, 아니면 이 관객을 정말로 아는가
이 답들이 가능해지면 AI로 만드는 일은 “생성하고 비는” 일이기를 멈춘다. 방향을 잡을 수 있는 일이 된다. 의도와 제약을 정하고, 포트폴리오를 생성하고, 취향 군집을 가로질러 예측된 반응 지도를 살피고, 지도가 깨짐을 보이는 곳을 손보고, 어느 봉우리를 골랐고 무엇을 맞바꿨는지 알고서 내보낸다.
우리는 아직 거기에 닿지 못했다. 빠진 조각은 더 큰 생성기만이 아니다. 빠진 조각은 취향 좌표, 알맞은 지도, 그리고 문화를 평평하게 짓이기지 않으면서 취향을 학습 가능하게 만드는 제품 고리다.
닫는 말
우리는 창작 모델이 거의 무엇이든 만들 수 있으면서도 그 산출물이 흔히 서로 바꿔 놓아도 표가 안 나게 느껴지는 낯선 국면을 살고 있다. 그것은 영원한 천장이 아니다. 잘못된 목표를 최적화할 때 벌어지는 일이다.
취향을 점수로 누르면 중간값으로 수렴한다. 참여도를 최적화하면 강박을 사랑으로 착각한다. 문화는 봉우리가 여럿인 풍경이다.
AI로 만드는 일의 다음 시대는 그 풍경을 그려 낸 뒤 그쪽으로 생성하는 시스템의 것이다. 스칼라 판단 대신 여러 갈래의 향유. 보편 미학 대신 조건적 취향. 슬라이더와 평균 대신 경계와 절충. 하나의 정답 대신 봉우리들의 포트폴리오.
생성기는 가능성을 값싸게 만든다. 취향 모델은 방향을 가능하게 만든다. 창작은 둘 다 갖추었을 때 일어난다.