Karpathy의 로드맵: AI 출력이 텍스트에서 뉴럴 비디오로 진화하는 방법

Andrej Karpathy, Tesla 전 AI 디렉터이자 OpenAI 공동 창립자가 이번 주 13K 좋아요 스레드를 올렸다. AI-인간 상호작용의 진화에 대한 놀라울 정도로 구체적인 로드맵을 제시한다. 더 큰 모델이나 더 긴 컨텍스트에 관한 것이 아니다 — AI가 우리에게 다시 소통하는 방식에 관한 것이다.

그의 테제: 오디오는 인간이 선호하는 AI 입력이지만, 비전은 선호되는 출력이다. 우리 뇌 피질의 약 3분의 1이 시각 처리에 전념한다 — “뇌로 들어가는 10차선 정보 고속도로.” 실제 변환이 일어나는 쪽은 출력 쪽이다.

AI 출력의 5단계

1단계: 원시 텍스트

“읽기에 어렵고 노력이 필요하다.” GPT-2 시대의 출력 — 읽기 위해 인지적 노동이 필요한 서식 없는 텍스트 덩어리.

2단계: 마크다운 ← 현재 기본값

볼드, 이탤릭, 제목, 표. “눈에 조금 더 편하다.” 대부분의 LLM 인터페이스가 오늘날 위치한 곳이다 — ChatGPT, Claude, Gemini 모두 풍부한 마크다운을 출력한다.

3단계: HTML ← 초기 단계

“여전히 절차적이지만 그래픽, 레이아웃, 상호작용성에서 훨씬 더 많은 유연성.” Karpathy는 LLM에게 “HTML로 응답을 구성”하라고 요청하고 브라우저에서 보는 것을 권장한다.

4단계: 대화형 뉴럴 비디오

“확산 신경망에 의해 직접 생성된 대화형 비디오” — 비디오 파일이 아니라 사용자 상호작용에 반응하는 실시간 렌더링 시각 경험.

N단계: 완전 마인드 멜드

Neuralink 스타일의 뇌-컴퓨터 인터페이스. 하지만 두개골에 드릴을 박기 전에 이루어야 할 엄청난 진전이 있다.

제품 빌더를 위한 의미

1. HTML 출력 프롬프트는 제품이다

간단한 지시 “HTML로 응답을 구성”은 놀라울 정도로 효과적인 프롬프트 엔지니어링 기법이다.

2. 브라우저가 AI 뷰포트가 되고 있다

3단계(HTML 출력)가 기본값이 되면 브라우저는 문서 뷰어에서 AI 렌더링 표면으로 변환된다.

3. AI 출력 “읽기”의 미래는 “보기”다

AI가 말하는 세상에서 보여주는 세상으로 가고 있다. 뇌의 30%가 시각에 전념하는 것은 현재 AI 인터페이스에서 과소 활용된 채널이다.