Thinking Machines가 '실시간' AI를 재정의하다 — 276B 파라미터가 모든 것을 바꾸는 이유

이번 주, Thinking Machines라는 새로운 AI 회사가 276B 파라미터 멀티모달 상호작용 모델을 출시했으며, 개발자 커뮤니티는 이를 “잔혹한 프레임 몹” — “실시간 AI 상호작용”의 완전한 재정의라고 설명한다.

Thinking Machines가 다르게 한 것

비동기 프론트-백 아키텍처

핵심 혁신은 입력 처리와 출력 생성을 분리하는 비동기 프론트-백 아키텍처:

• 프론트엔드(상호작용 레이어): 사용자 입력, 감정 탐지, 컨텍스트 관리, 서브초 지연 시간으로 예비 응답 생성
• 백엔드(심층 추론 레이어): 전체 276B 파라미터 모델로 복잡한 추론 및 상세 생성 실행

성능

• 음성 상호작용: < 500ms end-to-end (경쟁: 2-5초)
• 감정 탐지: 음성과 동시
• 멀티모달 추론: ~1초 (경쟁: 3-8초)

References

• Thinking Machines announcement
• Developer community benchmarks