영상과 소리를 한 번에 짓는 AI — DreamX-Creator 1.0 뜯어보기

AI 연구 톺아보기 · 생성형 미디어 (1편)

영상과 소리를 한 번에 짓는 AI —
DreamX-Creator 1.0 뜯어보기

7B 규모의 작은 모델이 어떻게 화면과 음향을 동시에, 그것도 2K 해상도로 만들어내는가. 오디오·영상 공동생성의 원리를 그림과 함께 차근차근 풀어본다.

원문: DreamX-Creator (arXiv 2608.31106, 2026-09-01) 확산 모델멀티모달오디오-영상 생성

영상 생성 AI는 지난 몇 해 사이 놀라운 속도로 발전하였다. 그러나 대부분의 모델에는 한 가지 공통된 결핍이 있었다. 바로 소리다. 화면은 그럴듯하게 움직이지만 정작 그 장면에서 나야 할 소리 — 파도가 부서지는 소리, 발소리, 문이 닫히는 소리 — 는 비어 있거나, 영상을 다 만든 뒤에 별도의 프로그램으로 뒤늦게 입히는 방식이 일반적이었다. DreamX-Creator 1.0은 이 관행을 정면으로 뒤집는다. 화면과 소리를 처음부터 끝까지 하나의 모델이 동시에 생성한다. 본 글에서는 이 '네이티브 공동생성(native joint generation)'이 왜 어렵고, DreamX-Creator가 그 난제를 어떤 구조로 풀었는지를 순서대로 살펴본다.

01왜 '소리까지 함께'가 어려운가

먼저 문제의 성격을 이해할 필요가 있다. 사람은 영상을 볼 때 화면과 소리를 분리해 인식하지 않는다. 유리컵이 바닥에 부딪히는 바로 그 순간 '쨍' 하는 소리가 들려야 자연스럽다. 화면의 움직임(시각적 동역학)과 소리 사건(음향 이벤트)은 시간축에서 촘촘하게 얽혀 있다. 이 얽힘을 논문은 '상호적 모델링(reciprocal modeling)'이라 부른다.

기존의 두 가지 접근은 모두 이 상호성을 놓친다. 첫째, 아예 소리를 만들지 않는 방식이다. 둘째, 영상을 먼저 완성한 뒤 그 영상에 맞는 소리를 따로 합성해 붙이는 2단계 방식이다. 후자는 언뜻 합리적으로 보이지만, 소리를 만들 때는 이미 영상이 고정되어 있어 소리가 영상에 영향을 줄 길이 없다. 반대 방향의 정보 흐름이 끊기는 것이다.

그림 1. 기존 2단계 방식(왼쪽)에서는 소리가 영상에 영향을 줄 수 없다. DreamX-Creator(오른쪽)는 두 스트림이 서로를 참조하며 동시에 만들어진다.

비유로 이해하기

2단계 방식은 무성영화를 다 찍은 뒤 성우가 화면을 보며 더빙하는 것과 같다. 더빙이 아무리 정교해도 영화의 연출 자체를 바꾸지는 못한다. 반면 네이티브 공동생성은 배우가 연기하며 동시에 소리를 내는 실연(實演)에 가깝다. 발을 구르는 동작과 그 소리가 애초에 한 몸으로 태어난다.

02먼저 알아둘 것 — 확산 모델의 '노이즈 걷어내기'

DreamX-Creator는 확산 모델(diffusion model)이라는 생성 방식을 토대로 삼는다. 뒤의 설명이 매끄럽게 읽히도록 이 개념을 짧게 짚는다. 확산 모델의 발상은 의외로 소박하다. 깨끗한 데이터에 노이즈(잡음)를 조금씩 더해 완전한 모래폭풍으로 만드는 과정을 거꾸로 되돌리도록 신경망을 훈련하는 것이다. 생성할 때는 순수한 노이즈에서 출발해, 모델이 '이 자리에 있어야 할 그림/소리'를 조금씩 복원(denoise)하며 여러 단계에 걸쳐 선명한 결과로 나아간다.

그림 2. 확산 모델은 노이즈에서 출발해 여러 단계에 걸쳐 조금씩 선명하게 복원한다. 단계가 많을수록 품질은 좋아지지만 그만큼 느려진다. 이 '단계 수'를 줄이는 것이 뒤에 나올 정련 파이프라인의 핵심 과제다.

여기서 기억할 두 가지가 있다. 첫째, 확산 모델은 여러 번 복원 단계를 거친다. 둘째, 그래서 단계가 많을수록 느리다. DreamX-Creator가 후반부에서 '한 번의 복원으로 2K를 뽑는' 기술을 자랑하는 이유가 바로 여기에 있다.

03핵심 설계 — 두 개의 강물, 그리고 다리

DreamX-Creator의 생성기는 입력으로 첫 프레임 한 장과 텍스트 프롬프트를 받는다. 즉 "이 그림에서 시작해, 이런 내용의 장면을 소리와 함께 만들어라"라는 지시다. 이때 오디오와 비디오는 각기 특성이 다른 데이터이므로, 모델은 이 둘을 모달리티 특화 스트림(modality-specialized stream)으로 나누어 다룬다. 하나는 영상의 강, 다른 하나는 소리의 강이라 생각하면 된다.

흥미로운 것은 이 두 강을 다루는 방식이다. 신경망의 앞쪽 절반에서는 두 스트림을 서로 간섭 없이 독립적으로 처리하고, 뒤쪽 절반에서 비로소 둘을 연결한다. 각 모달리티가 자기 고유의 특징을 충분히 다진 뒤에 서로 대화하게 만드는 설계다. 그리고 이 연결을 담당하는 다리가 바로 게이트형 교차-모달 어텐션(Gated Cross-Modal Attention)이다.

그림 3. 전체 흐름. 첫 프레임과 텍스트에서 출발해 두 스트림이 앞쪽에서는 따로, 뒤쪽에서는 게이트형 교차-모달 어텐션으로 결합된 뒤, 2K 정련을 거쳐 동기화된 영상·소리로 완성된다.

다리에 '수문'을 달다 — Gated Cross-Modal Attention

'교차-모달 어텐션'이란 한 모달리티가 다른 모달리티의 정보를 선택적으로 참조하는 장치다. 영상 스트림이 '지금 이 동작에는 어떤 소리가 어울리지?' 하고 오디오 쪽을 들여다보는 것이다. 그런데 DreamX-Creator는 여기에 '게이트(gate, 수문)'를 덧붙였다. 논문에 따르면 이 게이트는 토큰 단위와 헤드 단위로 각 교차-모달 어텐션 헤드의 출력을 조절한다.

왜 수문이 필요한가. 모든 순간에 두 모달리티가 똑같이 강하게 얽히는 것은 아니기 때문이다. 조용한 정지 장면에서는 소리 정보를 거의 참조하지 않아야 하고, 폭발이 일어나는 순간에는 강하게 참조해야 한다. 게이트는 바로 이 '지금 이 순간, 이 위치에서 상대 모달리티를 얼마나 받아들일지'를 그때그때 여닫는 밸브 구실을 한다.

그림 4. 게이트는 0에서 1 사이 값으로 상대 모달리티의 정보 유입량을 조절한다. 덕분에 필요할 때만 강하게 결합하여, 불필요한 간섭 없이 정확한 순간에 정확한 소리를 맞춘다.

04좋은 재료가 절반 — 통합 오디오-영상 데이터 시스템

아무리 좋은 구조라도 학습 데이터가 부실하면 소용이 없다. 특히 오디오-영상 공동생성에서는 화면과 소리가 시간적으로 정확히 들어맞는 깨끗한 클립이 필수적이다. DreamX-Creator는 이를 위해 '통합 오디오-영상 데이터 시스템'을 두었다. 이 시스템은 (1) 시간적으로 일관된 클립을 구성·선별하고, (2) 구조화된 멀티모달 주석(annotation)을 붙이며, (3) 클립을 능력별 데이터 풀(capability-oriented data pool)로 조직한다.

세 번째가 특히 눈여겨볼 만하다. '능력별 데이터 풀'이란, 예컨대 '입술 움직임과 말소리의 동기', '타악 동작과 타격음', '환경음이 있는 풍경' 등 기르고자 하는 능력별로 데이터를 분류해 둔 곳간이다. 이렇게 해 두면 뒤에 이어질 단계적 학습에서 원하는 능력을 겨냥해 데이터를 투입할 수 있다.

05단계적 학습과 강화학습 — 실력을 다지는 순서

DreamX-Creator의 학습은 점진적 공동 학습(Progressive Joint Training)이라는 이름 아래 순서 있게 진행된다. 구성은 두 번의 오디오-영상 사전학습 단계 뒤에 고품질 미세조정(High-Quality Finetuning)이 이어지는 형태다. 넓고 방대한 데이터로 기초 체력을 먼저 기르고, 마지막에 엄선된 고품질 데이터로 마무리 매무새를 다듬는 전형적인 '기초→심화' 전략이다.

여기서 끝이 아니다. 미세조정 이후 오디오-영상 강화학습(AV Reinforcement Learning)이 더해진다. 강화학습은 모델이 만들어낸 결과에 '점수(보상)'를 매겨 더 나은 방향으로 유도하는 방법이다. DreamX-Creator의 묘수는 이 피드백을 모달리티별로 갈라 보내는 데 있다. 이를 '모달리티 인지 멀티모달 피드백(Modality-Aware Multimodal Feedback)'이라 한다.

그림 5. 기초→심화→미세조정으로 이어지는 단계적 학습(위) 뒤에, 강화학습이 피드백을 영상용·오디오용·교차모달용으로 갈라 각 스트림에 보낸다(아래). 두루뭉술한 총평 대신 각 부위에 맞는 처방을 내리는 셈이다.

비유로 이해하기

오케스트라 지휘자가 "전체적으로 별로였다"고 말하면 단원들은 무엇을 고쳐야 할지 모른다. 대신 "현악은 음정이, 타악은 박자가 어긋났다"고 파트별로 짚어 주면 정확히 교정된다. 모달리티 인지 피드백이 바로 이 파트별 지적이다.

06속도의 비밀 — 한 번의 복원으로 2K를 뽑다

앞서 확산 모델은 여러 복원 단계를 거쳐 느리다고 하였다. 고해상도(2K)라면 이 부담은 더욱 커진다. DreamX-Creator는 자기회귀 1-스텝 2K 정련(Autoregressive 1-Step 2K Refinement)이라는 파이프라인으로 이 문제를 정면 돌파한다. 그 과정을 세 걸음으로 나누어 보면 다음과 같다.

• 교사(teacher) 준비. 우선 품질이 검증된, 여러 단계를 거치는 양방향(bidirectional) 확산 모델을 교사로 삼는다. 느리지만 잘 만드는 선생님이다.
• 자기회귀 정련기로 변형. 이 양방향 교사를, 시간 순서대로 영상 조각(temporal chunk)을 하나씩 이어 만드는 자기회귀(autoregressive) 방식의 다단계 정련기로 개조한다.
• 1-스텝 학생으로 증류(distillation). 마지막으로 이 정련기의 실력을 학생(student) 모델에 압축해 옮긴다. 그 결과 학생은 시간 조각당 단 한 번의 복원 계산만으로 결과를 낸다.

그림 6. '지식 증류'는 크고 느린 교사의 실력을 작고 빠른 학생에게 옮기는 기법이다. 그 결과 학생은 시간 조각마다 단 한 번의 복원으로 2K 결과를 만들어, 고해상도 생성의 속도 병목을 크게 완화한다.

한 문단 요약

DreamX-Creator 1.0은 7B 규모의 네이티브 오디오-영상 공동 생성 모델이다. 첫 프레임과 텍스트를 받아 영상·오디오 두 스트림을 동시에 복원하되, 앞쪽에서는 따로 처리하고 뒤쪽에서 게이트형 교차-모달 어텐션으로 결합한다. 통합 데이터 시스템으로 정제한 자료에 2단계 사전학습 + 고품질 미세조정을 적용하고, 모달리티별로 갈라 보내는 강화학습 피드백으로 다듬은 뒤, 자기회귀 1-스텝 2K 정련으로 고해상도 결과를 빠르게 낸다. 논문은 그 성능이 최신 오픈소스 시스템과 견줄 만하다고 보고한다.

07무엇이 의미 있는가 — 그리고 남은 물음

DreamX-Creator가 주는 함의는 크게 셋이다. 첫째, 규모의 상대적 경량성이다. 7B는 초대형 폐쇄형 모델에 비하면 작은 축이다. 논문이 표방하는 '고해상도 오디오-영상 생성의 민주화(democratizing)'는, 거대 자본이 아니어도 접근할 수 있는 개방형 대안을 지향한다는 선언으로 읽힌다. 둘째, 네이티브 공동생성의 실용화다. 소리를 나중에 붙이는 것이 아니라 처음부터 함께 짓는 방식이 실제로 경쟁력 있는 품질에 도달했다는 점은, 향후 영상 생성의 표준 설계에 영향을 줄 수 있다. 셋째, 속도-품질 균형의 진전이다. 1-스텝 정련은 고해상도 생성의 고질적 병목을 겨냥한 실질적 해법이다.

다만 신중히 볼 지점도 있다. 논문은 성능을 '최신 오픈소스와 경쟁력 있음'이라 서술할 뿐, 이 글을 쓰는 시점에 공개된 초록 수준의 정보에는 구체적 수치 비교표가 충분히 드러나 있지 않다. 실제 체감 품질, 특히 미세한 입술 동기나 복잡한 다중 음원 장면에서의 자연스러움은 공개 샘플과 후속 검증을 통해 따져 볼 문제다. 또한 첫 프레임을 조건으로 받는 설계는 장점이자 제약이다. 시작 이미지가 결과의 방향을 강하게 좌우하므로, 완전한 무(無)에서의 자유로운 생성과는 결이 다르다.

그럼에도 방향성은 분명하다. 영상 생성 AI는 이제 '보이는 것'을 넘어 '들리는 것'까지 하나의 호흡으로 짓는 단계로 나아가고 있다. DreamX-Creator 1.0은 그 이행을 작고 개방적인 모델로 보여주었다는 점에서 기록해 둘 만하다.

다음 편 예고 — 2편에서는 로봇이 낯선 공간을 스스로 헤쳐 나가게 만드는 LightNav-0를 다룬다. 언어·영상 모델(VLM)이 이미 품고 있는 '공간 감각'을 어떻게 실제 로봇의 움직임으로 끌어내는지, 그 원리를 역시 그림과 함께 풀어본다.
참고: DreamX-Creator, arXiv 2608.31106 (2026-09-01), Hugging Face Daily Papers. 본 글은 공개 초록과 기술 서술에 근거하며, 구체 수치는 원문 공개 범위에 한하여 인용하였다. · 빛의소원