로봇에게 '공간 감각'을 빌려주다

AI 연구 톺아보기 · 임바디드 AI (2편)

로봇에게 '공간 감각'을 빌려주다 —
LightNav-0 뜯어보기

이미 언어·영상 모델(VLM) 속에 잠들어 있던 공간 지능을, 별도의 부품 없이 실제 로봇의 움직임으로 끌어낸다. 하나의 모델로 여러 로봇·여러 과제를 아우르는 범용 내비게이션의 원리를 그림과 함께 살펴본다.

원문: LightNav-0 (arXiv 2608.30935, 2026-09-01) VLM임바디드 AI로봇 내비게이션

로봇이 낯선 건물에 들어가 "거실 소파 옆 탁자로 가라"는 지시를 받았다고 하자. 로봇은 눈앞의 영상만 보고, 말로 주어진 목표를 이해하여, 자기 몸에 맞는 움직임으로 그곳까지 이동해야 한다. 이 문제, 즉 임바디드 내비게이션(embodied navigation)은 오랫동안 조각난 부품들의 조합으로 풀려 왔다. 물체를 인식하는 모듈, 경로를 계획하는 모듈, 로봇을 제어하는 모듈이 제각기 존재했고, 과제나 로봇 종류가 바뀌면 부품을 갈아 끼워야 했다. LightNav-0은 이 파편화를 걷어내고, 하나의 언어·영상 모델이 지각·추론·행동을 통째로 담당하게 만든다. 본 글에서는 그 발상과 구조를 차례로 풀어본다.

01출발점 — VLM은 이미 공간을 '어느 정도' 안다

이 연구의 핵심 통찰은 다음 한 문장에 있다. 현대의 비전-언어모델(VLM)은 이미 공간에 관한 사전지식을 품고 있다. 방대한 이미지-텍스트로 학습한 VLM은 '화면 속 어디에 무엇이 있는지 짚기(pointing)', '공간 관계를 따져 추론하기', '지시된 대상을 영상에서 찾아 연결하기(grounding)'를 이미 상당한 수준으로 해낸다. 문제는 이 능력이 로봇 제어에는 좀처럼 직접 활용되지 못했다는 데 있다. VLM은 "저 문은 화면 오른쪽에 있다"고 말할 수 있으면서도, 정작 그 앎을 로봇의 실제 이동 명령으로 옮기는 통로가 없었던 것이다.

그림 1. VLM은 화면 속 공간을 이해하지만, 그 이해를 로봇의 실제 동작으로 옮기는 통로가 없었다. LightNav-0은 바로 이 다리를 놓는 데 초점을 둔다. 그것도 과제별 전용 부품 없이.

비유로 이해하기

지도를 완벽히 읽을 줄 아는 사람이 있는데, 정작 두 발이 뇌와 연결되어 있지 않다고 상상해 보라. 방향은 알지만 걸음을 뗄 수가 없다. LightNav-0이 하는 일은 이 '머리와 다리를 잇는 신경'을 놓아 주는 것이다.

02핵심 발상 — 전용 '출력 부품' 없이, 토큰으로 말하게 하다

기존 내비게이션 모델은 대개 과제마다 전용 예측 헤드(prediction head)를 달았다. '경로 지시 따르기'용 헤드, '물체 찾아가기'용 헤드가 따로 있는 식이다. 이런 구조는 과제가 늘 때마다 부품을 덧대야 하고, 서로 지식을 나누지 못해 일반화가 약하다. LightNav-0은 정반대 길을 택한다. 과제별 전용 헤드를 아예 두지 않고, 모든 것을 '토큰(token)'이라는 공통 언어로 표현한다.

여기서 '토큰'이란 언어모델이 다루는 최소 단위 기호를 말한다. LightNav-0은 두 종류의 토큰 장치를 통합 인터페이스로 삼는다. 하나는 이중 채널 포인팅(dual-channel pointing)이고, 다른 하나는 잔차 벡터 양자화 행동 토크나이저(residual vector-quantized action tokenizer)다. 이름이 낯설지만, 역할을 나누어 보면 명료하다.

그림 2. 통합 인터페이스의 두 축. ① 포인팅이 '어디로 가려는가'라는 추상적 의도를 로봇 종류와 무관하게 표현하면, ② 행동 토크나이저가 그 의도를 특정 로봇의 정밀한 궤적으로 번역한다.

① 이중 채널 포인팅 — '어디로'라는 공통어

포인팅은 화면 위의 한 지점을 짚어 '저기로 가고자 한다'는 공간적 의도를 나타낸다. 논문은 이를 '과제·장면·로봇 형상에 무관한(agnostic)' 표현이라고 강조한다. 즉 경로 지시를 따르든, 물체를 찾아가든, 대상을 뒤쫓든, 또 로봇이 바퀴형이든 다리형이든 '가려는 지점'이라는 개념은 동일하게 쓸 수 있다는 것이다. 이중 채널이라는 표현은 이 의도를 두 갈래 정보로 나누어 더 안정적으로 표현함을 시사한다. 이렇게 표준화된 의도는 하나의 모델이 여러 과제를 함께 배우는 토대가 된다.

② 잔차 벡터 양자화 행동 토크나이저 — '어떻게'로 번역

추상적 의도만으로는 로봇이 움직이지 못한다. '앞으로 몇 미터, 몇 도 회전'과 같은 구체적이고 연속적인 궤적이 필요하다. 그런데 언어모델은 연속값을 직접 다루기보다 이산적인 토큰을 다루는 데 능하다. 그래서 연속적인 움직임을 토큰의 조합으로 바꾸는 장치가 행동 토크나이저다. 여기 쓰인 '잔차 벡터 양자화(residual vector quantization, RVQ)'는, 복잡한 연속 궤적을 여러 겹의 코드북으로 점점 정밀하게 근사하는 기법이다.

그림 3. 잔차 벡터 양자화(RVQ)의 원리. 1차 코드북이 궤적의 큰 윤곽을 잡고, 남은 오차(잔차)를 다음 코드북이 보정하며, 이를 반복해 적은 수의 토큰으로 정밀한 궤적을 표현한다. 이 덕분에 연속적 움직임을 언어모델이 다룰 수 있는 토큰으로 옮길 수 있다.

비유로 이해하기

화가가 초상화를 그릴 때 먼저 굵은 붓으로 큰 형태를 잡고, 가는 붓으로 세부를 더하고, 더 가는 붓으로 잔결을 마무리한다. RVQ의 각 코드북이 바로 이 '점점 가늘어지는 붓'이다. 붓질(=토큰)을 몇 번만 더해도 원본에 매우 가까운 그림(=궤적)이 완성된다.

03기억을 압축하다 — 시간 인지 시각 이력 압축

내비게이션은 한 장면만 보고 끝나지 않는다. 지나온 복도, 방금 지나친 문, 앞서 본 표지판 등 시간에 걸친 관측의 흐름을 기억해야 길을 잃지 않는다. 그러나 지나온 모든 영상을 고스란히 쌓아 두면 계산량이 폭발한다. LightNav-0은 시간 인지 시각 이력 압축(temporally aware visual history compression)으로, 과거 관측을 요령 있게 압축해 중요한 맥락은 남기되 부담은 줄인다. 사람이 걸어온 길을 세세한 프레임이 아니라 '큰 이정표' 위주로 기억하는 것과 유사하다.

04실력을 기르는 순서 — 추론 → 지도학습 → 강화학습

LightNav-0은 여러 단계를 거쳐 완성된다. 그 골격은 다음과 같다.

• ER 중간학습(embodied-reasoning mid-training). 본격 내비게이션에 앞서, 공간을 이해하고 추론하는 '체화된 추론' 능력을 먼저 다진다. 이 단계에서 만들어진 검사점(checkpoint)이 LightNav-ER이며, 이것이 최종 모델의 출발점이 된다.
• 지도 미세조정(supervised fine-tuning). 정답 궤적이 딸린 시연 데이터로 '이럴 때는 이렇게 움직인다'를 배운다.
• 강화학습(reinforcement learning). 실제 이동을 시도하고 성공·실패의 보상으로 정책을 다듬어, 시연만으로는 채우기 어려운 판단력을 끌어올린다.

이 과정을 뒷받침하는 것은 방대한 학습 자료다. 논문에 따르면 내비게이션 학습 코퍼스는 2천여 개 이상의 장면(2K+ scenes)과 4천여 시간 이상의 임바디드 내비게이션 데이터(4K+ hours)에 이른다. 그 결과 하나의 모델이 경로 지시 따르기, 개방형 어휘 물체 내비게이션, 시각적 추적을 모두 수행한다.

그림 4. 학습은 추론 다지기(ER) → 시연으로 기본기(지도학습) → 보상으로 판단력(강화학습)의 순으로 쌓인다. 그 결과 하나의 모델이 세 갈래 과제를 모두 수행하는 범용성을 얻는다.

05성과 — '클수록 잘한다', 그리고 SOTA

LightNav-0은 두 갈래에서 성과를 보고한다. 첫째, 출발점이 된 LightNav-ER는 여덟 개의 체화된 추론 벤치마크(8 embodied-reasoning benchmarks)에서 전체 평균 최고 점수를 기록하였다. 추론의 기초 체력이 탄탄함을 보인 것이다. 둘째, 최종 LightNav-0는 열 개의 공개 내비게이션 시뮬레이션 환경(10 public navigation simulation settings) 전부에서 단안(monocular) 기준 최고 성공률(SOTA)을 달성하였다. 카메라 하나만으로도 여러 환경을 두루 잘 헤쳐 나갔다는 뜻이다.

또 하나 눈여겨볼 지점은 규모에 따른 향상이다. 논문의 분석에 따르면 VLM 본체의 크기를 2B에서 8B로 키움에 따라, 대표적 경로지시 과제인 R2R에서 성공률(SR)과 경로효율 지표(SPL)가 함께 개선되었다. 이는 '더 큰 언어·영상 모델의 공간지능을 끌어올수록 내비게이션도 좋아진다'는 이 접근의 근본 가정을 실증적으로 뒷받침한다.

그림 5. 백본을 2B→8B로 키우면 R2R의 성공률(SR)과 경로효율(SPL)이 함께 상승하는 스케일링 경향을 보인다. (그림은 원문이 보고한 상승 방향을 개념적으로 표현한 것으로, 축의 눈금은 실제 수치가 아니다.)

용어 짧은 풀이

SR(Success Rate, 성공률)은 목적지에 제대로 도달한 비율이다. SPL(Success weighted by Path Length)은 성공하되 얼마나 효율적인 경로로 갔는지를 함께 반영한 지표로, 빙 돌지 않고 곧장 갈수록 높다. 단안(monocular)은 깊이 센서 없이 카메라 한 대의 영상만으로 판단함을 뜻하며, 그만큼 조건이 까다롭다.

06무엇이 의미 있는가 — 그리고 남은 물음

LightNav-0의 함의는 세 가지로 정리된다. 첫째, 범용성의 실증이다. 과제별 전용 부품 없이 하나의 모델이 지시 따르기·물체 탐색·시각 추적을 아우른다는 것은, 로봇 소프트웨어를 과제마다 새로 짜던 관행에서 벗어날 가능성을 보여준다. 둘째, 기반 모델 지능의 이전(transfer)이다. 언어·영상 모델이 축적한 공간지능을 로봇 제어로 끌어오는 '토큰 인터페이스'는, 앞으로 다른 로봇 기술에도 응용될 만한 설계 원리다. 셋째, 경량 지향이다. 'Light'라는 이름과 단안 기준 성과가 시사하듯, 값비싼 센서 묶음이 아니라 보편적 카메라와 절제된 모델로 실용성을 노린다.

물론 신중히 볼 지점도 있다. 보고된 성과는 상당 부분 시뮬레이션 환경에서의 결과다. 실제 세계는 조명 변화, 미끄러운 바닥, 예측 못 한 장애물 등 시뮬레이터가 온전히 담지 못하는 변수로 가득하다. '시뮬레이션에서 현실로(sim-to-real)'의 간극을 얼마나 좁히는지는 후속 실증이 답해야 할 몫이다. 또한 '이중 채널 포인팅'이나 잔차 양자화의 세부 설정 등은 공개 초록 수준에서는 충분히 드러나지 않으므로, 정밀한 재현과 평가는 전체 논문과 코드가 뒷받침되어야 한다.

그럼에도 방향은 뚜렷하다. 로봇 지능의 상당 부분을 이미 강력해진 언어·영상 모델에서 '빌려오는' 흐름은, 별도의 거대한 로봇 전용 모델을 처음부터 쌓아 올리는 길보다 경제적이고 확장성 있어 보인다. LightNav-0은 그 흐름을 하나의 완결된 모델로 구현해 보였다는 점에서, 임바디드 AI의 한 이정표로 기록해 둘 만하다.

두 편을 관통하는 한 가지

1편의 DreamX-Creator와 2편의 LightNav-0은 소재가 전혀 다르지만 공통된 시대정신을 공유한다. 거대함이 아니라 영리함으로 승부한다는 것이다. 하나는 7B로 오디오-영상 공동생성을, 다른 하나는 단안·경량으로 범용 내비게이션을 노린다. 성능 경쟁이 규모 경쟁만이 아니라 효율·설계의 경쟁으로 옮겨 가고 있음을, 두 연구가 나란히 보여준다.

참고: LightNav-0, arXiv 2608.30935 (2026-09-01), Hugging Face Daily Papers. 본 글은 공개 초록과 기술 서술에 근거하며, 구체 수치는 원문 공개 범위에 한하여 인용하고 그 밖의 도해는 경향을 개념적으로 표현하였다. · 빛의소원
← 1편 「영상과 소리를 한 번에 짓는 AI — DreamX-Creator 1.0 뜯어보기」와 이어지는 글입니다.