안녕하세요 에디터 느리입니다:>

영화 <매트릭스>의 한 장면

영화 <매트릭스>에서 주인공 네오가 가상 프로그램 속에서 무술을 순식간에 배우고 눈을 뜨며 "I know Kung Fu"라고 말하던 장면을 기억하시나요? 2026년 현재, 로봇 공학계에서는 이 영화 같은 일이 실제로 벌어지고 있습니다. 그동안 AI가 화면 속에서 텍스트와 이미지를 생성하는 '디지털 지능'에 집중해왔다면, 이제는 현실의 물체를 만지고 이동하며 과업을 수행하는 'Physical AI(피지컬 AI)'의 시대로 나아가고 있기 때문입니다. 그리고 그 도약의 중심에는 가상 세계에서의 훈련을 실제 로봇의 근육 기억으로 치환하는 핵심 기술, Sim-to-Real(Simulation-to-Reality)이 자리 잡고 있죠. 이번 뉴스레터에서는 로봇이 시뮬레이션과 현실 사이의 거대한 벽을 어떻게 허물고 있는지, 그리고 우리 곁으로 성큼 다가온 Sim-to-Real의 세계를 깊이 있게 파헤쳐 봅니다.

리얼리티 갭: 시뮬레이션과 현실 사이

과거의 로봇 공학이 인간 엔지니어가 작성한 수만 줄의 하드코딩된 규칙에 의존했다면, 현대의 로봇은 딥러닝과 강화학습을 통해 학습합니다. 그러나 실제 로봇을 현실 세계에서 수만 번 넘어뜨리며 걷는 법을 가르치는 것은 기계적 파손, 막대한 수리 비용이 드는 등 매우 비효율적이고 위험합니다. 그래서 우리는 시뮬레이션에서 먼저 로봇을 훈련시킴으로써 이 단점을 우회하고자 합니다. 가상 환경에서는 수천 대의 로봇을 병렬로 동시에 구동하여 데이터 수집 속도를 수만 배 가속화할 수 있으며, 실제 세계에서는 발생하기 어려운 극단적인 사고 상황인 엣지 케이스(Edge Case)를 안전하게 반복 재현할 수 있기 때문입니다.

그러나 Sim-to-Real 기술이 직면한 거대한 장벽이 있습니다**. 리얼리티 갭(Reality Gap)**은 시뮬레이션 환경에서 아무리 높은 성공률을 기록한 인공지능 정책일지라도, 이를 실제 하드웨어에 탑재했을 때는 성능이 급격하게 저하되거나 전혀 작동되지 않는 현상을 의미하는데요. 이러한 간극은 시뮬레이션이 현실의 복잡한 물리 법칙을 수학적으로 단순화하고 근사화하는 과정에서 필연적으로 발생합니다. 예를 들어, 현실의 마찰력은 바닥의 재질, 습도, 먼지의 양에 따라 시시각각 변하지만 시뮬레이션은 이를 고정된 수치로 처리하는 경우가 많습니다. 또한 로봇의 모터가 내는 힘(Torque)의 미세한 오차, 센서의 노이즈, 통신 지연(Latency) 등 모델링되지 않은 수많은 변수가 실제 환경에는 존재하죠.

이러한 리얼리티 갭은 질량과 관성 같은 역학적 갭(Dynamics Gap), 조명 변화나 카메라 왜곡과 같은 인식적 갭(Perception Gap), 다수의 물체가 충돌하거나 맞물릴 때 발생하는 접촉 모델링 갭(Contact Gap) 그리고 실제 하드웨어의 케이블 배치나 열에 의한 모터 성능 저하와 같은 시스템 디자인 갭(Design Gap) 등이 있습니다. 실제로 실험실의 제어된 환경에서 95%의 성공률을 보이던 로봇 정책이 조명이나 물체의 질감이 약간만 변하는 실제 현장에 배치되면 성공률이 60% 이하로 급락하는 사례도 있습니다. 이는 피지컬 AI가 실제 우리 삶에 대규모 보급되기 위해 반드시 넘어야 할 산입니다.

리얼리티 갭을 극복하기 위한 전략적 기술

리얼리티 갭이라는 계곡을 메우기 위해 연구자들은 크게 세 가지 기술적 접근법을 사용합니다. 인공지능을 어떤 환경에서도 견디도록 강하게 훈련시키거나(도메인 랜덤화), 시뮬레이션을 현실과 똑같이 맞추거나(시스템 식별), 혹은 현실의 문제를 가상의 문제로 변환(Real-is-sim)하는 방식입니다.

도메인 랜덤화

도메인 랜덤화는 현재 Sim-to-Real 분야에서 가장 표준적으로 사용되는 강력한 기법입니다. 이 기법의 핵심 철학은 "시뮬레이션을 현실과 똑같이 만들 수 없다면, 현실이 시뮬레이션에서 경험한 수많은 변주 중 하나가 되도록 만들자"는 것입니다. 인공지능을 훈련시킬 때 물체의 무게를 0.5kg에서 2kg까지 계속 바꾸고, 바닥의 마찰력을 0.1에서 0.9까지 무작위로 변화시키며, 조명의 밝기와 색상도 매 순간 다르게 설정하는 식이죠. 이렇게 단련된 인공지능은 작업 수행에 필수적인 '핵심 정보'와 무시해도 되는 '노이즈'를 구분하는 능력을 갖게 됩니다. OpenAI가 2018년부터 진행한 댁틸(Dactyl) 프로젝트는 해당 철학을 그대로 적용한 지능형 로봇 손 제어 시스템입니다. 가상 세계에서 수많은 경험을 쌓는 동안 큐브의 크기, 마찰력, 무게 등을 끊임없이 변화시킨 결과, 실제 현실에서 한 번도 본 적 없는 질감의 큐브를 쥐어주어도 안정적으로 조작할 수 있는 일반화 능력을 획득했죠.

시스템 식별 및 도메인 적용(System Identification & Domain Adaptation)

시스템 식별(SI)은 로봇을 현실에서 잠시 작동시켜 본 후, 그 움직임 데이터를 분석하여 시뮬레이션의 물리 파라미터를 실제와 일치하도록 정밀하게 튜닝하는 과정입니다. 반면 도메인 적응(DA)은 가상 환경의 데이터와 실제 데이터 사이의 분포 차이를 줄이기 위해 신경망 아키텍처를 조정하는 방식입니다. 하지만 기존의 DA 방식은 실제 세계의 데이터를 어느 정도 확보해야 한다는 한계가 있었습니다.

이를 극복하기 위해 피라미드 일관성(Pyramid Consistency)과 같은 기술도 주목을 받고 있는데요. 이 기법의 핵심은 실제 데이터를 단 한 장도 보지 않고 시뮬레이션 내에서 다양한 해상도와 스케일의 '이미지 피라미드'를 생성하여 학습시키는 것입니다. 로봇이 물체를 바라볼 때, 조명이 변하거나 노이즈가 섞여도 서로 다른 크기와 질감의 이미지들 사이에서 공통된 '핵심 특징'을 추출하도록 강제합니다. 결과적으로 로봇은 관측 뿐만 아니라 잠재 파라미터(e.g. 마찰, 질량)를 추론하여 행동을 조정하는 컨텍스트 인식 정책(Context-aware Policy)을 활용합니다. 이를 피라미드 일관성으로 다져진 견고한 시각 지능과 결합하여 "지금 바닥이 시뮬레이션보다 얼마나 더 미끄러운가?" 혹은 "이 물체의 정확한 위치는 어디인가?"를 스스로 판단하여 자신의 행동을 즉각 보정할 수 있게 됩니다.

Real-is-Sim

2025년 이후 등장한 패러다임 하나가 있습니다. 이는 'Real-is-Sim’로 시뮬레이션을 학습 도구로만 쓰는 것이 아니라, 로봇이 작동하는 동안 배경에서 실시간으로 시뮬레이터를 계속 실행하는 방식입니다.

로봇의 두뇌는 오직 시뮬레이션 상의 로봇 상태만을 바라보며 제어 명령을 내리고, 실제 로봇은 이 시뮬레이션 로봇의 움직임을 그대로 추종(Follower)하는 식입니다. 현실의 센서 데이터는 시뮬레이션의 상태가 현실과 너무 멀어지지 않도록 계속해서 가상 환경을 보정하는 역할을 수행하는데요. 이 구조는 정책이 직접 현실을 다루지 않고 디지털 트윈을 통해 간접적으로 제어하도록 함으로써 리얼리티 갭을 구조적으로 완화합니다. 그 결과 논문에서는 시뮬레이션 성능과 실제 성능 사이의 높은 상관성이 관찰되었으며, 시뮬레이션 데이터를 추가한 경우 실제 성공률이 57%에서 80%까지 향상되었습니다.

시뮬레이션 인프라의 진화

Sim-to-Real의 성패는 얼마나 빠르고 정확하게 가상 세계를 시뮬레이션할 수 있느냐에 달려 있는데요. NVIDIA는 이 분야에서 하드웨어와 소프트웨어를 결합한 독보적인 플랫폼을 구축하고 있습니다.

먼저 아이작 랩(Isaac Lab)은 GPU 가속 기반의 대규모 병렬 학습을 가능하게 하는 시뮬레이터입니다.

기존 로봇 시뮬레이션 기반 강화학습에서는 물리 시뮬레이션은 CPU에서, 학습은 GPU에서 이루어지면서 두 장치 사이의 데이터 전송이 반복적으로 발생했고, 이 과정이 심각한 병목으로 작용했습니다. 아이작 랩은 이 과정을 GPU 내부에서 통합함으로써 데이터 전송 병목 현상을 제거했습니다. 그 결과 단일 GPU로 10,000대 이상의 로봇을 동시에 시뮬레이터하며 강화학습을 진행할 수도 있고, 과거에는 며칠씩 걸리던 보행 학습이나 손 조작 학습을 단 몇 시간 만에 완료할 수 있는 수준에 이르렀습니다.

2025년 3월, NVIDIA는 Google DeepMind, Disney Research와 협력하여 Newton이라는 오픈 소스 물리 엔진을 발표하기도 했습니다. 뉴턴 엔진의 가장 큰 특징은 미분 가능성입니다. 기존 물리 엔진은 로봇이 넘어지면 ‘넘어졌다’는 결과값만 주었지만, 뉴턴 엔진은 “어떤 관절의 힘을 얼마큼 조절했어야 안 넘어졌을지”에 대한 수치적 피드백(Gradient)을 직접 제공합니다. 로봇이 단순히 시행착오에만 의존하지 않고 물리 법칙을 역으로 계산하여 학습 효율을 70~100배 이상 높일 수 있게 됨을 의미하죠.

산업 현장의 Sim-to-Real 혁명

Sim-to-Real은 이제 실험실의 이론을 넘어 제조와 물류의 판도를 바꾸고 있습니다.

BMW의 휴머노이드 실전 배치: Figure 02 프로젝트

BMW 그룹은 2025년 미국 스파탄버그 공장에서 피규어 AI(Figure AI)의 휴머노이드 로봇 '피규어 02'를 투입한 세계 최대 규모의 실증 실험을 진행했습니다. 이 로봇은 차체 공장에서 시트 메탈 부품을 집어 용접 기계에 고정하는 반복적이고 정교한 작업을 수행했는데요. 10개월 간 일일 10시간, 총 1,250시간을 근무하였으며 총 90,000개 이상의 부품을 이동시키고 120만 보를 보행했습니다. 이때 5mm 오차 범위 내에 안착하고 37초 내에 붐 로딩을 완료하는 등의 성과를 이뤘는데요, 해당 실험의 성공 요인은 NVIDIA Omniverse 기반의 디지털 트윈 시뮬레이션 학습에 있었습니다. 이 실험은 휴머노이드 로봇이 연구실의 프로토타입을 넘어 실제 제조 환경의 엄격한 사이클 타임과 안전 규정을 준수하며 작동할 수 있음을 입증했습니다. 비록 로봇의 팔뚝 부분에서 기계적 결함이 발견되는 등 하드웨어적 한계도 드러났지만, 시뮬레이션에서 얻은 지능만큼은 현실에서도 99%의 높은 작업 정확도를 보여주었습니다.

Amazon: 물류를 넘어선 로봇 플릿

Amazon은 현재 100만 대 이상의 물류 로봇을 운용하며 전 세계에서 가장 진보된 Sim-to-Real 현장을 보여주고 있습니다. 아마존의 인공지능 모델 '딥플릿(DeepFleet)'은 시뮬레이션을 통해 로봇들의 동선을 최적화하여 이동 효율을 10% 개선했으며, 새로운 로봇 시스템 '세쿼이아(Sequoia)'는 재고 식별 및 보관 속도를 75%나 향상시켰습니다. 이는 물류 센터라는 복잡한 환경을 가상 세계에 완벽히 복제한 '디지털 트윈' 기술 덕분에 가능했던 것이었습니다.

Sim-to-Real에 열광하는 이유는?

기업들이 Sim-to-Real에 열광하는 이유는 명확합니다.

실제 로봇 데이터를 수집하기 위해서는 많은 돈을 투자해야 합니다. 로봇 하드웨어 가격, 전기료, 관리 인건비, 그리고 데이터를 라벨링하는 시간까지 포함하면 데이터 1시간 분량의 가치는 수백 달러에 달하죠. 하지만 시뮬레이션에서는 전기료 정도의 비용만으로 무한한 데이터를 생성할 수 있습니다.

자율주행 차량이나 드론, 배달 로봇에게 시뮬레이션은 생존의 문제이기도 합니다. 실제 도로에서 아이가 튀어 나오는 상황을 수만 번 테스트할 수는 없지만, 시뮬레이션에서는 가능합니다. 서브 로보틱스(Serve Robotics)는 NVIDIA Isaac Sim을 통해 빙판길, 폭우, 갑작스러운 보행자 출현 등 수만 가지의 위험 시나리오를 가상 환경에서 미리 경험하게 함으로써, 실제 배송 완료율을 99.8%까지 끌어올릴 수 있었습니다.

우리는 지금 인공지능이 물리적 신체를 얻는 어떠한 변곡점에 서있습니다. Tesla는 2026년부터 옵티머스(Optimas) 로봇을 자사 공장에 수천 대 배치하고, 2027년부터 외부 판매를 시작할 계획입니다. 이처럼 휴머노이드의 상업 판매가 시작되며 장기 과업 수행 지능이 중요해질 것이고, 휴머노이드의 작동 시간을 늘리기 위한 로봇 전용 컴퓨터 칩과 고밀도 배터리 기술이 핵심 경쟁력이 될 것입니다.

Sim-to-Real 기술의 발전은 단순한 로봇 학습 기법의 개선을 넘어, 인류가 물리적 한계를 극복하는 새로운 방식을 제시하고 있습니다. 가상 세계라는 무한한 공간에서 지식을 쌓은 인공지능은 이제 실제 세상으로 나와 모든 영역에 도입될 것입니다. 물론 리얼리티 갭은 여전히 존재하며, 안전과 윤리, 그리고 하드웨어의 물리적 한계라는 과제들이 남아 있습니다. 하지만 NVIDIA, Google, Amazon, BMW와 같은 글로벌 리더들이 시뮬레이션 인프라와 피지컬 AI에 쏟아붓는 막대한 자본과 기술적 역량은 이 격차를 빠르게 메워가고 있습니다.

Sim-to-Real은 인공지능이 단순히 생각하는 존재를 넘어서 행동하는 존재로 진화하는 데 필요한 가장 중요한 기술입니다. 우리는 이제 로봇이 화면 밖으로 걸어나와 우리에게 인사를 건네는 시대를 맞이할 준비를 해야 합니다.