서울공대 오성회 교수팀, 따로 배운 이동·조작 연결하는 휴머노이드 AI 개발

[KD시사뉴스]

서울공대 오성회 교수팀, 따로 배운 이동·조작 연결하는 휴머노이드 AI 개발

행동 예측 성능에 따라 전문가 AI 모델 역할 자동 특화… 전문가 모델 가중치의 변화로 작업 전환 시점 판단

시뮬레이션 평균 성공률 87.3%, Unitree G1 실제 로봇에서 비교 모델보다 20%p 높아

국제학술대회 ‘IROS 2026’ 논문 채택

별도로 수집한 보행과 물체 조작 데이터를 함께 학습해 여러 단계의 작업을 연이어 수행하는 휴머노이드 AI가 개발됐다.

실제 휴머노이드에서 RISE를 이용해 연속 복합 작업을 수행하는 모습

서울대학교 공과대학 전기정보공학부 오성회 교수 연구팀은 보행과 물체 조작 시연 데이터를 각각 독립적으로 수집한 뒤 이를 함께 학습해 여러 단계의 작업을 연속적으로 수행할 수 있는 비전-언어-행동(Vision-Language-Action, VLA) 프레임워크 ‘RISE(Responsibility-Induced Specialized Experts)’를 개발했다. 연구팀은 보행과 물체 조작의 전환이 포함된 연속 작업 시연을 별도로 수집하지 않고도 이동과 물체 조작을 자연스럽게 연결하는 데 성공했으며, 시뮬레이션과 실제 휴머노이드 로봇(Unitree G1) 실험에서 성능을 검증했다.

이번 연구는 로봇 및 지능형 시스템 분야의 세계적 국제학술대회인 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS 2026)에 채택됐다.

최근 로봇 분야에서는 카메라 영상과 자연어 명령을 함께 이해하고 실제 행동을 생성하는 VLA 기술이 주목받고 있다. VLA는 로봇이 주변 상황을 파악하고 ‘물체를 집어 지정된 위치에 옮겨라’와 같은 명령을 이해해 행동하도록 하는 AI 모델이다.

휴머노이드는 사람처럼 걷고, 물건을 집고, 옮기는 등 여러 행동을 연속적으로 수행해야 한다. 그러나 실제로는 이동과 물체 조작이 사용하는 관절과 움직임의 특성이 크게 달라 하나의 AI 모델이 이를 모두 안정적으로 학습하기 어렵다. 특히 보행과 조작이 번갈아 이어지는 여러 단계의 작업 시연은 중간 단계에서 실패하면 전체 시연 데이터가 불완전해질 수 있어 학습 데이터를 모으는 데 큰 부담이 따른다. 반면 보행·집기·놓기 같은 개별 행동은 상대적으로 안정적인 수집이 가능하나 이 데이터만으로는 로봇이 현재 행동을 언제 끝내고 다음 행동으로 전환해야 하는지에 대한 정보가 없어 실제 연속 작업을 수행하기 어렵다는 한계가 있었다.

이 문제를 해결하기 위해 연구팀은 보행과 조작 데이터를 각각 따로 수집하면서도 이를 하나의 모델에서 함께 학습해 여러 단계의 작업을 연속적으로 수행할 수 있는 AI 프레임워크 ‘RISE’를 개발했다.

RISE는 공통의 시각·언어 인식 모델에 여러 개의 행동 전문가 모델(Expert)과 이를 조정하는 메타 컨트롤러(Meta-controller)를 결합한 구조다. 학습 과정에서는 각 전문가 모델이 현재 행동을 얼마나 정확하게 예측하는지를 평가해 ‘책임도(Responsibility)’를 계산하고, 책임도가 높은 전문가가 해당 데이터를 학습에 더 크게 반영하도록 설계했다. 그 결과, 별도의 역할을 미리 정하지 않아도 각 전문가 모델은 보행과 물체 조작에 자연스럽게 특화됐다.

또한 연구팀은 메타 컨트롤러가 실행 중 출력하는 전문가 모델 가중치의 변화를 작업 전환 신호로 활용했다. 현재 행동의 특성에 따라 전문가 모델 가중치가 달라지는 점에 착안해 현재 작업이 끝나는 시점을 판단하고 미리 정해진 다음 작업으로 자연스럽게 전환하도록 했다. 이를 통해 보행과 물체 조작의 전환 장면을 포함한 연속 시연 데이터를 별도로 수집하지 않고도 개별적으로 수집한 행동 시연만을 이용해 여러 단계의 작업을 순서대로 수행할 수 있었다.

연구팀은 RISE를 시뮬레이션과 실제 휴머노이드 로봇인 Unitree G1에서 모두 검증했다. 실험에 사용한 로봇은 기본 전신 관절에 2개의 Dex3-1 로봇 손을 장착해 총 43개의 제어 가능한 자유도(DoF)를 갖는다.

시뮬레이션 실험에서는 사과·병·컵 등을 대상으로 △이동 후 물체 집기 △물체 집기 후 이동·내려놓기 △이동·물체 집기·재이동·내려놓기 등 2~4단계 작업을 수행하도록 구성했다. 전체 시뮬레이션 실험에서 RISE는 평균 87.3%의 성공률을 기록해 단일 전문가 모델 구조의 GR00T 기반 비교 모델이 기록한 73.6%보다 높은 성능을 보였다. GR00T는 NVIDIA가 공개한 범용 휴머노이드 로봇용 파운데이션 모델이다.

실제 Unitree G1 로봇 실험에서는 2단계와 4단계, 최대 5단계로 구성된 보행·조작 작업을 수행했다. 로봇은 물체를 집어 다른 위치에 내려놓은 뒤 두 번째 물체를 집어 목표 위치까지 이동해 내려놓는 작업을 연속적으로 수행했다. 그 결과, RISE의 평균 작업 성공률은 50.0%로 GR00T 기반 비교 모델의 30.0%보다 20%포인트 높게 나타났다. 특히 작업 단계가 많아질수록 비교 모델보다 안정적으로 작업을 수행했다. 연구팀은 이를 통해 보행과 조작을 각각 수집한 데이터만으로도 서로 다른 행동에 특화된 전문가 모델을 학습하고, 적절한 시점에 행동을 전환해 여러 단계의 휴머노이드 작업을 연속적으로 수행할 수 있음을 확인했다.

이번 연구는 휴머노이드 로봇 학습을 위해 완전한 연속 작업 시연을 반복적으로 수집해야 하는 부담을 줄일 수 있는 방법을 제시했다는 점에서 의미가 있다. 또한 책임도 기반 전문가 모델 학습 방식은 보행, 물체 집기, 양손 조작, 도구 사용 등 서로 다른 행동 특성을 하나의 로봇 AI 체계 안에서 통합하는 방식으로의 확장 가능성도 보여준다.

이러한 기술은 이동과 물체 조작이 반복되는 복합 작업을 수행하는 휴머노이드 개발의 기반이 될 수 있다. 물류센터의 상품 운반과 제조 현장의 부품·공구 이동처럼 이동과 조작이 함께 이뤄지는 작업에 우선 적용 가능성이 있으며, 향후 다양한 환경에 대한 적응성과 안전성이 더욱 확보되면 병원 내 물품 운반이나 돌봄 보조, 가정 내 정리 작업 등으로도 활용 범위를 넓힐 수 있을 것으로 기대된다.

연구를 지도한 오성회 교수는 “휴머노이드가 실제 환경에서 다양한 업무를 수행하기 위해서는 보행과 물체 조작처럼 성격이 다른 행동을 안정적으로 학습하고, 필요에 따라 이를 자연스럽게 전환할 수 있어야 한다”며 “이번 연구는 여러 행동을 모두 포함한 시연을 직접 수집하지 않고도 개별적으로 수집된 보행·조작 데이터를 이용해 연속적인 복합 작업을 수행할 수 있다는 가능성을 보여줬다는 점에서 의미가 있다”고 말했다.

이어 “향후에는 보행과 조작이 순차적으로 일어나는 현재의 구조를 넘어 이동하면서 동시에 물체를 조작하는 것과 같이 더욱 복잡한 전신 행동으로 확장해 나갈 계획”이라고 밝혔다.

공동 제1저자인 기호건 연구원은 서울대학교 로봇학습 연구실에서 박사학위를 취득한 뒤 현재 산업계에서 피지컬 AI 관련 연구를 수행하고 있다. 공동 제1저자인 오우석 연구원은 졸업 후 국내외 연구소 및 기업에서 AI·로보틱스 분야 연구개발자로 진로를 이어갈 예정이다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘복합지능 자율행동체 SW 핵심기술 개발 사업’의 일환인 ‘자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발’ 과제, 과학기술정보통신부와 한국연구재단(NRF)의 ‘미래 유망 융합 기술 파이오니어 사업’의 일환인 ‘이종 휴머노이드에서의 복합 작업 자율 수행을 위한 체화 독립형 범용 지능 및 학습 공유 기술 개발’ 과제의 지원으로 수행됐다.

참고 자료

- 논문명/학회: Learning Humanoid Loco-Manipulation with Responsibility-Induced Specialized Experts for Vision-Language-Action Models, IROS 2026

웹사이트: https://eng.snu.ac.kr/