OpenAI, Anthropic, Google 세 AI 거대 기업의 플래그십 모델이 같은 무대에서 격돌할 때, 누가 로봇을 더 잘 조종할까?
10월 20일, 미펑테크, Hugging Face, NVIDIA, 칭화대학 등 전 세계 약 20개 대학, 기업, 연구기관이 공동으로 발기한 엠바디드 아레나 RoboColiseum이 이번 라운드 평가 결과를 발표했다: Claude Opus 5.5가 4개 플래그십 모델 중 종합 1위를 차지했고, GPT-6 Astra가 그 뒤를 바짝 따랐다.
항목별로 보면, 4개 플래그십 모델 중 GPT-6 Astra는 지시 따르기와 전반적 교란 적응에서 앞서며 지시 따르기 점수 99.35를 기록했다. Opus는 공간 이해와 범용 조작에서 더 나은 성능을 보였으며, 가장 적은 전 라운드 평가 토큰 소모로 플래그십 그룹 종합 1위를 차지했다. 이미지 품질 교란 테스트에서는 GPT-6.1 Sol이 다른 세 모델에 비해 뚜렷하게 뒤처져, 시각 정보 변화에 대응하는 모델별 안정성 차이를 드러냈다.
그러나 이번 라운드 종합 순위 상위 두 자리는 여전히 엠바디드 전략 모델이 차지했으며, 특히 범용 조작 차원에서 우위를 유지했다.
이번 동일 무대 대결은 업계가 범용 대형 모델과 엠바디드 전략 모델의 능력 우위와 약점을 직관적으로 파악할 수 있는 참고 자료를 제공했다.
RoboColiseum은 지시 따르기, 공간 이해, 교란 적응, 범용 조작을 중심으로 네 가지 능력 하위 순위표와 78개의 고충실도 시뮬레이션 평가 과제를推出하여, 모델의 항목별 성능을 보여줄 뿐만 아니라 과제 완료 단계와 실패 위치를 기록해 개발자가 모델 능력의 약점을 빠르게 파악할 수 있도록 돕는다.
공동 발기方으로서 미펑은 RoboColiseum에 고충실도 물체 자산과 시뮬레이션 장면을 제공하여 복잡한 로봇 조작 과제의 평가 환경 구축을 지원하고, 다양한 물체 상호작용, 공간 배치 및 환경 조건에서의 모델 능력 테스트를 위한 기초 자원을 제공한다.
모델이 시뮬레이션에서 얻은 성적이 실제 조작 성능을 반영할 수 있는지도 평가의 핵심이다. 플랫폼이 공개한 실측 결과에 따르면, RoboColiseum 시뮬레이션 평가와 실기 배포의 상관관계는 89.5%에 달하며, 동일 모델의 시뮬레이션과 실제 세계에서의 평가 차이는 10% 미만으로, 개발자가 실제 로봇 테스트 전 모델 선별과 문제 파악을 하는 데 참고 자료를 제공할 수 있다.
미펑테크는 "완전하고 좋고 빠른" 데이터 공급 체계를 제공하며, 실기, 시뮬레이션, 무본체三大 데이터 패러다임을 아우른다. 시뮬레이션方面 미펑은 물체 자산과 환경 자산 두 가지 자원을 제공하여 다양한 일상용품 및 실내 장면을 포괄하고, 장면 재구성, 전문가 궤적 데이터 획득, 평가 결과 시각화 등의 기능을 제공하여 모델 팀이 다양한 훈련과 평가를 수행할 수 있도록 돕는다.
Coliseum은 원래 고대 로마의 원형 경기장을 뜻하며, RoboColiseum은 이를 이미지로 삼아 다차원적 시스템 평가 체계를 구축하고, 실기 성능과高度로 일치하는 시뮬레이션 평가로 엠바디드 지능 모델에 공개적이고 중립적이며 재현 가능한 "경기장"과 "훈련장"을 마련했다. 어떤 대학, 연구기관 또는 기업 개발자든 자신의 모델을 제출하여 표준화된 "시험"을 받을 수 있다. 8월 출시 이후 국내외 100여 개 팀이 플랫폼에서 모델 훈련과 평가를 진행했다.
RoboColiseum은 현재 전 세계 개발자에게开放되어 있으며, 모델 팀의 평가 참여를 환영한다.
