WoRV팀, 채용합니다!

직군 소개 - Research Engineer (Physical AI)

"RFM(Robotics Foundation Model)의 연구개발부터 실세계 로보틱스 구현까지 담당하는" 직군입니다.

WoRV(World model for Robotics and Vehicle control)는 언어-시각-행동을 통합한 Foundation Model을 개발합니다. 로봇이 인간처럼 세상을 인식하고 판단하며 물리적으로 작업할 수 있도록 만드는 것이 우리의 목표입니다.

현재 Physical AI Research 팀에서는 다음 세 가지 핵심 과제를 중심으로 연구/개발을 진행하고 있습니다.

1. RFM 훈련을 위한 scalable한 레시피 확보
   • 처음 보는 환경, 새로운 로봇, 예상치 못한 지시에도 강건하게 반응하여 지시를 이행하고 협력, 추론, 적응이 가능한 RFM를 만들기 위한 학습 방법론을 연구합니다.
   • 수만시간에 달하는 데이터를 모으고 학습하기 위해 필요한 여러 가지 문제를 해결하고 최적화를 진행합니다.
   • RFM의 성능을 끌어올리기 위해서는 pretraining뿐만 아니라 좋은 post-training의 존재도 필수적입니다. HIL(Human-In-the-Loop)와 scalable RL 방법론도 주요하게 활용합니다.
2. RFM의 기억 & 효율성 문제 해결
   • 대부분의 RFM은 과거 정보 없이 현재 observation만으로 행동을 결정해 복잡한 태스크 수행이 제한됩니다. 인간은 기억을 기반으로 행동하므로 모방학습의 전제가 깨지는 문제도 있습니다.
   • MLLM(Multimodal LLM)의 시각 정보 처리 방식도 비효율적입니다. 기억 메커니즘과 효율적인 인식 구조를 통해 이 문제를 해결하는 연구를 진행합니다.
3. Manipulation 중심의 실세계 로보틱스 시스템 구현
   • 로봇 자율주행에서는 이미 end-to-end 모델을 이용한 상용화 과정을 진행중에 있습니다. 현재는 주행에서 쌓은 RFM 경험과 인프라를 바탕으로 manipulation과 mobile manipulation에 집중하고 있습니다. 현실 환경에서 인간처럼 물체를 인식하고, 파지하고, 조작 가능한 시스템을 구현합니다.
   • CANVAS와 함께 자율주행 modular 구조(Perception, Planning, Control, Localization, Mapping)을 점진적으로 end-to-end 모델로 대체하고 통합해, 인간 수준의 직관적이고 지능적인 주행을 구현합니다.

전폭적인 연구 지원

• 초고성능 GPU 클러스터: CORE(Compute-Oriented Research Environment) 보유 [CORE 소개]

  • 연구용 On-premise DGX H100 12대(H100x96), A100 30대 이상, V100 10대 이상 운용중

• sim/real 모두에서 high-quality, all by human 주행 데이터를 얻을 수 있는 파이프라인 보유

  • 연구 조직의 수요에 따라 맞춤형 데이터, annotation 무제한 제공

• 1000시간 이상의 로보틱스 데이터 보유, 연구팀이 원하는 데이터 무제한 제공

• NeurIPS, ICLR, CVPR, ECCV, Interspeech, ACL 등 학회 참석 및 논문 투고 전폭적 지원

  • 해외 저널 Accept시 학회 참가 비용 전액 지원

  WoRV Tech Blog

  Publications | maum.ai BRAIN Team

  Open-Source Activities | maum.ai BRAIN Team

핵심 업무

1. RFM 훈련을 위한 scalable한 레시피 확보
   • 처음 보는 환경, 새로운 로봇, 예상치 못한 지시에도 강건하게 반응하여 지시를 이행하고 협력, 추론, 적응이 가능한 RFM를 만들기 위한 학습 방법론을 연구합니다.
   • 수만시간에 달하는 데이터를 모으고 학습하기 위해 필요한 여러 가지 문제를 해결하고 최적화를 진행합니다.
   • RFM의 성능을 끌어올리기 위해서는 pretraining뿐만 아니라 좋은 post-training의 존재도 필수적입니다. HIL(Human-In-the-Loop)와 scalable RL 방법론도 주요하게 활용합니다.
2. RFM의 기억 & 효율성 문제 해결
   • 대부분의 RFM은 과거 정보 없이 현재 observation만으로 행동을 결정해 복잡한 태스크 수행이 제한됩니다. 인간은 기억을 기반으로 행동하므로 모방학습의 전제가 깨지는 문제도 있습니다.
   • MLLM(Multimodal LLM)의 시각 정보 처리 방식도 비효율적입니다. 기억 메커니즘과 효율적인 인식 구조를 통해 이 문제를 해결하는 연구를 진행합니다.
3. Manipulation 중심의 실세계 로보틱스 시스템 구현
   • 로봇 자율주행에서는 이미 end-to-end 모델을 이용한 상용화 과정을 진행중에 있습니다. 현재는 주행에서 쌓은 RFM 경험과 인프라를 바탕으로 manipulation과 mobile manipulation에 집중하고 있습니다. 현실 환경에서 인간처럼 물체를 인식하고, 파지하고, 조작 가능한 시스템을 구현합니다.
   • CANVAS와 함께 자율주행 modular 구조(Perception, Planning, Control, Localization, Mapping)을 점진적으로 end-to-end 모델로 대체하고 통합해, 인간 수준의 직관적이고 지능적인 주행을 구현합니다.

필수 역량

• AI/ML 전반에 대한 이해와 특정 도메인에 대한 깊이 있는 지식을 가진 분
• CS 기초와 엔지니어링 역량이 우수하신 분
  • 컴퓨터 과학(운영체제, 자료구조, 알고리즘, 데이터베이스, 네트워크 등)에 대한 깊은 이해와 탄탄한 기본 지식을 보유하신 분