Physical Inertial Poser (PIP) 읽어보기

https://xinyu-yi.github.io/PIP/

Physical Inertial Poser

 

CVPR 2022에서 발표된 논문

 

Abstract

 

sparse inertial sensor를 가지고 모션캡쳐를 하는것은 이미지 기반의 접근법보다 더 나은 가능성을 가지고 있다. 왜냐면 이미지는 오클루젼으로 인한 트래킹 퀄리티의 저하나, 모캡의 공간적 제한, 그러니까 카메라에 대상체가 포착이 되어야한다는 제한이 없기 때문이다. 그러나 소량의 관성 센서만을 이용하여 모션을 캡쳐하고 글로벌 포지션을 알아내는 것은 매우 도전적인 과제이다. 결과적으로 SOTA 기법들은 긴 기간의 모션을 다루기 어렵고, 물리적 제약에 대한 인지가 없기 때문에 발생하는 아티팩트들을 생성한다. 우리는 뉴럴 키네마틱 estimator와 물리 기반의 motionm optimizer를 결합하여 6개의 관성 센서만으로 바디 모션을 추적할 수 있는 최초의 방법을 제안한다. 키네마틱스 모듈은 우선 레퍼선스로 모션의 상태를 regress하고, 그 다음으로 물리 모듈이 적용되어 물리적 제약을 만족시키도록 모션을 수정한다. 실험결과는 분명하게 우리의 기법이 기존 기법대비 캡쳐 정확도나, 시간적 안정성, 물리적 적합도가 높음을 보여준다. 

 

결과물을 보니 정말 대단하다... 코드도 공개되어있고... 퍼셉션 뉴런 센서도 있는데 해볼까?