https://xinyu-yi.github.io/PIP/
Physical Inertial Poser
xinyu-yi.github.io
CVPR 2022에서 발표된 논문
Abstract
sparse inertial sensor를 가지고 모션캡쳐를 하는것은 이미지 기반의 접근법보다 더 나은 가능성을 가지고 있다. 왜냐면 이미지는 오클루젼으로 인한 트래킹 퀄리티의 저하나, 모캡의 공간적 제한, 그러니까 카메라에 대상체가 포착이 되어야한다는 제한이 없기 때문이다. 그러나 소량의 관성 센서만을 이용하여 모션을 캡쳐하고 글로벌 포지션을 알아내는 것은 매우 도전적인 과제이다. 결과적으로 SOTA 기법들은 긴 기간의 모션을 다루기 어렵고, 물리적 제약에 대한 인지가 없기 때문에 발생하는 아티팩트들을 생성한다. 우리는 뉴럴 키네마틱 estimator와 물리 기반의 motionm optimizer를 결합하여 6개의 관성 센서만으로 바디 모션을 추적할 수 있는 최초의 방법을 제안한다. 키네마틱스 모듈은 우선 레퍼선스로 모션의 상태를 regress하고, 그 다음으로 물리 모듈이 적용되어 물리적 제약을 만족시키도록 모션을 수정한다. 실험결과는 분명하게 우리의 기법이 기존 기법대비 캡쳐 정확도나, 시간적 안정성, 물리적 적합도가 높음을 보여준다.
결과물을 보니 정말 대단하다... 코드도 공개되어있고... 퍼셉션 뉴런 센서도 있는데 해볼까?
'인공지능 공부' 카테고리의 다른 글
| PaddleSeg Running guide (0) | 2023.07.11 |
|---|---|
| COCO 데이터셋 조사 및 커스텀 데이터 만들기 (0) | 2023.07.11 |
| SOMA: Solving Optical Marker-Based MoCap Automatically 읽어보기 (0) | 2023.06.29 |
| Openpose를 사용해보자 (0) | 2023.03.17 |
| On human motion prediction using recurrent neural networks 읽어보기 (0) | 2023.02.20 |
