TransPose: Real-time 3D Human Translation and Pose Estimation with Six Inertial Sensors

https://xinyu-yi.github.io/TransPose/

TransPose

@article{TransPoseSIGGRAPH2021,
    author = {Yi, Xinyu and Zhou, Yuxiao and Xu, Feng},
    title = {TransPose: Real-time 3D Human Translation and Pose Estimation with Six Inertial Sensors},
    journal = {ACM Transactions on Graphics}, 
    year = {2021}, 
    month = {08},
    volume = {40},
    number = {4}, 
    articleno = {86},
    publisher = {ACM}
} 

Abstract

모션캡쳐는 가려짐이나 가시 영역에 대한 제약이 있는 비전 기반의 솔루션의 문제를 가지고 있지 않은 관성센서 기반 기술의 새로운 가능성에 직면해있다. 그러나 꽤나 sparse하고 노이지한 시그널로 인해 '실시간 추적'이나 '전역 위치 이동 추정' 이 상당히 어려운 것으로 알려져있다. 이 논문에서 우리는 TransPose라는 DNN 기반의 full motion capture 를 제시한다. TransPose는 6개의 관성센서만을 사용하며 90fps 이상으로 작동한다. 바디 자체 추정을 위해 우리는 multi-stage 네트워크를 제시하여 중간 결과로 leaf-to-full joint 위치를 추정하는 방식을 제안한다. 이 디자인은 자세 추정기가 훨씬 간단하게 해 주어 정확도와 계산 속도 모두 확보할 수 있게 한다. 전역 위치 추정을 위해서는 supporting-foot 기반의 방법과 RNN 기반 방법을 제안하여 confidence 기반 퓨전 방식으로 전역 이동 문제를 강건하게 풀게 했다. 정량적 정성적 비교는 우리의 기법이 SOTA 기법들보다 정확도와 효율의 측면에서 월등함을 보여준다. 순수하게 관성센서만을 이용한 접근이기 때문에 우리의 기법은 고정된 카메라에 영향을 받지 않으며, 가려짐에 강건하다.