OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

https://github.com/CMU-Perceptual-Computing-Lab/openpose

GitHub - CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, hand

@article{8765346,
  author = {Z. {Cao} and G. {Hidalgo Martinez} and T. {Simon} and S. {Wei} and Y. A. {Sheikh}},
  journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title = {OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2019}
}

 

abstract

실시간 다자 2D 자세 추정은 기계가 이미지나 비디오에 촬영된 사람을 이해할 수 있게 해주는 키 컴포넌트이다. 이 논문에서 우리는 이미지 내의 다자의 2D 자세를 실시간에 탐지하는 방법에 대해 제안한다. 제안 기법은 우리가 Part Affinity Field라고 언급하는 nonparametric representation을 사용하여 이미지 내에 촬영된 개개인의 associate body part를 학습한다.  이 bottom-up 시스템은 높은 정밀도와 실시간 퍼포먼스를 가지는데, 사람의 수가 많아도 그 성능이 유지된다. 이전의 논문에서 PAF와 바디파트 위치 추정은 학습 과정을 거치는 동시에 정교화 되었다. 우리는 PAF 만을 이용한 정교화방식이 PAF와 body part location을 모두 정교화하는 방식보다 실시간 퍼포먼스나 정확도 측면에서 더 나음을 검증했다. 우리는 또한 우리가 공개한 데이터셋의 foot 정보에 기반하여 "몸과 발이 결합된 형태의 키포인트 디텍터"를 제안한다. 우리는 우리가 제안하는 디텍터가 그들을 시퀀셜하게 돌렸을 때 보다 추론시간이 짧으며, 정확도  또한 높음을 보여준다. 이 작업물은 전신, 발, 손, 얼굴 키포인트를 포함하는 다자 2D 자세 탐지를 위한 실시간 오픈소스 시스템인 OpenPose에 적용되었다.