Learning joint reconstruction of hands and manipulated objects 둘러보기

https://openaccess.thecvf.com/content_CVPR_2019/papers/Hasson_Learning_Joint_Reconstruction_of_Hands_and_Manipulated_Objects_CVPR_2019_paper.pdf

 

 

 

 

Abstract

 손과 객체의 조작을 예측하는 것은 사람의 행동을 해석하고 흉내내기 위해 필수적이다. 이전의 연구들은 객체의 형상과 그에 따른 손의 포즈를 생성하는 부분에 대해 상당한 발전을 이루었다. 하지만 조작중인 객체와 손을 만들어내는 과정은 손과 객체간의 가려짐으로 인해 매우 어려운 작업이다. 도전적이어 보이긴 하지만, 조작은 물리적 접촉이 손과 객체의 구성의 공간을 제약하기 때문에 단순화된 문제로 보일 수 있다. 예를들면, 조작 도중에, 손과 객체는 반드시 침투는 하지 않으면서 닿아 있어야 한다. 이 논문에서 우리는 조작 constraint를 이용하여 객체와 손의 조인트 구성을 일반화 한다. 우리는 end-to-end로 작동하는 학습 가능한 모델을 제안하는데, 물리적으로 올바른 형태의 측면에서 contact loss한 결과물을 만들어낸다. 우리의 기법은 RGB 이미지를 입력으로 했을 때 다른 베이스라인 방식보다 퀄리티가 더 좋았다. 학습과 평가를 위하 우리는 새로운 대규모의 합성 데이터셋인 ObMan 을 만들어 냈다. 

 

 

제목에서 의미하는 바와 같이 하나의 이미지로부터 손동작과 조작되는 객체를 한꺼번에 reconstruction 해내는 논문..