PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization

CVPR 2020 (Oral Presentation)

 

https://shunsukesaito.github.io/PIFuHD/

 

Abstract

최근 이미지 기반의 3D 휴먼 생성 기법이 딥 뉴럴네트워크의 발전에 힘입어 많은 기술적 발전을 이룩했다. 물론 기존의 방식들도 실 세계와 같은 상황에 적용 가능한 잠재성을 가지고 있긴 하지만, 대부분 입력 이미지가 표현하고있는 디테일을 놓치는 결과를 생성한다. 우리는 이 한계가 두가지 대조되는 두가지 요구조건에 의해 생성된다고 판단했다. 첫 번째 조건은 전반적 형상을 정확하게 예측해야 한다는 부분과 세부적인 형상을 모사해야 한다는 부분이다. 이 두가지 조건을 모두 충족하는 것은 기존의 하드웨어의 메모리의 한계로 인해 현재로서는 불가능하다. 그러다보니 기존의 기술들은 첫 번째 조건만을 목표로 하여 기술을 개발해왔다. 우리는 하드웨어적 한계를 멀티레벨 구조로 해결하는 접근을 취했다. 우선 coarse 레벨은 낮은 해상도의 이미지로 전반적인 형상을 예측한다. 그 뒤 fine 레벨에서는 디테일을 확보하는데 주력한다. 이와 같은 구조를 통해 기존의 SOTA를 뛰어넘는 결과를 생성함을 검증했다.