https://arxiv.org/abs/1808.07371
Everybody Dance Now
This paper presents a simple method for "do as I do" motion transfer: given a source video of a person dancing, we can transfer that performance to a novel (amateur) target after only a few minutes of the target subject performing standard moves. We approa
arxiv.org
ICCV 2019
abstract
이 논문은 "do as I do"를 위한 간단한 모션 전이 방식을 제안한다. 즉 사람이 춤을 추는 모습을 담은 소스 비디오로 부터 퍼포먼스를 타겟에게 전이할 수 있다. 이 과정은 일반적인 움직임을 취하고 있는 타겟 비디오로부터 약간의 시간만이 지난 후에 수행된다. 우리는 이 문제를 자세정보를 중간 표현형식으로 이용하는 video-to video 전이라는 문제로 접근했다. 모션을 전이하기 위해 우리는 소스 객체로부터 자세를 추출하고, 학습된 pose-to-appearance 매핑을 적용하여 타겟 객체를 생성한다. 우리는 두개의 연속적인 프레임을 예측해서 시간적으로 자연스러운 비디오 결과를 만들어내고, 사실적인 얼굴 합성을 위한 분리된 파이프라인을 제안한다. 물론 우리의 기법은 매우 단순하지만, 아주 놀라운 결과를 생성한다. 이 사실은 우리가 합성 콘텐츠를 탐지하기 위한 믿을만한 포렌식 도구를 제공하기 위한 동기가 되었다. 추가로 우리는 first-of-its-kind open-source datasets of video를 공개했다.