ChoreoMaster: Choreography-Oriented Music-Driven Dance Synthesis 읽어보기

https://netease-gameai.github.io/ChoreoMaster/

ChoreoMaster Networks

시그라프 2021년 논문을 읽어본다.

 

Abstract

 

게임과 영화산업쪽에서의 지속적인 요구에도 불구하고 자동으로 고퀄리티의 댄스모션을 생성하는 것은 도전적인 과제이다. 이 논문에서 우리는 ChoreoMaster를 제안하는데, ChoreoMaster는 프로덕션을 할 수 있는 음악 기반의 댄스 모션 생성 시스템이다. 주어진 음악에 대해 ChoreoMaster는 자동으로 고퀄리티의 댄스 모션 시퀀스를 생성하는데, 이 댄스 모션 시퀀스의 생성에는 음악의 스타일, 리듬, 구조가 반영된다. 이 목적을 달성하기 위해 우리는 choreo graphy-oriented choreomusical embedding frame work를 고안했다. 이 프레임워크는 스타일과 리듬을 음악과 댄스에 연계할 수 있도록 해주는 통합 choreomusical embedding space를 구축하게 해 준다. 학습된 choreomusical embedding은 choreography-oriented graph-based motion synthesis framework로 통합된다. 이 프레임워크는 강건하고 효율적으로 고퀄리티의 댄스모션을 생성하는데 이 결과물은 다양한 choreographic rules를 준수하게 된다. 게다가 프로덕션 수준의 시스템인 ChoreoMaster는 충분히 유저의 컨트롤을 통해 원하는 결과를 생성해낼 수 있다. 실험 결과는  ChoreoMaster로 생성한 댄스모션이 프로 아티스트들이 납득함을 보여준다.

 

결국 요약해보자면

music , dance pair를 하나의 embedding space로 보내고

choreography-oriented graph-based motion synthesis framework를 구축한다. 

 

Introduction 에서 찾아낸 choreographic rules는 다음과 같았다.

 * 음악과 몸짓의 스타일은 일관되어야 한다.

 * 생성된 댄스와 음악 세그먼트는 반드시 같은 리드믹 패턴에 있어야 하며, 댄스 전반에 있어서의 리드믹 패턴도 규칙적이어야 한다.

 * 댄스의 구성은 음악의 구조와 상통해야 한다. 예를들면 반복된 음악 구절에 대해서는 댄스 또한 반복되는 형태로 보여져야 하는데 대칭형의 움직임 등으로 구현될 수 있다. 

 

스타일 Embedding

 임베딩 네트워크를 사용. 키 아이디어는 음악과 댄스를 모아서 비슷한 무드나 톤인 것들을 클러스터링하는 것이었다. 그렇게 하기 위해 짝지어지지 않은 음악과 댄스 데이터를 독립적으로 분류하는 네트워크를 만들었다. 그리고 짝지어진 데이터를 이용해서 두 피쳐 스페이스를 하나의 통합된 임베딩 스페이스로 변환했다. 

 

리듬 임베딩

 박자와 비트를 고려해야 한다. 동작을 음악적 리듬에 매칭하는건 어려운 작업이나, 음악적 표현에서 박자는 쉽게 얻어낼 수 있다. 하지만 음악을 구성하는 다양한 악기 등에서 비트를 뽑아내는 것은 어렵다. 비트는 음악의 형태에 따라서도 매우 다양하다. 

 

데이터 준비

 댄스는 모두 수작업으로 레이블링 되었다,. 

 

주의깊게 보니 결과가 썩...