Language-Driven Synthesis of 3D Scenes from Scene Databases 읽어보기

 

2018년 TOG 논문

 

Abstract

 

우리는 자연어를 이용하여 3D 실내 장면을 생성하고 변환하며, 대형 annotated 3D 장면 데이터베이스로부터 추출된 장면의 시멘틱과 텍스트-장면 배경 지식을 활용하는 프레임워크를 소개한다. 자연어를 이용한 편집 인터페이스는 sub-scene 레벨의 semantic 작업을 수행할때와 객체의 그룹에 대해 작용할 때 가장 강력해진다. 우리는 이 sub-scenes를 어떻게 조작할지에 대해서 기존의 3D 신을 분석하여 학습해낸다. 우리는 유저로부터 제공되는 자연어 커멘드를 파싱하고, 이것을 semantic scene graph로 변환하는 형태로 편집을 수행힌다. (여기서 semantic scene graph는 데이터 베이스로부터 커멘드에 적합한 sub-scene을 추출하는데 사용한다.) 다음으로 추출한 sub-scene을 씬 컨텍스트에서 내포할 수 있는 다른 객체들에 incorporating하는 방식으로 증강한다. 최종적으로 새로운 3D 장면은 유저의 현재 장면과 증강된 sub-scene을 정렬하여 합성하는 방법으로 생성된다. 이 과정에서  유저의 현재 장면에 새로운 객체들이 추가되거나 기존의 장면에 약간의 조정이 이루어질 수 도 있다. 유저의 커맨드에 대한 다양한 해석을 제시하는 형태의 모델링 인터페이스는 자연어의 모호함을 해결하기 위해 사용된다. 우리는 우리의 성과를 기존의 text-to-scene 결과물 그리고 아티스트가 만든 장면과 비교하여 우리의 기법이 기존의 기법을 웃돌며 손으로 만든 씬과 견주어볼만 하다는 것을 알아냈다.