Primitive Object Grasping for Finger Motion Synthesis 둘러보기

https://onlinelibrary.wiley.com/doi/epdf/10.1111/cgf.14187

 

 

 

 

Abstract

 

 우리는 손과 손동작을 이용해서 쥐는 모션을 만들어내는 새로운 프레임워크를 개발했다. 제안하는 프레임워크는 객체의 위치와 방위에 대한 online adaptation을 수행하고, 모션 캡쳐 중에 사용된 객체의 형상과 다르더라도 쥐는 모션을 생성하는 기능을 제공한다. 이 과정에 POG(primitive object grasping) 고 명명한 메시 모델이 사용되는데,  이는 객체를 쥐는 모션을 표현하는데 이용된다. POG 모델은 다양하게 변하는 제약에 적응하면서도 원래의 메시 형상을 유지하는 메시 deformation 알고리즘을 사용한다. 이 알고리즘의 특징인 모션 캡쳐 시퀀스를 흉내낸다는 제약조건을 만족한다는 점과 객체의 형상을 반영한 쥠 포인트 제약 조건을 만족한다는 점들은 손가락의 쥐는 모션 생성에 이점을 가지게 된다. 우리는 제안 기법의 적용가능성을 '스피어, 실린더, 박스 등으로 표현된 쥠 기본 객체를 대상으로 촬영한 모션 캡쳐 데이터'를 다양한 형상과 위치, 방위를 가진 객체에 적용하는 방식으로 검증하였다. 덧붙여 세손가락 쥠 과 같은 다른 쥠 전략 또한 POG 기반 합성 프레임워크의 범용성을 검증하기 위해 사용되었다. 

 

Introduction

 

 객체의 쥠 모션을 합성하는 것은 캐릭터 애니메이션, 가상현실, 로보틱스 분야에서 꾸준히 연구되어왔다. 한 연구에 따르면, 사람의 캐릭터 애니메이션에 손가락을 포함시키는 것은 그렇지 않은 것에 비해 자연스럽다고 한다. 그러나 손가락의 쥠 모션을 생성하는 것은 캡쳐 장비의 한계나 다양한 제약을 만족시키는 손동작 생성의 어려움등으로 인해 쉽지 않은 이슈이다. 또한 객체 쥠 모션을 캡쳐하는 것은 데이터 글러브의 센서 노이즈나 핑거 마커의 가려짐과 같은 빈번한 이슈들로 인해 후처리작업을 많이 요구하기도 한다. 자연스러운 쥠모션을 위해서는 손가락이 객체에 자연스럽게 접근해야 하고, 객체의 형상에 적합해야 하고, 실제로 쥘 수 있어야 한다. 

 

 여러 기존 연구들은 자연스러운 쥠 모션을 만들어왔다. 학습 기반 기법이 최근에 많이 제시된 바 있다. 어떤 연구자들은 적절한 쥠 모션과 최적의 모션 선택을 기반으로 한 방법을 택하기도 했다. 그러나 이 방법들은 모션 캡쳐에 사용한 것과 유사한 객체들에 한해서 자연스러운 결과물을 생성했다.

 

 우리는 지오메트리 기반 기법을 근간으로하는 하나의 통합된 모션 생성 프레임워크를 제안한다. 지오메트리 기반 기법을 우리는 POG라고 칭하고 있고, 객체의 위치와 충돌 제약을 만족시키고, 모션 캡쳐데이터를 활용하여 자연스러운 모션을 생성한다. 제안 프레임워크는 적은 수의 모션 캡쳐 데이터만을 요구하는데 실제로 스피어, 박스, 실린더에 대한 쥠 모션만을 필요로 한다. POG는 하나의 모션캡쳐 시퀀스가 두개의 라플라시안 변형 메시 모델을 포함하도록 표현한다.  하나는 쥠 메시이고 다른 하나는 접근 메시이다. 제안한 모션 생성기는 두 메시 모델을 변환하여 다른 형상과 구조를 가진 객체에 적응시킨다.

 

제안하는 모션 생성기의 핵심 컨트리뷰션은 손가락 쥠 모션을 위한 새로운 표현 모델이다. 우리는 POG 모델을 소개하는데, 이 모델은 객체와 손가락 사이의 자연스러운 시공간 관계를 유지한다. POG는 또한 이전에 보지 못한 객체를 위한 새로운 쥠 모션을 예측한다. 생성된 모션은 기존의 시퀀스의 모션 패턴과 합쳐지게 된다.

 

여러 어플리케이션에서 본 논문의 제공 결과를 사용할 수 있지만 크게 두가지만 꼽아보자면

 

 가상현실

 데이터 증강

 

등에 유용하게 사용될 것으로 판단된다.