https://link.springer.com/chapter/10.1007%2F978-3-030-05710-7_21
MMM 2019: MultiMedia Modeling pp 251-263| Cite as
Abstract
이 논문은 댄스 모션을 가지고 유저가 음악을 찾아내는걸 가능하게 해주는 시스템인 Query-by-dancing을 제안한다. 댄서가 춤을 추기 위해 음악을 찾을 때, 종종 자신들이 출 춤과 유사한 비디오를 찾아낸 후 거기에 담긴 음악을 이용한다. 그러나 기존의 음악 검색 시스템은 춤을 추기 위한 음악 제공을 제대로 수행하고 있지 못하다. 우리는 댄서의 비디오를 이용해서 음악을 찾아내는 기술을 개발하게 되었다. 쿼리로 사용되는 비디오는 RGB 영상으로 스마트 폰 등으로 촬영된다. 쿼리 내의 자세와 모션이 분석되고, 유사한 자세와 모션으로 구성된 댄스 비디오를 얻는데에 사용된다. 이후 시스템은 구성된 댄스 비디오들을 리스팅하여 유저가 원하는 것을 고를 수 있게 해준다. 여기서 흥미로운 점은 유사한 비디오를 찾아낸 결과가 댄스 모션의 장르의 범주에서 유사하지 않다는 것이다. 우리는 이 문제를 tf-idf 라는 가중치를 이용하여 해결한다. 실험을 통해 우리의 시스템이 와킹, 파핀, 브레이킹 댄스에 대해 평균 3점 이상의 만족도를 얻어냄을 보였다.