https://atosystem.github.io/ThemeTransformer/
Theme Transformer
The official implementation of Theme Transformer
atosystem.github.io
Abstract
어탠션 기반의 트랜스포머 모델은 자동으로 음악을 만들어내는 작업에 많이 사용되어왔다. 유저가 제공하는 시퀀스를 사용하는 해당 모델들의 조건은 컨디셔닝 시퀀스를 프라이밍 시퀀스로 설정하고, 트랜스포머 디코더가 conginuation을 생성할지를 질의해왔다. 그러나 이 프롬프트 기반의 컨디셔닝은 컨디셔닝 시퀀스가 develop되는지를 보장할 수 없고, 심지어 단순히 생성된 continuation 내에서 이를 단순히 반복하기도 한다. 이 논문에서 우리는 컨디셔닝 접근법의 대안을 제시하는데, 이 방식은 테마 기반의 컨디셔닝이다. 이는 트랜스포머가 컨디셔닝 시뭔스를 테마적인 마테리얼로 다루는 방식을 통해 이를 생성 결과에 변형된 여러 번 명확할 수 있도록 처리했다. 이 방식은 두가지 기술적 기여를 통해서 완성되었다.
우선 우리는 딥러닝 기반의 접근법을 제안하는데, 이는 contrastive 표현 러닝을 이용하고, 자동으로 취득한 thematic material을 트레이닝 데이터의 음악 조각으로부터 클러스터링 해낸다. 두번째로 우리는 gated parallel 어탠션 모듈을 제안한다. 이 모듈은 seq2seq encoder/decoder 아키택쳐에 사용되어 주어진 컨디셔닝 테마틱 마테리얼의 대한 고려가 트랜스모퍼 디코더 생성 과정에 충분히 반영되도록 했다. 으ㅜ리는 객관적이고 주관적인 평가를 수행했으며, 기존의 프롬프트 기반의 기준점고 비교해서 우리의 best model이 주어진 컨디션을 적절하게 변형된 형태로 polyphonic pop piano music에 반복적으로 삽입한 것을 알 수 있다.
----------------------------------------
해당 페이지 내에 있는 오디오 샘플들을 여러가지 들어봤는데, baseline 보다는 나을 수 있지만, 생성 결과가 썩 자연스럽지는 않았다..