Sugar 읽어보기 (2023)

https://arxiv.org/pdf/2311.12775

 

 오랜만에 올리는 논문 읽어보기

 

SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

 

Abstract

 

우리는 3DGS로부터 정확하고 매우 빠른 메시 추출을 가능하게 하는 방법을 제안한다. 가우시안 스플래팅은 최근 매우 유명해졌는데, 그 배경에는 널프보다 트레이닝 속도바 매우 빠르면서도 사실적인 결과를 내는데에 있다. 그러나, 여전히 수백만의 작은 가우시안들로부터메시를 뽑아내는것은 매우 도전적이다. 왜냐면 가우시안들이 정렬되어있지 않기 때문인데, 아직 정렬을 다룬 방법은 나오지 않았다. 우리의 첫번째 기여는 가우시안이 씬의 표면에 잘 정렬되도록 하는 정규화 텀에 있다. 그 뒤에 이 정렬을 이용해서 프아송 리컨기법을 이용해서 가우시안으로 부터 메시를 뽑아내는 방식을 제안한다. 이렇게 하면 빠르면서도, 스케일러블하고, 디테일도 유지가 가능하다. 마칭큐브 알고리즘은 보통 뉴럴 sdf로부터 메시를 생성해 내는데, 속도, 확장성, 디테일 유지성이 떨어진다. 마지막으로 우리는 부가적인 정제전략을 제안하는데, 이 방식은 가우시안들을 메시의 표면에 바인드하고, 가우시안 스플레팅 렌더링을 통해서 가우시안들과 메시가 서로 함께 최적화 되도록 한다. 이 방법은 가우시안의 쉬운 편집, 조각, 애니메이션, 조명 재부여 기능을 가능하게 한다. 그 비결은 가우시안을 직접 다루는 것이 아닌 메시로 해석하는 데에 있다. 이런 편집 가능한, 그러면서도 사실적 렌더링이 가능한 메시를 얻는 것은 우리의 기법을 통해서 수 분 내에 가능하다. 반면 기존 SDF방식은 수 시간이 걸린다. 렌더링 퀄리티는 우리의 제안 기법이 앞선다. 

 

1. 서론

널프 이후로 3dgs는 3차원 씬을 캡쳐하고, 다양한 시점에서 렌더링하기 위해 각광받는 툴이 되었다. 3dgs는 위치, 방위, 형상, 알파블렌딩을 최적화하여 지오메트리와 형상을 캡쳐하는데 이 때 트레이닝 이미지 셋을 이용한다. 가우시안이 뉴럴 필드를 렌더링하는 하는 것에 비해 훨씬 더 빠르기 때문에 3dgs가 NeRF보다 훨씬 빠르며, 캡쳐 속도도 수 분만에 이뤄진다.

 

가우시안들이 장면의 극사실적 렌더링을 가능하게 하긴 하지만, 씬의 면들을 추출하는 것은 여전히 어렵다. 피규어 3처럼, 3dgs를 최적화 한 이후에도 가우시안은 일반적으로 구조화된 정렬의 형태를 취하지 않으며, 실제 표면과 잘 대응되지 않는다. 표면에 대해서 조금 더 말하자면, 씬을 메시로 표현하는 것이 보통 바람직하며, 여전히 다양한 파이프라인에서 선택받고 있다. 왜냐면 매시 기반의 표현이 편집, 조각, 애니메이션, 조명수정 등의 강력한 툴을 허락하기 때문이다. 가우시안의 경우, 보통 구조화 되어있지 않기때문에, 메시추출을 직접하는 건 매우 어렵다. 물론 NeRF 방식도 나름의 이유로 메시를 추출하긴 어렵다.

 

이 논문에서 우리는 우선 가우시안이 씬 내에서 표면에 잘 분포되도록 하는 정규화 텀을 제안한다. 이 방식을 통해 피규어 3과 같이 가우시안들이 씬 지오메트리를 더 잘 캡쳐하게 된다. 우리의 접근법은 가우시안들로 부터 볼륨 덴시티를 유도하는 것인데, 이 때 가우시안들은 플랫하고 씬 전체에 잘 분포되어있다는 가정을 했다. 이 가정을 통해 나온 볼륨 덴시티와 계산을 통해 나온 불륨 덴시티 간의 차이를 최소화하는 방식을 통해서 우리는 가우시안들이 표면 지오메트리를 잘 표현할 수 있게 했다. 

 

이 정규화 텀 덕분에, 가우시안들로부터 메시를 추출하는 것 또한 쉬워졌다. 실제로는 우리가 우리의 정규화 텀을 평가하기 위해 덴시티 함수를 소개했기 때문에, 이 덴시티 함수의 레벨셋을 추출하는 것이 매우 자연스럽다. 하지만 가우시안 스플래팅이 높은 피델리티로 씬의 디테일을 캡쳐하기 위한 수단으로 덴시피케이션을 수행하기 때문에 가우시안의 수에 급격한 증가가 결과물에서 확인이 된다. 실제 씬은 보통 수백만의 가우시안이 각각 다른 스케일과 회전을 가지는 형태로 표현되며, 그들 중 대부분은 씬의 디테일과 질감을 표현하기 위해 매우 작은 크기를 가진다. 따라서 덴시티 함수는 대부분의 공간에서 0에 가깝게 되는데, 이러면 마칭 큐브 알고리즘은 적절한 레벨셋을 생성하는데 실패하게 된다. (피규어 3의 상단 중앙부 이미지). 

 

대신에 우리는 덴시티 함수의 레벨셋에서 가시적인 파트 상에 포인트를 샘플링하는 방식을 도입했다. 이렇게 하면 우리는 이 점들을 가지고 프아송 리컨을 돌려서 삼각형 메시를 얻을 수 있다. 이 방식은 스케일러블하고, 하나의 GPU만 가지고도 수 분 내에 표면 메시를 만들어낼 수 있다. 

 

피규어 2와 4에서 보듯, 우리의 방식은 고품질의 메시들을 생성한다. 문제의 핵심은 레벨셋 상에 존재하는 점들을 효율적으로 찾아내는 데 있다. 이를 위해 우리는 트레이닝 뷰포인트에서 보이는 가우시안 뎁스맵을 활용했다. 이 뎁스맵은 가우시안 스플레팅 레스터라이저를 확장하는 방식으로 구할 수 있고, 우리는 어떻게 이 뎁스맵들로부터 정확하게 레벨셋 상의 포인트들을 샘플링 할 수 있는지 보여주었다.

 

마지막으로 메시의 추출이 끝난 다음 단계에 대해  우리는 추가적인 리파인먼트 전략을 제시한다. 바로 메시와 3차원 가우시안집합을 함께 최적화하는 것인데, 이 과정에는 가우시안 스플래팅 렌더링만을 활용해서 수행된다. 이 최적화는 가우시안 스플래팅 렌더링을 이용해서 고퀄리티의 렌더링을 가능하게 한다. 즉, 기존의 텍스쳐 메시 렌더링을 거치지 않는다. 이 결과들은 참조로한 기존 메시들의 radiance field model들을 이용한 방식보다 더 높은 퀄리티의 렌더링과, 퍼포먼스를 보여준다. 피규어 1과 같이, 이 방법은 장면을 가우시안 스플래팅으로 표현하는 방식들을 취하면서도, 기존의 메시 편집 툴을 사용할 수 있게 해주는 것 되에 추가적인 후속 연계를 가능케 한다.

 

요약하자면 우리의 기여는 다음과 같다.

 

 * 장면의 지오메트리를 정확하게 가우시안으로 캡쳐할 수 있게 해주는 정규화 텀 

 * 가우시안으로부터 수분 내에 정확한 메시를 추출할 수 있게 해주는 효율적인 알고리즘

 * 가우시안들을 메시에 바인딩하여, 더 정확한 메시, 높은 렌더링 퀄리티를 내면서도, 다양한 방식의 씬 편집을 지원하게 하는 방법

 

우리는 우리의 기법을 SuGaR라고 부른다.