[CVPR 2024] Mip-Splatting: Alias-free 3D Gaussian Splatting

Paper Info

• CVPR 2024 (Best Student Paper)
• Zehao Yu, Anpei Chen, Binbin Huang, Torsten Sattler, Andreas Geiger 
• University of Tubingen | Tubingen AI Center | ShanghaiTech University | Czech Technical University in Prague

 

Introduction 

 

Novel View Synthesis는 VR,  로보틱스 등에서 중요한 과제이며, 최근 3D Gaussian Splatting(3DGS)이 실시간 고해상도 합성을 제공하는 유망한 방법으로 주목받고 있다. 3DGS는 3D 장면을 확장된 3D Gaussian들의 집합으로 표현하고, 이를 스크린 공간에 투영한 후 알파 블렌딩해 시점을 합성한다. 그러나 카메라 초점거리가 달라지는 줌 인·아웃 상황에서 샘플링 레이트 변화로 아티팩트가 생길 수 있다. 본 논문에서는 이를 “3D 주파수 제한이 없고, 2D dilation filter만을 사용하기 때문” 때문이라고 진단하고, 해결책으로 3D smoothing filter와 2D Mip filter를 제안한다. 먼저 3D 스무딩 필터를 통해 각 Gaussian의 스케일을 제한해 나이퀴스트 한계를 만족시키고, 물리적 박스 필터(가우시안 근사)에 기반한 2D Mip 필터를 적용해 에일리어싱 및 아티팩트를 줄임으로써, 단일 스케일 학습만으로도 멀티 스케일 상황에 효과적으로 대응할 수 있게 된다.

 

Preliminaries

3.1 샘플링 정리(Sampling Theorem)

 

• 샘플링 정리(Sampling Theorem), 흔히 나이퀴스트–섀넌 정리라고도 불리는 이론으로,
  • 연속 신호를 이산 샘플로 변환(디지털화)할 때, 정보 손실 없이 정확히 재구성하기 위한 조건을 제시함.
• 핵심 조건:
  1. 연속 신호는 대역 제한(band-limited)되어야 하며, 특정 최대 주파수 $ν$를 초과하는 주파수 성분을 포함해서는 안 된다.
  2. 샘플링 레이트 $\hat{ν}$는 연속 신호에 존재하는 가장 높은 주파수의 최소 두 배 이상이어야 한다: $\hat{ν} ≥ 2ν$.
• 실제로는 신호를 샘플링하기 전에 안티에일리어싱(저역 통과) 필터를 사용해 고주파 성분을 제거하여, 샘플링 시 발생하는 에일리어싱을 방지함.
• 논문에서는 이 개념을 3DGaussian Splatting 맥락에 연결해, "3D 표현이 주어진 학습 뷰의 샘플링 한계를 초과하는 고주파를 담지 않도록" 제어해야 한다고 설명함.

 

3.2 3D Gaussian Splatting 

• 3D Gaussian Splatting: 3D 장면을 수많은 가우시안으로 모델링 후 스크린 공간에서 스플래팅 + 알파 블렌딩으로 이미지를 합성
• 다만, 2D 스크린 공간에서 가우시안을 팽창(dilation)하는 기법 때문에 줌 인·줌 아웃 시 아티팩트가 생길 수 있음.
  
  
• Dilation
  • 투영된 2D Gaussian이 너무 작아 퇴화되지 않도록, 식 (5)에 따라 2D 공분산에 일정 스칼라(s)를 더해 강제로 영역을 키움.
  • 이로 인해 화면에서 시각적으로 "가우시안이 픽셀보다 작아질 때" 보이지 않는 문제를 막지만, 축소·확대 시 인공물(artifact)이 생기는 단점이 있음.

 

 

Sensitivity to Sampling Rate

 

 

(1) 3D Gaussian 스케일 모호성(ambiguity)

• 3DGS는 3D 가우시안을 학습할 때 2D 화면에서 ‘팽창(dilation)’을 사용한다.
• 이 때문에 3D에서 아주 작은(거의 점 같은) 가우시안이 되어버려도, 2D로 볼 땐 ‘팽창’으로 크기가 커져 실제 크기를 구분하기 어렵다.
• 결과적으로 가우시안 크기에 대한 정보가 모호해져, 원래라면 더 큰 가우시안이 필요한 부분도 잘못 학습될 수 있다.

(2) 축소(Zoom Out) 시 문제

• 카메라를 멀리 두거나 축소하면, 화면에서 픽셀 하나의 크기가 커진다.
• 하지만 3DGS의 2D 팽창 연산은 그대로이므로, 가우시안이 실제보다 훨씬 넓게 ‘뿌려져’ 보인다.
• 이 때문에 객체 테두리가 뭉개지거나 너무 밝아지는 등 에일리어싱/아티팩트가 심해진다.

(3) 확대(Zoom In) 시 문제

• 반대로 카메라를 가까이 두거나 초점 거리를 늘리면, 가우시안이 크게 투영된다.
• 팽창량은 고정되어 있으므로 화면에서는 오히려 ‘침식(erosion)’이 일어난 듯 보이고, 떨림/라인 왜곡 같은 고주파 아티팩트가 나타난다.
• 원래 3D에서 크게 잡혀야 할 영역이 2D 팽창이 못 따라가서 일부가 사라지거나 끊기는 결과가 생긴다.

(4) 3DGS의 근본적 문제와 단순 해법의 어려움

• 스케일 모호성: 3D 가우시안 공분산(크기 정보)을 제대로 학습하기가 어렵고, 학습 과정에서 지나치게 ‘작게’ 되는 경향이 있다. 이는 카메라 줌 인·아웃처럼 학습 범위를 벗어난 상황에서 큰 문제가 된다.
• Dillation만 제거하면?
  • 2D 팽창을 완전히 없애면, 복잡한 장면에서 가우시안이 너무 많이 생기거나 너무 작아져서 GPU 부담이 커지고, 렌더링도 불안정해진다.
  • 게다가 에일리어싱 문제도 그대로 남는다.

--> 이 장에서는 샘플링 레이트가 달라졌을 때(즉, 확대·축소 등) 기존 3DGS가 얼마나 민감하게 아티팩트를 일으키는지를 분석하며,
“3D smoothing filter"나 "2D Mip filter” 같은 새로운 접근이 필요함을 강조한다.

 

 

 

Mip Gaussian Splatting 

5.1 3D Smoothing Filter

1. 문제 배경
   • 멀티뷰 이미지로부터 3D 장면을 복원할 때, 3D 표현(가우시안) 자체가 샘플링 레이트를 초과하는 고주파 성분을 지닐 수 있음.
   • 나이퀴스트–섀넌 정리에 따르면, 입력이 제공하는 최대 샘플링 주파수를 넘는 고주파는 에일리어싱을 일으킴.
2. 아이디어
   • 3D 공간에서, 각 가우시안이 허용 가능한 최대 주파수를 초과하지 않도록 “저역통과(3D 스무딩)” 필터를 적용.
   • 구체적으로, 입력 뷰(카메라)로부터 추정되는 최대 샘플링 레이트를 구하고, 이를 이용해 각 가우시안의 공분산을 확장함으로써 고주파 성분을 억제
   • 여기서 최대 샘플링 레이트는 “프리미티브(가우시안)가 충분히 관측되는 뷰” 중 가장 높은 값을 선택
3. 효과
   • 학습 과정에서 3D Gaussian 공분산이 과도하게 작아지는 것을 방지.
   • “줌 인 시” (학습 범위를 넘어서는 고해상도)에 대해 고주파 인공물이 사라지고, 나이퀴스트 한계를 벗어나지 않도록 안전장치를 제공.

5.2 2D Mip Filter 

1. 문제 배경
   • 기존 3DGS는 화면(2D)에서 가우시안을 단순히 팽창(dilation)하는 방식.
   • 줌 아웃 시 과도한 팽창, 줌 인 시 침식 등으로 에일리어싱이나 아티팩트가 남음.
2. 아이디어
   • 실제 이미징 과정(카메라 센서가 픽셀 안에서 광자를 통합)과 유사하게, “픽셀 단위의 박스 필터”를 모사.
   • 계산 효율을 위해 “가우시안 근사”로 구현된 2D Mip 필터를 사용
   • 즉, 픽셀 크기만큼 공분산을 확장하고, 그만큼 가우시안 세기를 줄여 픽셀 통합을 근사.
3. 효과
   • 다운샘플링(축소) 시 발생하는 에일리어싱을 완화하고,
   • 기존 2D 팽창 방식의 인공물을 크게 줄임.
   • 여러 스케일에서도 동일한 2D 필터 구조로 대응 가능.

 

Experiments

Implementation

 

• 기본 베이스: 오픈소스로 공개된 3D Gaussian Splatting(3DGS) 코드 [18]을 기반으로 구현.
• 훈련 세부:
  • 모든 장면에서 3만 번(30K) 반복 학습
  • 동일 손실 함수·밀도 제어·스케줄·하이퍼파라미터 사용
  • 2D Mip 필터와 3D 스무딩 필터를 적용할 때, 특정 분산(variance) 값 설정(예: $σ2$=0.1 등)

 

 

 

 

 

---

Paper Link

https://arxiv.org/abs/2311.16493

Mip-Splatting: Alias-free 3D Gaussian Splatting

 

 

Google Scholar Link

https://scholar.google.co.kr/scholar?hl=ko&as_sdt=0%2C5&q=MIP+Splatting&btnG=

Google 학술 검색

 

 

GitHub

https://github.com/autonomousvision/mip-splatting

GitHub - autonomousvision/mip-splatting: [CVPR'24 Best Student Paper] Mip-Splatting: Alias-free 3D Gaussian Splatting