[번역]A Data-Driven Paradigm for Precomputed Radiance Transfer. PART-1

2022년 바이트덴스에서 프로젝트를 진행 할 때 아트팀의 가장 큰 수요는 실시간 GI 였다고 해도 과원이 아니었다.

여러가지 자료들을 읽어 보고 기술적인 이해도를 넓히기 위해서 번역해서 보던 페이퍼 하나를 소개 한다.

논문 원본

[2206.13112] A Data-Driven Paradigm for Precomputed Radiance Transfer (arxiv.org)

A Data-Driven Paradigm for Precomputed Radiance Transfer

그림 1 : 실시간 직접→간접 전송. 우리는 이런 도마뱀 마법사와 같은 주요 자산에서 머리카락, 표면 또는 부피에서 간접 조명과 같은 효과를 실시간으로 렌더링하는 문제를 해결합니다. 우리는 Precomputed Radiance Transfer의 데이터 기반 공식을 구축하고 이 패러다임을 이용한 실용적인 기본 알고리즘을 구성합니다. 또한 상용 게임 엔진에서 사용 방법을 보여줍니다.

요약

이 연구에서는 Precomputed Radiance Transfer (PRT) 방법을 데이터 기반으로 구축하는 패러다임 변화를 탐색합니다. 이 패러다임 변화는 복원 기저를 정의하고 전송 함수를 계산하기 위해 특별한 경로 추적기를 코딩하는 등 전통적인 PRT 방법을 구축하는 어려움을 완화할 수 있습니다. 우리의 목적은 기본 알고리즘을 제공하여 기계 학습 기반 방법의 길을 열기 위한 것입니다. 구체적으로, 우리는 직접 조명의 몇 가지 측정치를 사용하여 머리카락과 표면의 간접 조명의 실시간 렌더링을 보여줍니다. 우리는 직접 및 간접 조명 렌더링 쌍을 사용하여 기본 선반과 전송 함수를 추출하기 위해 특이값 분해 (SVD)와 같은 표준 도구만 사용하여 기본라인을 구축합니다.

 

1 소개

동기. 하드웨어 레이트레이싱의 최근 도입에도 불구하고, 전체 실시간 글로벌 조명 (GI)은 현대 비디오 게임 엔진에서 해결하기에는 너무 비싸다. 그 결과, 많은 글로벌일루미네이션 효과 (예 : 피부 내부 산란 또는 간접 조명)는 특정 효과에 특화 된 대안 기술을 사용하여 처리됩니다 [Golubev 2018; Tafuri 2019]. 이번 연구에서는 런타임에서 레이트레이싱 기능이 필요하지 않은 실시간 저주파 GI에 대한 일반적인 솔루션에 관심이 있습니다.

 

사전 계산된 광선 전송(PRT)은 간접 조명 평가에 이상적인 후보입니다. 이것은 실시간으로 실행되는 효율적이며 여러 종류의 전송을 처리하는 범용적인 특징을 가지고 있습니다. PRT 방법 [Sloan et al. 2002]은 각 정점의 조명 전송 행렬을 저장하여 런타임에서 입사 조명이 주어졌을 때 간접 조명을 재생산합니다.

렌더링 중이면 이 행렬은 사건 조명을 직접 간접 조명으로 변환합니다. 이러한 방법은 조명 전송을 효과적으로 해결하지만 설계 비용이 매우 높습니다. 이들은 다음을 필요로 합니다: 방사도를 위한 사용자 정의 (기저) 표현; 지루하고 전용 사전 계산 단계; 메모리 비용에 대처하기 위한 고급 클러스터링 방법 등. 따라서 우리는 이러한 제약 조건이 없는 해결책이 가능한지 조사했습니다.

 

데이터 기반 접근 방식. 기계 학습(ML) 접근 방식을 사용하여 이러한 제약 조건을 완화하는 것은 유혹적일 것입니다. 실제로, 데이터 세트를 사용하면 최적화 프로세스가 직접 간접 전송을 위한 전송 함수와 내부 표현을 구성할 수 있습니다. 그러나 복잡성과 출력 품질 사이의 트레이드 오프를 평가하기 어려울 것입니다. 이러한 접근 방식을 위한 길을 열기 위해, 우리는 이러한 방법을 벤치마크할 때 ML 방법의 효율성을 평가하기 위한 간단한 기준을 제공해야 합니다. 우리의 목표는 이러한 기준을 제공하는 것입니다.

 

PRT에 대한 새로운 패러다임. 이 논문에서는 PRT에 대한 다른 패러다임이 전송 매트릭스 및 광도 표현을 계산하는 것에서 우리를 해방시킨다는 것을 보여줍니다. ML의 형식에 영감을 받아 데이터 중심의 패러다임으로 PRT를 표현합니다. ML 접근법의 이점을 유지하면서도 더욱 경량화된 기준선 방법을 구성할 수 있습니다. 이러한 기준선은 보다 복잡한 ML 기반 접근법이 벤치마킹할 수 있는 기준점을 정의합니다.

 

아웃라인.

우리의 기여물은 다음과 같이 구성되어 있습니다:

• 제 3 절에서는 직접-간접 전송의 데이터 기반 공식을 소개하고, 고전적인 PRT가 데이터만으로 유추될 수 있음을 보여줍니다.

• 제 4 절에서는 간단한 알고리즘을 소개합니다. 우리가 제안하는 기준선입니다. 구체적으로, 직접 조명의 몇 가지 측정치만을 사용하여 텍스처 공간에서 간접 조명을 유추하는 메쉬리스 광도 전달 알고리즘을 설명합니다.

• 제 5 절에서는 시간적 에일리어싱을 피하고 고조도 및 애니메이션을 지원하기 위한 실용적인 세부 정보를 설명합니다.

• 제 6 절에서는 우리의 방법이 실시간으로 실행되며 여러 전송 시나리오(표면, 부피, 머리카락)를 지원함을 검증합니다.

 

2. PREVIOUS WORK

이 섹션에서는 실시간으로 GI 효과를 해결하는 데 가장 적합한 몇 가지 작업을 검토합니다. 실시간 GI에 대한 더 철저한 조사는 Ritschel 등[2012]의 조사를 참조하십시오. 최신 게임 엔진은 보통 실시간 렌더링의 성능 제약 조건 하에서 전역 조명을 계산하고 / 또는 근사화하는 다양한 방법을 구현합니다.

정적 전역 조명. 라이트 맵은 오프라인에서 계산 된 확산 전역 조명의 결과를 저장합니다[Abrash 2000; Seyb 등 2020; Silvennoinen 및 Sloan 2019]. 매우 효율적이지만 이 방법은 런타임에서 정적 조명을 부과하며 피하면서 표면 내부 산란과 같은 복잡한 광학적 효과를 재현 할 수 없습니다.

 

패스 트레이싱은 Monte Carlo 적분을 사용하여 전역 조명 문제를 해결하는 수단을 제공합니다 [Kajiya 1986]. 그러나 머리카락의 간접 조명이나 고도로 확산되는 참여 미디어와 같은 작은 효과는 화면에서 적은 공간을 차지하지만 수렴하기 위해서는 상당한 컴퓨팅 노력이 필요합니다. 패스 트레이싱을 가상 광원 [Keller 1997], 중요도 샘플링 [Bitterli et al. 2020], 빛 간접조명 저장 [Mülleret al. 2021] 또는 노이즈 제거 [Işık et al. 2021]과 같은 기술을 사용하여 가속화 할 수 있지만, 이러한 방법들은 대개 전역 분산감소를 대상으로하며 지역화된 간접 빛 전달에 어려움을 겪을 수 있습니다.

 

기하학적 제약. 일반적으로 PRT는 정점 당 발산 광도를 선형적으로 보간하여 작동합니다. 이로 인해 저장 및 계산 비용이 기하학적 세부 정보의 양과 비례합니다. 메시 [Lehtinen et al. 2008] 또는 스크린 스페이스 [Hašan et al. 2006]에서 계층화 된 기초는 이러한 문제를 해결할 수 있습니다. 그러나 이러한 기초는 모든 가능한 조명을 해결해야 합니다. 이는 런타임에서 조명 조건의 하위 집합만 경험하는 경우 지나치게 일반화됩니다. 또한 전송 행렬의 명시적 계산이 필요합니다.

저희 작업에서는 기초 및 전송 행렬 모두 데이터셋에서 추출됩니다. 또한, 저희의 메시리스 공식은 이론적인 변화 없이 체적, 하부 표면 또는 복잡한 기하학 구조와 호환됩니다.

 

조명 시나리오에 최적화된 PRT. 우리 연구와 가장 관련이 있는 것은 모듈러 라디언스 전송(MRT) [Loos et al. 2011]와 축소된 집계 산란 연산자(RASO) [Blumer et al. 2016]입니다. 둘 다 직접 조명에 대한 기초 표현을 얻기 위해 사용자 정의 조명 시나리오를 사용했습니다. 그러나 두 번째 단계에서는 전통적인 방법을 사용하여 간접 조명 기초와 전송 함수를 추정했습니다. 우리는 이러한 두 단계 접근법이 필요하지 않으며 완전한 데이터 기반 접근법을 채택하는 것이 좋다는 것을 보여줍니다.

 

3. DATA-DRIVEN RADIANCE TRANSFER

데이터셋 𝑁개의 직접 조명 {D𝑘}0...𝑁 (그림 2 (a) 참조)과 해당하는 완전 간접 조명 {I𝑘}0...𝑁 (그림 2 (b) 참조)이 주어졌을 때, 우리는 직접-간접 전이를 나타내고자 합니다.

빛의 직접 및 간접 조명 데이터의 특성을 아직 명확하게 명시하지 않았지만, 이들을 벡터로 처리합니다. 이러한 데이터는 체적 측정, 포인트 측정, 텍스처 등이 될 수 있습니다. 다음 섹션에서는 이러한 데이터셋으로부터 Precomputed Radiance Transfer를 위해 필요한 요소를 구축하는 방법을 설명합니다.

 

3.1 Estimating the Transfer Matrix

우리는 직접 조명 데이터 Dk(간접 조명 데이터 I_k)를 열로 포장하여 얻은 행렬을 각각 D (I)로 표기합니다. 빛 전달은 선형 연산자이므로 장면에서 직접 조명과 간접 조명 사이에는 선형 매핑이 존재합니다. 따라서 빛 전달 행렬 M이 존재하여 I = MD가 성립합니다.

직접 조명과 간접 조명이 인코딩되는 방식에 따라 𝐼와 𝐷 행렬은 매우 큰 행렬이 될 수 있으며, 따라서 𝑀는 잠재적으로 매우 큰 행렬이 될 수 있습니다. 직접 조명의 데이터 세트는 모든 조명 구성을 간결하게 나타낼 수 있다고 가정합니다.

따라서 주어진 직접 조명 벡터 x는 𝐷의 열과 계수 c ∈ R𝑁의 선형 조합으로 표현할 수 있으며, x = 𝐷c, (방정식 3)를 구하고 전송 행렬 𝑀를 곱하면 𝑀x = 𝑀𝐷c = 𝐼c를 구할 수 있습니다.

 

따라서 x로 인한 간접 조명은 𝐼 열의 선형 조합으로 계산할 수 있습니다. 즉, 𝑀를 계산할 필요는 없지만 c의 값을 알아야 합니다. 방정식 3을 사용하여 직접 계산하는 것을 피하고 x에 대해 c를 다음과 같이 표현할 수 있습니다:

(5)

이 공식을 방정식 4에 대입하면 다음과 같은 공식을 구할 수 있습니다. 간접 조명 Y W.R.T. 직접 조명 X:

이것은 광 수송 행렬을 일반적인 최소 제곱 문제로 표현합니다. 또한 직접 조명의 데이터 세트에서 x의 투영을 전송하는 것으로 볼 수도 있습니다: 

3.2 Indirect Illumination Basis Extraction

방정식 6에서 𝐼의 열은 𝑀에 걸쳐 있는 공간을 대략적으로 나타내기 위해 비직교 기저로 사용됩니다. 이 기저에는 실제로 사용하기에는 너무 많은 요소가 있을 수 있습니다. 그러나 다음과 유사하게 Loos 등[2011]에 따르면 간접 조명의 공간은 효과적으로 저차원적이라는 것을 발견했습니다(그림 3 참조). 우리는 𝐼의 특이값 분해를 사용하여 이 문제를 해결합니다:

이 분해에서 𝑈의 열은 직교 기저를 형성하며(그림 2 (c) 참조), Σ의 대각선 요소는 이 공간을 표현하는 데 있어 각 벡터의 중요성을 측정합니다.

그림 2: 데이터 기반 PRT의 개요. 조명 조건은 오브젝트 주변에서 샘플링된 직접 조명 벡터 x(a)와 텍스처 공간에서 구워진 간접 조명 y(b)를 제공합니다. 조명 조건을 무작위로 지정하여 간접 조명을 위한 기준 요소 집합을 추출합니다(c). 이를 통해 간접 조명의 계수 u = 𝑀 × x를 계산할 수 있는 전달 행렬 𝑀를 계산합니다(d).

Σ에서 가장 중요한 대각선 요소 𝑛만 유지하여 𝐼를 근사화하고, 방정식 7의 근사치를 𝐶𝑛를 계수 행렬로 하여

로 작성합니다. 방정식 6을 연결하면

를 구할 수 있습니다.

 

위의 방정식은 𝐷 및 𝐼 행렬에서 보이는 조명 조건에 맞춘 직교 기저 벡터(𝑈𝑛의 열) 집합을 사용하여 간접 조명의 계수 u = 𝑀𝑛x를 계산합니다. 지금까지 SVD를 사용하여 전송 행렬의 출력을 줄였습니다. 이 방법을 완전히 실용화하려면 직접 벡터의 차원을 제약해야 합니다.

 

3.3 Direct Vectors

기존의 PRT 방식은 직접 조명과 간접 조명 사이의 전달 행렬을 계산하지 않습니다.

그림 3: 간접 조명의 상대 고유값. 다양한 테스트 장면에 대한 간접 조명 벡터 데이터 세트의 상관계수 행렬의 상대 고유값을 표시합니다. 이 값은 1% 미만으로 빠르게 떨어지며 몇 개의 차원만이 재구성과 관련이 있다는 것을 발견했습니다.

대신 입사 조명과 간접 조명 사이의 전달을 저장합니다. 입사 조명은 유한한 수의 구형 고조파 계수 w를 사용하여 표현됩니다. 이 경우 SH 계수를 직접 조명에 매핑하는 전송 연산자를 작성할 수 있습니다:

따라서 다음과 같이 작성할 수 있습니다.

𝑇가 x와 w 사이의 바이젝션을 정의하는 한(즉, 반전 가능), 전달 행렬 𝑀와 𝑀 ×𝑇는 동일합니다. 따라서 사전 계산된 광도와 동일한 전달 함수를 설명했습니다. 전송과 동일한 전달 함수를 간접 조명에 대해 설명했습니다. 따라서 직접 조명의 배치는 전달 행렬의 컨디셔닝과 달성 가능한 등가 입사 조명 모두에서 중요합니다.

 

3.4 Discussion w.r.t. PRT

메시없는 전송. 데이터 기반 PRT를 위한 우리의 형식은 자산의 기하학적 특성에 결합되지 않습니다. 기존 PRT 방법을 따라 메시의 정점에서 전송을 계산할 수 있지만, 우리의 형식은 이러한 전송을 분리할 수 있습니다. 실제로, 우리는 메시 없는 접근법을 권장합니다. 왜냐하면 재구성된 고주파수는 기하학적 밀도와 연결되어 있지 않기 때문입니다.

전송 행렬 만들기. PRT 방법은 조명 기초에 정의된 암시적 조명 소스를 사용하여 전송 행렬을 만듭니다. 이러한 조명 소스는 자산에 양과 음의 광도 값을 부여합니다. 따라서 이러한 소스에 대해 전용 광선 전달 알고리즘이 사용됩니다. 그러나 저희 공식은 이러한 광원을 평가할 필요가 없으며 렌더링 알고리즘(중요도 샘플링, 가이딩 등)의 모든 진보된 기술들을 활용할 수 있습니다.

 

조명에 대한 상관관계가 없는 기초.

전통적인 PRT 방법은 데이터에 대한 정보가 없는 요소들로 이루어진 기초 함수(예: 웨이블릿, 다항식 등)로 광선 전달 행렬 𝑀을 근사합니다. 저희 방법은 𝑀의 출력을 명시적으로 인코딩하지 않고도 𝑈𝑛의 열로 나타내기 위해 자체적으로 기초 요소를 설계합니다. 본질적으로 이는 무작위 저랭크 행렬 근사 [Halko et al. 2011]와 유사합니다: 우리는 광선 전달 연산자에 대한 무작위 입력을 통해 𝑀의 출력을 나타내는 공간을 구축합니다. 이 데이터 종속적인 접근 방식은 조명에 대한 상관관계가 없는 PRT보다 주요한 이점을 제공합니다: 간접 조명이 급격하게 변하는 지역에서 주파수 제한 없이 조명을 나타낼 수 있으며, 조명이 항상 부드러운 지역에서는 이산화 요소를 낭비하지 않습니다.

 

파트 2 에서 계속...