[공유] 반다이남코 TrueHDRI 연구

TrueHDRI는 현실 세계의 조명 환경을 최대한 있는 그대로 담아내기 위해 만든 HDRI 에셋입니다. 단순히 “그럴듯한 배경 이미지”를 만드는 것이 아니라, 실제 현장의 절대 휘도와 컬러 매니지먼트된 색, 그리고 다양한 광원을 전체 다이내믹 레인지 안에 보존하는 것을 목표로 합니다. 이를 활용하면 DCC 툴이나 게임 엔진 안에서 훨씬 신뢰도 높은 룩데브 환경을 만들 수 있습니다.

TrueHDRI 에셋은 현재 공개되어 있습니다. 아래 TrueHDRI Library에서 다운로드해 활용할 수 있습니다.

TrueHDRI Library

TrueHDRI | バンダイナムコスタジオ公式サイト

 

왜 신뢰성이 필요한가?

디지털 에셋을 만들 때는 모두가 공유할 수 있는 기준이 필요합니다.

네이밍 규칙이나 품질 기준도 물론 중요하지만, 여기서 특히 주목하는 것은 “룩”입니다. 에셋이 최종적으로 어떤 인상을 주는지, 빛을 받았을 때 어떻게 보이는지, 머티리얼이 의도한 대로 반응하는지를 확인하는 과정이 매우 중요합니다.

이 확인 과정이 바로 룩데브입니다. 그리고 룩데브에 사용하는 조명과 환경을 여기서는 룩데브 환경이라고 부릅니다. TrueHDRI는 이 룩데브 환경의 신뢰성을 높이기 위해 사용됩니다.

신뢰성이 낮은 룩데브 환경에서는 잘못된 판단이 쌓이기 쉽습니다. 머티리얼이 문제인지, 조명이 문제인지, 포스트 프로세스가 문제인지 구분하기 어려워지고, 결국 품질 저하나 작업 효율 저하로 이어질 수 있습니다.

반대로 현실 세계의 조명 환경을 있는 그대로 캡처한 TrueHDRI를 사용하면, 훨씬 믿을 수 있는 라이팅 기준을 만들 수 있습니다. 모델링이나 머티리얼 제작을 안정적으로 진행할 수 있고, 포스트 프로세스 설정을 논의할 때도 팀원들이 같은 기준을 보며 이야기할 수 있습니다.

즉, 지금 만들고 있는 디지털 에셋이 현실 세계에서는 어떻게 보일지를 시뮬레이션할 수 있다는 뜻입니다. TrueHDRI는 “현실 세계”라는 분명한 기준을 바탕으로, 신뢰도 높은 룩데브 환경을 구축할 수 있게 해 줍니다.

TrueHDRI의 특징은?

휘도의 절대값 기록

TrueHDRI는 현실 세계의 휘도를 절대값으로 기록합니다.

일반적인 HDRI는 휘도를 상대값으로 기록하는 경우가 많습니다. 그래서 한 장의 HDRI 안에서는 빛의 강약 관계가 맞아 보일 수 있지만, 다른 HDRI와 나란히 비교하면 휘도 기준이 서로 맞지 않을 수 있습니다.

TrueHDRI는 파일 간 휘도 정합성까지 맞추는 것을 목표로 합니다. 따라서 TrueHDRI를 교체하는 것만으로도, 각각의 촬영 장소가 가진 조명 환경을 일관된 기준으로 재현할 수 있습니다.

정확한 휘도와 색

TrueHDRI는 현실 세계의 휘도와 색을 가능한 한 정확하게 기록합니다.

이를 위해 카메라의 색 기록 특성, 렌즈 주변부 광량 저하, 태양 촬영에 사용하는 ND 필터 등의 요소를 측정하고 보정합니다. 단순히 여러 노출을 합치는 수준이 아니라, 실제 측정값을 바탕으로 신뢰할 수 있는 데이터를 만드는 방식입니다.

태양 휘도까지 포함한 다이내믹 레인지

TrueHDRI는 촬영 시 ND 필터를 사용해 태양까지 직접 촬영합니다. 그 덕분에 태양 휘도까지 포함한 넓은 다이내믹 레인지를 기록할 수 있습니다.

일반적인 HDRI에서는 태양이 제대로 캡처되지 않은 경우가 많습니다. 이런 HDRI를 그대로 사용하면 태양광의 강도나 방향성이 실제와 맞지 않아, 일관성 있는 라이팅을 재현하기 어렵습니다.

TrueHDRI는 태양 휘도 자체를 실제로 캡처하기 때문에, 촬영 당시의 라이팅을 더 정확하게 재현할 수 있습니다.

광색역

TrueHDRI는 촬영에 사용한 카메라가 가진 넓은 색역을 최대한 유지한 상태로 제작됩니다.

실시간 렌더링 대응

TrueHDRI는 실시간 렌더링에서도 활용할 수 있습니다.

태양 휘도까지 담고 있기 때문에 HDRI만으로도 충분한 라이팅을 구성할 수 있습니다. 다만 실시간 렌더링에서는 HDRI 하나만으로 태양처럼 매우 밝고 작은 광원에서 나오는 강한 방향성 조명을 제대로 표현하기 어려운 경우가 있습니다.

그래서 TrueHDRI에서는 태양을 평행광으로 대체한 버전도 함께 준비합니다. 이를 통해 실시간 엔진에서도 더 안정적이고 다루기 쉬운 라이팅 환경을 만들 수 있습니다.

신뢰성은 어떻게 보장하는가?

TrueHDRI에서는 다음 항목을 측정하고 보정합니다.

• 컬러 매트릭스
• 화이트 밸런스
• 카메라 휘도 복원 계수
• 주변부 광량 저하
• ND 필터의 화이트 밸런스
• ND 필터 각도에 따른 색 변화
• ND 필터의 감광량

이러한 측정과 보정을 HDRI 제작 워크플로 안에 포함함으로써, 현실 세계의 조명 환경을 더 정확하게 캡처할 수 있습니다. 결과적으로 TrueHDRI는 단순한 이미지가 아니라, 룩데브 기준으로 사용할 수 있는 신뢰성 있는 조명 데이터에 가까워집니다.

TrueHDRI가 지향하는 목표는?

TrueHDRI의 목표는 CG 업계 전반에서 룩데브의 신뢰성을 높이는 것입니다.

이를 위해 현재까지의 연구 결과, HDRI 에셋 제작 워크플로, 실제 에셋을 적극적으로 공개해 나가고 있습니다.

앞으로는 더 간단한 촬영 방법과 제작 워크플로도 검토할 예정입니다. 또한 공개 가능한 에셋을 계속 늘려, 더 많은 프로젝트에서 신뢰할 수 있는 룩데브 환경을 사용할 수 있도록 하는 것을 목표로 합니다.

강연 영상

“신뢰성 높은 HDRI 제작 기법”을 주제로 한 강연이 CEDEC 2020에서 진행되었습니다.

아카이브 영상도 공개되어 있으니, TrueHDRI의 제작 배경과 기술적 접근을 더 자세히 알고 싶다면 함께 확인해 보는 것이 좋습니다.

https://youtu.be/qRWW9DqUti0?si=wKWXgjx85C5w8FYJ

산학 공동 연구

반다이남코 스튜디오는 도쿄공과대학 가와시마 연구실과 함께 TrueHDRI를 주제로 산학 공동 연구를 진행하고 있습니다. 아래는 가와시마 선생님과 학생들이 진행한 관련 연구 성과입니다.

가와시마 모토노부 — 미디어학부 특임강사

가와시마 모토노부 “HDRI와 머신러닝을 이용한 물리 기반 렌더링 평가 방법”

논문은 여기에서 확인할 수 있습니다.

이 연구는 TrueHDRI로 만든 렌더링 결과를 머신러닝으로 학습해, 머티리얼이 물리적으로 올바른지 평가하는 방법을 다룹니다. 연구가 더 발전해 오류 검사기나 자동 조정 기능으로 실용화된다면, PBR 기반 프로젝트에 큰 도움이 될 수 있습니다. — 반다이남코 스튜디오 아트 디렉터 스가노 마사토

요코야마 마사키

비디오 게임 콘텐츠를 위한 현실의 빛을 정확하게 재현한 HDRI 기반 LookDev 환경 구축 방법

논문은 여기에서 확인할 수 있습니다. — 정보처리학회 전자도서관

이 연구에서는 TrueHDRI를 UE5로 임포트하고, 여러 HDRI를 손쉽게 전환할 수 있는 플러그인을 개발했습니다. 덕분에 누구나 신뢰성 높은 룩데브 환경을 더 쉽게 사용할 수 있게 되었습니다. 해당 플러그인은 Fab에서도 공개되기 시작했으니, 실제 프로젝트에서 활용해 보고 기능 개선에 참여해 볼 수 있습니다. — 스가노

시오지 아야카

비디오 게임 콘텐츠에서 장면의 시간 변화에 따른 색 지정 기반 툰 렌더링 기법 제안

논문은 여기에서 확인할 수 있습니다. — 정보처리학회 전자도서관

애니메이션 제작 과정에는 “색 지정”이라는 단계가 있습니다. 이 연구는 그 개념을 UE5의 실시간 라이팅 환경으로 가져오는 접근입니다. 일반적인 툰 셰이딩과 달리 낮과 밤에 따라 캐릭터 색을 지정할 수 있기 때문에, 작품마다 고유한 색감을 더 명확하게 만들 수 있을 것으로 기대됩니다. — 스가노

고스기 하야토

HDRI를 이용한 물리 기반 렌더링에서 질감 표현을 설정하기 쉬운 환경 검토

논문은 여기에서 확인할 수 있습니다. — J-STAGE

이 연구에서는 UE5에서 머티리얼을 조정할 때 TrueHDRI 기반 룩데브 환경이 어떤 영향을 주는지 여러 사용자와 함께 검증했습니다. 광원의 위치나 반사에 비치는 환경에 따라 머티리얼을 만들기 쉬운 정도가 달라진다는 의견이 있었고, 이를 통해 여러 HDRI를 전환해 비교하는 방식이 매우 유효하다는 점을 확인할 수 있습니다. — 스가노

Blender 임포트 매뉴얼

TrueHDRI를 CG 툴인 Blender로 임포트하기 위한 매뉴얼입니다.

Blender 임포트 매뉴얼 — 일본어판

Blender 임포트 매뉴얼 — 영어판

TrueHDRI Panel

TrueHDRI를 UE5로 임포트하고 쉽게 전환할 수 있는 플러그인입니다.

https://www.fab.com/ja/listings/b65cba4d-e038-4d8a-96fc-73fde41f039e

원문 「TrueHDRI」現実世界の照明環境をそのままキャプチャするHDRIアセット | バンダイナムコスタジオ公式サイト