모바일 GPU의 상수 및 명령 버퍼 시스템 구조에 대한 포괄적 분석과 최적화 전략

모바일 GPU의 상수 및 명령 버퍼 시스템 구조에 대한 포괄적 분석과 최적화 전략

모바일 그래픽 처리 장치에 대한 이해

Understand the mobile graphics processing unit - Embedded Computing Design

Written by Benson Tao
제대로 구현된다면 모바일 시스템의 GPU는 성능에 큰 도움이 될 수 있습니다. 하지만 그 '제대로'라는 것이 관건입니다.
모바일 GPU 또는 그래픽 처리 장치는 스마트폰, 태블릿, 웨어러블, IoT 기기에서 그래픽 애플리케이션, 사용자 인터페이스, 3D 콘텐츠를 가속화하도록 설계된 전용 보조 프로세서입니다. 포토리얼리스틱 3D 게임과 '라이브' 그래픽 사용자 인터페이스(GUI)는 GPU를 위해 특별히 설계된 워크로드의 예시입니다.
몇 년 전만 해도 GPU는 최신 기술로 플래그십 지위를 유지해야 하는 고급 소비자 모바일 제품에 설계된 있으면 좋은 기능이었습니다. 이제는 그래픽 디스플레이가 보편화되어 모든 종류의 연결된 기기에서 사용됨에 따라, GPU는 모든 모바일 애플리케이션 프로세서와 중고급 MCU/MPU의 제품 사양에서 필수적인 부분이 되었습니다. GPU는 또한 기업들이 목표 애플리케이션을 위한 매력적이고 시각 중심적인 솔루션을 만들 수 있도록 제품 차별화에도 도움을 줍니다.
GPU는 대규모 병렬 워크로드를 위해 설계된 단일 명령어 다중 데이터(SIMD) 처리 엔진입니다. 3D 그래픽스는 GPU가 매초 수십억 개의 픽셀/정점 또는 부동소수점 연산(GFLOPS)을 처리할 수 있기 때문에 고처리량 병렬 처리의 가장 좋은 예시 중 하나입니다. GPU의 핵심에는 독립적인 정점, 프리미티브, 프래그먼트(픽셀)를 처리하는 하나 이상의 셰이더(SIMD 유닛)가 있습니다. 셰이더는 정점별, 픽셀별 또는 다른 프리미티브 기반으로 3D 그래픽스 프로그램을 실행하는 컴퓨팅 요소입니다.
버텍스 셰이더 프로그램은 위치, 움직임, 버텍스 라이팅, 색상을 제어할 수 있도록 객체 속성을 수정합니다. 픽셀 또는 프래그먼트 셰이더 프로그램은 최종 픽셀 색상, 그림자, 객체 텍스처, 조명을 계산하며, 블러링, 엣지 강화, 필터링과 같은 특수 효과를 장면에 추가하도록 프로그래밍될 수 있습니다. 또한 지오메트리, 테셀레이션, 컴퓨트 셰이더를 포함한 새로운 유형의 셰이더 프로그램들도 있습니다.
OpenGL ES 3.1의 컴퓨트 셰이더와 같은 것들은 3D와 GPU 컴퓨트(GPGPU) 컨텍스트를 혼합하여 물리 처리(게임에서의 자연스러운 파도와 바람의 움직임이나 생생한 폭발)와 전역 조명(직접 및 간접 광원/광선을 포함하는 계산을 통한 더 나은 조명과 그림자)과 같은 실제 효과를 추가할 수 있는 고급 그래픽 렌더링에 유용합니다. GPU는 또한 IoT와 모바일에서 고성능 컴퓨팅(HPC) 과학 컴퓨팅에 이르는 목표 애플리케이션에 따라 성능과 병렬성을 높이기 위해 하나의 셰이더 유닛에서 수천 개의 상호 연결된 그룹화된 셰이더 유닛으로 효율적으로 확장될 수 있습니다. 고성능 셰이더 설계는 1.2 GHz 이상으로 실행되며 그래픽스, OpenCL, OpenVX(비전 처리) 등을 처리하기 위해 사이클당 수십억 개의 명령어를 실행할 수 있습니다.
그림 1| 은 CPU와 GPU 아키텍처 간의 주요 차이점을 보여줍니다. 각 설계는 자체적인 강점을 가지고 있으며 가장 최적화된 솔루션(전력, 대역폭, 리소스 공유 등)을 달성하기 위해 서로 협력해야 합니다. 최상의 설계는 각 처리 코어의 강점을 기반으로 워크로드를 분할/할당하는 이기종 시스템 아키텍처를 사용합니다. GPU는 또한 그래픽스를 넘어선 계산 집약적인 애플리케이션에 GPU가 사용되는 플랫폼 수준의 최적화로 산업이 이동함에 따라 시스템의 중요한 부분이 되고 있습니다. 오늘날의 하이브리드 설계에는 DSP, FPGA 및 CPU-GPU 조합과 함께 사용될 수 있는 기타 작업별 코어를 포함한 다른 계산 블록이 있다는 점에 주목하십시오.

그림1

GPU 파이프라인 소개
최신 GPU는 "통합" 셰이더를 사용하여 다양한 유형의 셰이더 프로그램 전반에 걸쳐 최적의 하드웨어 리소스 관리를 달성하고 워크로드의 균형을 맞춥니다. 통합 셰이더의 초기 버전은 버텍스(VS)와 픽셀(PS) 처리를 결합했으며, 이후 버전에서는 그래픽스 API가 발전함에 따라 지오메트리(GS), 테셀레이션(TS), 컴퓨트(CS) 셰이더에 대한 지원이 추가되었습니다.
통합 셰이더의 경우, 각 셰이더에 할당된 워크로드는 버텍스 또는 픽셀 기반이 될 수 있으며, 셰이더가 두 컨텍스트 사이를 즉시 전환하여 높은 수준의 셰이더 활용도를 유지할 수 있습니다. 이는 버텍스나 픽셀이 많은 이미지를 처리할 때 하드웨어 리소스 병목 현상과 지연을 최소화합니다. 비통합 셰이더 아키텍처에서는 별도의 고정된 VS와 PS 셰이더가 있습니다. 예를 들어, 이미지에 버텍스가 많은 경우 VS는 GPU가 이미지의 나머지 부분을 계속 처리하기 전에 완료해야 하므로 GPU 파이프라인이 지연될 수 있습니다. 이로 인해 파이프라인 버블이 발생하고 하드웨어가 비효율적으로 사용됩니다. 그림 2는 별도의 VS와 PS를 사용하는 경우와 통합 셰이더 코어를 사용하는 경우를 보여줍니다.

그림2

수년에 걸쳐 GPU 셰이더는 그래픽스를 넘어 발전하여 그래픽스, 컴퓨트, 이미지(ISP) 보조 처리, 임베디드 비전, 비디오(HEVC 및 H.264 전/후처리 등) 및 기타 병렬 애플리케이션을 위해 구성할 수 있는 범용 파이프라인을 포함하게 되었습니다. 이것이 바로 GPGPU(General Purpose GPU)와 GPU 컴퓨트라는 용어가 그래픽스 렌더링을 넘어선 GPU의 광범위한 사용을 설명하는 데 사용되는 이유입니다.
모바일 GPU 파이프라인은 고수준에서 다음과 같은 주요 블록들로 구성됩니다:
호스트 인터페이스 및 (보안) MMU

• ACE-Lite/AXI/AHB 인터페이스를 통해 CPU와 통신합니다.
• CPU로부터 명령을 처리하고 프레임 버퍼 또는 시스템 메모리에서 지오메트리 데이터에 접근합니다.
• 다음 단계(버텍스 셰이더)로 전송되는 버텍스 스트림을 출력합니다.
• 셰이더로의 명령어/데이터 디스패치를 포함한 모든 GPU 트랜잭션을 관리하고, 리소스를 할당/해제하며, 보안 트랜잭션과 데이터 압축을 위한 보안을 제공합니다.

프로그래머블 통합 셰이더

• 버텍스 셰이더(VS)는 버텍스 변환, 조명, 보간을 포함하며 단순한(선형) 것부터 복잡한(모핑 효과) 것까지 다양합니다.
• 픽셀/프래그먼트 셰이더(PS)는 조명, 그림자 및 텍스처 매핑을 포함한 기타 속성을 고려하여 최종 픽셀 값을 계산합니다.
• 지오메트리 셰이더(GS)는 프리미티브(선, 점 또는 삼각형)를 가져와서 객체의 세부 수준을 높이기 위해 버텍스를 수정, 생성(또는 제거)합니다. GS를 통해 GPU 파이프라인은 인접한 프리미티브에 접근하여 이들을 긴밀하게 연결된 그룹으로 조작할 수 있어, 이웃한 버텍스들이 서로 상호작용하여 부드럽게 흐르는 움직임(머리카락, 옷 등)을 가진 사실적인 효과를 만들 수 있습니다. GS/VS/PS 조합은 산술 연산과 동적 흐름 제어 로직을 추가하여 이전에 CPU에서 수행되던 작업을 오프로드함으로써 내부적으로 상태 변화를 처리할 수 있는 보다 자율적인 GPU 작동을 가능하게 합니다. 또 다른 주요 기능은 스트림 아웃으로, VS/GS가 데이터를 메모리에 직접 출력할 수 있고 CPU 개입 없이 셰이더 유닛이나 다른 GPU 블록이 자동으로 반복적으로 데이터에 접근할 수 있습니다. 스트림 아웃은 객체 표면의 모핑이나 상세한 디스플레이스먼트 매핑과 같이 여러 패스가 필요한 객체에 대한 재귀적 렌더링(데이터 재사용)에 유용합니다.
• 테셀레이션 셰이더(TS)는 TS 파이프라인에서 Hull과 Domain 셰이더라고 불리는 두 개의 고정 기능 유닛을 포함합니다. TS는 곡면(직사각형 또는 삼각형)을 가져와서 품질 요구사항에 따라 변경할 수 있는 다양한 수의 폴리곤 표현(메시/패치)으로 변환합니다. 더 높은 수는 객체에 더 많은 세부 사항을 만들고 더 낮은 수는 더 적은 세부 사항을 만듭니다. 테셀레이션 유닛은 세 부분으로 구성됩니다:
  • Hull 셰이더(HS)는 기본 입력 패치(쿼드, 삼각형 또는 선)에서 지오메트리(표면) 패치를 생성하고 표면을 조작하는 데 사용되는 제어점 데이터를 계산하는 프로그래머블 셰이더입니다. HS는 또한 테셀레이터가 표면 속성을 어떻게 세분화할지 알 수 있도록 적응형 테셀레이션 계수를 계산하여 테셀레이터에 전달합니다.
  • 테셀레이터는 HS에서 받은 테셀레이션 계수를 기반으로 패치를 더 작은 객체(삼각형, 선 또는 점)로 세분화하는 고정된(구성 가능한) 기능 단계입니다.
  • Domain 셰이더(DS)는 표면을 평가하고 출력 패치의 각 세분화된 점에 대한 새로운 버텍스 위치를 계산하는 프로그래머블 셰이더로, 추가 처리를 위해 GS로 전송됩니다.
• 컴퓨트 셰이더(CS)는 그래픽스 파이프라인에 GPGPU/GPU 컴퓨트 기능을 추가하여 개발자가 이 셰이더를 사용하는 GLSL 애플리케이션 코드를 작성하고 일반적인 렌더링 파이프라인 외부에서 실행할 수 있게 합니다. 데이터는 파이프라인 단계와 렌더링-컴퓨트 컨텍스트 간에 내부적으로 공유될 수 있어 둘 다 병렬로 실행될 수 있습니다. CS는 또한 OpenGL/OpenGL ES 렌더링 파이프라인과 동일한 컨텍스트, 상태, 유니폼, 텍스처, 이미지 텍스처, 아토믹 카운터 등을 사용할 수 있어 렌더링 파이프라인 출력과 함께 프로그래밍하고 사용하기가 더 쉽고 간단해집니다.

프로그래머블 래스터라이저

• 객체를 지오메트리 형태에서 픽셀 형태로 변환하고 후면이나 숨겨진 표면을 컬링(제거)합니다. 계산 사이클, 대역폭 및 전력을 절약하기 위해 숨겨진 픽셀이 처리되지 않도록 하는 여러 수준의 컬링 메커니즘이 있습니다.

메모리 인터페이스

• 프레임 버퍼에 픽셀을 쓰기 전에 Z-버퍼, 스텐실/알파 테스트를 사용하여 보이지 않거나 숨겨진 픽셀을 제거합니다.
• 이 단계에서 Z 및 컬러 버퍼를 포함한 압축이 수행됩니다.

즉시 모드 대 지연 렌더링 GPU
이미지를 렌더링하는 두 가지 일반적인 GPU 아키텍처와 방법이 있습니다. 두 방법 모두 앞서 설명한 동일한 일반 파이프라인을 사용하지만 그리는 메커니즘이 다릅니다. 한 방법은 타일 기반 지연 렌더링(TBDR)이라고 하고 다른 하나는 즉시 모드 렌더링(IMR)이라고 합니다. 두 방법 모두 각각의 사용 사례에 따른 장단점이 있습니다.
1995년(스마트폰/태블릿이 나오기 전)에는 많은 그래픽스 회사들이 PC와 게임 콘솔 시장에서 두 방법을 모두 지원했습니다. TBDR 그룹에는 Intel, Microsoft(Talisman), Matrox, PowerVR, Oak와 같은 회사들이 있었습니다. IMR 쪽에는 SGI, S3, Nvidia, ATi, 3dfx와 같은 이름들이 있었습니다. 2014년으로 빠르게 넘어가면, PC와 게임 콘솔 시장에서는 TBDR 아키텍처가 사용되지 않습니다. PS3/PS4, Xbox 360/One, Wii를 포함한 모든 PC와 콘솔 아키텍처는 IMR 기반입니다.
이러한 전환의 주된 이유는 IMR이 매우 복잡하고 동적인 게임 플레이(예: 빠른 움직임, FPS 또는 레이싱 게임에서 장면이나 시점이 프레임마다 계속 변화)를 처리할 수 있는 객체 렌더링 아키텍처로서의 고유한 강점 때문이었습니다. 또한 3D 콘텐츠의 삼각형 비율이 증가함에 따라 TBDR은 아키텍처적 한계로 인해 캐시 메모리를 프레임 버퍼 메모리로 계속 오버플로우해야 했기 때문에 따라잡을 수 없었습니다. 더 높은 삼각형/폴리곤 수를 통해 GPU는 레거시 게임에서 나타났던 각진 곡면 대신 부드럽고 상세한(사실적인) 표면을 렌더링할 수 있습니다. IMR에서 삼각형/폴리곤이 더욱 세분화되는 테셀레이션 셰이더가 추가되면서 3D 그래픽스는 현실에 더욱 가까워졌습니다.
오늘날의 모바일 시장은 IMR 기술이 TBDR을 대체하는 PC와 게임 콘솔 시장의 트렌드를 밀접하게 반영합니다. TBDR 시장에는 Imagination과 ARM이라는 두 회사가 있지만, ARM은 모바일에서 차세대 게임을 실행할 때 큰 이점을 보기 때문에 IMR로 이동하려고 노력하고 있습니다. IMR 쪽에는 Qualcomm, Vivante, Nvidia, AMD, Intel이 있습니다.
IMR을 선택하는 큰 이점은 게임/애플리케이션 개발자가 복잡한 GPU(또는 게임 콘솔)에서 이미 실행 중인 기존 게임 자산을 모바일 기기에 쉽게 재사용하고 이식할 수 있다는 것입니다. 모바일 기기는 전력/열과 다이 면적에 대한 엄격한 제한이 있기 때문에, 성능 격차를 줄이고 애플리케이션 이식이나 상당한 코드 변경을 최소화하는 가장 좋은 방법은 개발하는 아키텍처와 유사한 것을 사용하는 것입니다. IMR은 개발자에게 그러한 선택권을 제공하며, TBDR 솔루션보다 더 작은 다이 면적에 모두 패킹된 동등한 고품질 PC 수준의 렌더링도 제공합니다. IMR은 또한 업계가 OpenGL ES 3.1과 DirectX 12 애플리케이션 프로그래밍 인터페이스(API)를 넘어 발전함에 따라 내부 시스템과 외부 메모리 대역폭을 개선합니다.
마지막으로, TBDR 아키텍처는 삼각형/폴리곤 수가 적은 3D 콘텐츠와 단순한 사용자 인터페이스에 최적화되어 있습니다. IMR 아키텍처는 PC와 게임 콘솔의 동일한 사용자 경험과 게임 품질을 모바일 기기에 가져오는 동적 사용자 인터페이스와 상세한 3D 콘텐츠에서 뛰어난 성능을 보입니다.
연도별 그래픽스 API
모바일 기기를 위한 주요 3D API는 Android, iOS, Windows를 포함한 광범위한 운영 체제에서 대부분의 현재 스마트폰과 태블릿에서 발견되는 Khronos Group의 OpenGL ES API를 기반으로 합니다. OpenGL ES는 중복성과 거의 사용되지 않는 기능을 제거하고 모바일 친화적인 데이터 형식을 추가하여 모바일 기기에 최적화된 데스크톱 버전 OpenGL을 기반으로 합니다.
초기 버전인 OpenGL ES 1.1은 고정 기능 하드웨어를 기반으로 했으며, OpenGL ES 2.0은 버전 1.1의 고정 기능 변환 및 프래그먼트 파이프라인을 제거하면서 프로그래머블 버텍스 및 프래그먼트(픽셀) 셰이더를 기반으로 했습니다. OpenGL ES 3.0은 OpenGL 3.3/4.x를 기반으로 한 기능을 추가하고 지원되는 기능에 대한 더 엄격한 요구사항을 만들고 구현 변동성을 줄임으로써 프로그래밍을 단순화하여 확장의 필요성을 줄여 업계를 더욱 발전시킵니다. GLES 3.0 기능에는 오클루전 쿼리, MRT, 텍스처/버텍스 배열, 인스턴싱, 트랜스폼 피드백, 더 많은 프로그래머빌리티, OpenCL 상호운용성, 더 높은 품질(32비트 부동소수점/정수), NPOT 텍스처, 3D 텍스처 등이 포함됩니다.
2014년 3월 게임 개발자 컨퍼런스에서 Khronos는 컴퓨트 셰이더(CS), 별도의 셰이더 객체, 간접 드로우 명령, 향상된 텍스처링, 새로운 GLSL 언어 추가와 같은 발전이 포함된 OpenGL ES 3.1을 출시했습니다. OpenGL ES 3.1 출시와 동시에 Google은 PC 수준의 그래픽스를 Android 플랫폼에 가져오기 위해 모바일 하드웨어에서 지오메트리(GS)와 테셀레이션(TS) 셰이더 기능을 요구하는 Android L Extension Pack(AEP)을 출시했습니다. 그림 3은 연도별 OpenGL과 OpenGL ES의 발전 타임라인을 보여줍니다. Microsoft의 DirectX(DX) API에 대한 전환과 매핑은 그림 4에 나와 있습니다. DX9는 OpenGL ES 2.0에 매핑되고, DX10/DX11은 OpenGL ES 3.1에 매핑됩니다.

그림3

그림4

그래픽스를 넘어선 GPU
지난 수년간 산업계와 대학 연구진들은 현대 GPU의 본질적인 병렬 아키텍처 덕분에 GPU의 연산 자원이 특정 병렬 연산에 적합하다는 것을 발견했습니다. GPU에서 보여진 계산 속도 향상이 빠르게 인정받았고, GPU의 방대한 처리 능력을 기반으로 한 HPC의 새로운 영역이 탄생했습니다.
그래픽스를 넘어선 GPU는 GPU 컴퓨트 코어 또는 GPGPU로 불립니다. OpenCL, HSA, OpenVX, Microsoft DirectCompute와 같은 다양한 산업 표준이 성숙 단계에 이르렀고, 이를 통해 작업과 명령어 병렬성이 서로 다른 처리 코어들을 활용하도록 최적화되었습니다. 가까운 미래에 모바일 기기들은 CPU, DSP 또는 커스텀 코어의 부하를 줄이고 GPU를 활용하여 최고의 연산 성능, 계산 밀도, 시간 절약 및 전반적인 시스템 속도 향상을 달성하게 될 것입니다. 최선의 접근 방식은 CPU와 GPU를 긴밀하게 연동하는 하이브리드 구현을 통해 성능과 전력 목표를 달성하는 것입니다.

그림5

그림 5 | 아래 표는 메모리 지연 시간, 스레드 관리, 실행 병렬성과 같은 다양한 요소를 기준으로 CPU와 GPU를 비교합니다.
이미지 처리, 비전 처리, 분석, 수학적 계산 및 기타 병렬 알고리즘과 같은 많은 연산 문제들은 GPU SIMD 아키텍처에 잘 매핑됩니다. 성능과 처리량을 향상시키기 위해 연산 작업이나 3D 렌더링 프레임을 여러 GPU에 분할하는 멀티 GPU 접근 방식을 사용하도록 GPU를 프로그래밍할 수도 있습니다. GPU는 3D와 연산 스레드를 동시에 실행하는 멀티 컨텍스트 모드로 작동할 수 있습니다. 예를 들어, GPU 코어 1과 2는 이미지 렌더링에 할당되고 코어 3과 4는 입자 효과(연기/물/불), 실제 움직임을 모방하는 게임 물리, 또는 제스처 지원을 위한 자연스러운 사용자 인터페이스(NUI) 처리와 같은 GPGPU 기능에 전담되는 방식입니다. GPGPU가 도입되고 있는 다른 시장, 특히 임베디드/컴퓨터 비전 분야는 다음과 같습니다:

• 증강 현실: Google Glass와 같이 다양한 센서로부터 입력될 수 있는 GPU 생성 데이터(이미지, 데이터, 3D 렌더링 등)로 실제 환경을 오버레이합니다. AR은 온라인(실시간 직접) 또는 오프라인 콘텐츠 스트림으로 작동할 수 있습니다.
• 특징 추출: GPU가 처리할 대상을 알 수 있도록 이미지의 "관심점"과 설명자를 생성해야 하므로 많은 비전 알고리즘에 필수적입니다. SURF(Speeded Up Robust Features)와 SIFT는 GPU에서 효과적으로 병렬화될 수 있는 알고리즘의 예시입니다. 객체 인식과 표지판 인식이 이러한 응용의 형태입니다.
• 포인트 클라우드 처리: 복잡한 이미지에서 형상을 감지하고 객체를 분할하기 위한 3D 이미지를 생성하는 특징 추출을 포함합니다. 거리 뷰 지도에 증강 현실을 추가하는 등의 용도로 사용될 수 있습니다.
• 첨단 운전자 보조 시스템(ADAS): 차선 감지/차선 유지 보조(허프 변환, 소벨/캐니 알고리즘), 보행자 감지(방향성 그래디언트 히스토그램, 또는 HOGS), 이미지 왜곡 보정, 사각지대 감지 등을 포함한 다양한 안전 기능이 실시간으로 지속적으로 계산됩니다.
• 보안 및 감시: 얼굴 랜드마크 위치 파악(하르 특징 분류기), 얼굴 특징 추출 및 분류, 객체 인식을 포함하는 얼굴 인식이 포함됩니다.
• 모션 처리: 손을 배경에서 분리하고(HSV 색공간으로의 색상 공간 변환과 같은) 손에 대한 구조적 분석을 수행하여 동작을 처리하는 손 제스처 인식과 같은 자연스러운 사용자 인터페이스입니다.
• 비디오 처리: 셰이더 프로그램과 고속 정수/부동소수점 연산을 사용하는 HEVC 비디오 보조 처리입니다.
• 이미지 처리: 간소화된 이미지 처리 파이프라인을 위해 GPGPU와 이미지 신호 처리기(ISP)를 결합합니다.
• 센서 퓨전: 깊이가 있는 3D 공간 지도를 만들기 위해 비전 처리를 다른 센서 데이터(LIDAR와 같은)와 혼합합니다. 그래픽스에서 사용되는 유사한 개념은 광선 추적으로, 광선을 발사하여 이미지를 통과하는 경로를 추적하고 모든 광선-객체 교차점과 반사를 계산하여 사실적인 3D 이미지를 생성합니다.

소비자와 산업계는 모바일 분야에서 최첨단 기술을 앞으로 추진하고 있습니다. 따라서 GPU 제공업체들은 고급 그래픽스와 연산 기능을 위한 성능을 최대화하고 전력과 다이 면적 증가를 최소화하면서 최신 트렌드, API, 사용 사례를 따라잡기 위해 지속적으로 혁신해야 합니다. 모바일 GPU 설계는 업계에서 가장 작은 통합 설계와 하드웨어 공간을 달성하기 위해 알고리즘 수준에서부터 설계되고 신중하게 고려되어야 합니다. PC GPU에서 직접 가져온 설계는 모바일 전력 효율성을 달성하기 위해 효과적으로 축소될 수 없습니다. 비결은 기능성, 견고성 또는 요구되는 성능을 제한하지 않으면서 모바일 애플리케이션에 맞게 작동하도록 내부를 구성하는 데 있습니다.
Benson Tao는 Vivante Corp.의 제품 기술자로, 제품 기획과 사업 개발을 담당하고 있습니다. 12년 이상 GPU와 비디오 산업의 다양한 기술 및 비즈니스 역할에 참여해 왔습니다.

---

모바일 GPU의 상수 및 명령 버퍼 시스템 구조에 대한 포괄적 분석과 최적화 전략

현대 모바일 GPU는 제한된 리소스 환경에서 최적의 성능을 달성하기 위해 타일 기반 렌더링(Tile-Based Rendering, TBR) 아키텍처를 기반으로 설계되어 있습니다. 이러한 설계 방식에서 상수 버퍼(Constant Buffer)와 명령 버퍼(Command Buffer)는 데스크톱 GPU와는 차별화된 독특한 관리 체계와 최적화 전략을 필요로 합니다.

---

1. 상수 버퍼 시스템 구조

상수 버퍼는 셰이더 프로그램에서 빈번하게 참조하는 읽기 전용 데이터 영역으로서, 전역 변수(Uniform Variables)와 재활용 가능한 렌더링 데이터의 효율적인 관리와 최적화된 접근을 담당하는 핵심 컴포넌트입니다.

📌 상수 버퍼의 주요 특성과 구현 방식

• 통합 메모리 아키텍처의 최적화된 활용
  • 모바일 GPU는 통합 메모리 구조(Unified Memory Architecture, UMA)를 통해 CPU와 GPU 간의 효율적이고 지능적인 메모리 공유 메커니즘을 실현합니다.
  • 상수 데이터는 시스템 메모리(RAM)에 저장되며, 성능과 전력 소비를 고려하여 필요한 시점에만 선택적으로 GPU 캐시로 전송됩니다.
• 타일 기반 처리를 통한 성능 최적화
  • 특정 모바일 GPU는 고도로 최적화된 타일 메모리(Tiling Memory) 시스템을 활용하여 상수 데이터를 타일 단위로 효율적으로 처리하고 캐시 적중률을 향상시킵니다.
• 지능적 데이터 관리 전략
  • 고빈도 접근 데이터는 전용 L1/L2 캐시에 전략적으로 배치하여 접근 지연시간을 최소화하고 성능을 최적화합니다.
  • 동적 데이터는 메모리 대역폭 사용을 최소화하기 위해 드로우콜(Draw Call) 단위로 효율적으로 갱신되도록 설계되어 있습니다.

📌 상수 버퍼의 체계적 운용과 API 지원

• 최신 그래픽스 API인 OpenGL ES와 Vulkan은 Uniform Buffer Object(UBO)와 Push Constant를 통해 상수 데이터의 효율적이고 체계적인 관리 메커니즘을 제공합니다.
• Vulkan의 혁신적인 Push Constant 시스템:
  • 모바일 환경의 특성을 고려하여 소규모 데이터의 초고속 전달을 위한 최적화된 Push Constant 메커니즘을 제공합니다.
  • 일반적인 UBO와 비교하여 현저히 향상된 접근 속도를 제공하지만, 용량이 제한적이라는 특징이 있습니다(일반적으로 128~256바이트).

---

2. 명령 버퍼 시스템 구조

명령 버퍼는 CPU에서 생성된 그래픽스 명령을 GPU로 효율적으로 전달하는 핵심 메커니즘으로서, 모바일 GPU 환경에서는 최적의 렌더링 효율성과 성능 확보를 위해 다음과 같은 체계적인 구조로 운영됩니다.

📌 명령 버퍼의 핵심 특성과 최적화 전략

1. 타일 기반 렌더링을 위한 고도화된 최적화
   • 모바일 GPU는 혁신적인 TBR 방식을 통해 복잡한 렌더링 작업을 효율적인 타일 단위로 분할하여 처리합니다.
   • 개별 드로우콜은 타일 단위로 최적화된 방식으로 분할 처리된 후 정교한 병합(Resolve) 과정을 거칩니다.
2. 전력 효율을 고려한 지연 명령 실행 체계
   • 데스크톱 GPU와는 차별화되어, 명령을 전략적으로 일괄 수집한 후 최적의 시점에 실행하는 방식을 채택합니다.
   • 이러한 접근을 통해 모바일 환경에서 중요한 전력 효율성과 메모리 대역폭의 효율적 활용을 달성합니다.
3. 현대적 병렬 처리 최적화 기법
   • OpenGL ES는 안정성과 예측 가능성을 위해 단일 스레드 기반의 명령 처리 방식을 주로 활용합니다.
   • 차세대 API인 Vulkan은 고성능을 위한 멀티 스레드 기반의 명령 버퍼 생성을 지원하여 처리 효율을 획기적으로 향상시킵니다.

📌 API별 최적화된 명령 버퍼 관리 체계
 

API	명령 버퍼 운용 방식
OpenGL ES	-안정성 중심의 단일 스레드 기반명령 처리 구조 -Command Queue를 활용한 예측 가능한 순차적 실행
Vulkan	-고성능 지향의 멀티 스레드 지원명령 버퍼 시스템 -Secondary/Primary Command Buffer를 활용한 유연한 계층적 실행
Metal (iOS)	-Command Queue, Buffer, Encoder를 통합한 효율적 구조 -iOS 환경에 최적화된 병렬 처리 시스템

3. 시스템 최적화를 위한 전략적 접근

모바일 환경의 특성을 고려할 때, 전력 소비와 성능 사이의 최적의 균형을 달성하기 위해서는 상수 및 명령 버퍼의 체계적이고 전략적인 관리가 필수적입니다.

📌 상수 버퍼의 최적화 전략과 구현 방안

✅ Push Constant의 전략적 활용

• 빈번한 갱신이 필요한 중요 소규모 데이터는 Vulkan Push Constant 메커니즘을 통해 효율적으로 관리합니다. ✅ 메모리 접근 최적화를 위한 데이터 정렬
• 캐시 라인을 고려한 16바이트 단위의 전략적 정렬을 통한 메모리 접근 효율성 극대화. ✅ 데이터 갱신 최적화 전략
• 프레임 단위 데이터 갱신의 전략적 최소화를 통한 GPU 캐시 활용도 극대화.

📌 명령 버퍼의 성능 최적화 전략

✅ 효율적인 일괄 처리 메커니즘

• 유사한 특성을 가진 객체들의 전략적 통합 처리를 통한 명령 버퍼 오버헤드의 최소화. ✅ 보조 명령 버퍼의 전략적 활용
• 최적화된 Secondary Command Buffer 구조를 통한 효율적인 CPU 부하 분산. ✅ 타일 기반 렌더링 최적화
• 고도화된 Depth Test 메커니즘의 전략적 활용을 통한 렌더링 파이프라인 효율성 극대화.

---

4. 종합적 결론 및 전망

📌 최적화된 상수 버퍼 시스템의 핵심 요소

• 고효율 통합 메모리 구조, 최적화된 타일 기반 처리, 전략적 Push Constant 활용 📌 고성능 명령 버퍼 시스템의 핵심 전략
• 타일 기반 렌더링 최적화, 효율적 병렬 처리 지원, 전략적 일괄 처리 메커니즘

이러한 체계적이고 전략적인 접근 방식을 통해 모바일 GPU 시스템의 전력 효율성과 성능을 최적의 상태로 유지할 수 있습니다.