2017년 5월 29일, 컴퓨텍스 타이페이 2017의 개최에 앞서 열린 ARM의 프레스 컨퍼런스에서 차세대 CPU IP 코어 Cortex-A75, Cortex-A55와 차세대 GPU IP 코어 Mali-G72가 발표됐습니다. 여기에선 GPU인 Mali-G72에 대해 자세히 보도록 하겠습니다.
Mali-G72의 공정은 20~10nm
ARM의 프레스 컨퍼런스에서 GPU 파트의 프레젠테이션은 Jem Davies(VP, General Manager MPG and Fellow, Media Processing Division)가 담당했습니다.
Mali-G72는 그 제품명에서 알 수 있듯이 Mali-G71의 후속작에 해당하는 GPU입니다.
ARM은 IP 기업이지만 구체적인 설계인 하드 매크로도 제공하고 있습니다. ARM 측에 따르면 제조 공정 기술은 20~10nm라고 합니다. ARM GPU의 현 세대는 16~14nm지요.
Mali-G72 제품 정보 페이지의 기준 스펙을 보면 동작 클럭 850MHz, 클러스터 수(코어 수) 32개, 필 레이트는 27.2 GPixels / s, 8억 5000만 폴리곤이 됩니다 . 픽셀 필 레이트에서 PC 용 GPU와 비교하면 지포스 GTX 950에 약간 못 미치는 수준입니다. 실제 스마트폰에선 8 클러스터에서 16 클러스터 정도가 적당한 선이 될 것입니다.
OpenGL은 ES 3.2를 지원하는데 이건 Mali-G71과 같습니다. 다이렉트 X는 Mali-G71에서 12를 지원하지 않았으나 Mali-G72에선 지원을 추가했습니다. 하지만 Feature Level 11_1 지원이 그쳐 Mali-G71에서 기능은 그대로 둔 것으로 보입니다.
발표회에서 ARM은 Mali-G72에 Machine Learning Efficiency(머신 러닝 효율)이 향상되고, Advancing mobile VR(첨단 모바일 VR) 기술을 지원, 그리고 High Fidelity Mobile Gaming(고화질 모바일 게임) 체험 제공이 가능하게 됐음을 어필했습니다.
발표회 후에는 GPU 제품 담당인 Ian Hutchinson와 Jem Davies, Espen Oybo의 3명에게서 설명을 들을 수 있었습니다.
왼쪽에서부터 Ian Hutchinson(Director of Channel Marketing, Media Processing Group), Jem Davies(VP, General Manager MPG and Fellow, Media Processing Division), Espen Oybo(GPU Product Manager MPG, ARM)
머신 러닝의 실행 효율 향상
머신 러닝의 실행 효율 향상은 주로 Mali-G71에 GPU 데이터 전송 효율을 최적화하고, 캐시 제어 명령을 새로 만드는 것으로 실현했습니다. Mali-G72 제품 매니저인 Oybo는 그 근거로 M × N의 일반 행렬 계산(GEMM : GEneral Matrix Multiply)의 내부 벤치마크 테스트 결과를 보여 주었습니다.
각 요소가 FP32일 경우와 FP16인 경우를 비교하는데, Mali-G71와 Mali-G72에서 GEMM를 실행했을 때의 상대적인 성능 값은 Mali-G72 쪽이 약 17% 빠르다고 합니다. 다만 이건 오프셋을 돌려 정돈되지 않은 그래프이며, 행렬 계산에서 약 17%의 속도 향상이 머신 러닝의 효율 향상과 바로 이어진다고 보긴 어렵습니다. Caffe과 TensorFlow 등 실제 머신 러닝에서의 성능 테스트 결과를 보지 않으면 얼마나 빨라졌는지 판단하기가 어렵습니다.
GEMM 성능은 FP32, FP16가 모두 17% 개선됐으며 FP64는 지원하지 않습니다. Mali 시리즈는 임베디드 GPU이기에 앞으로도 FP64을 지원할 예정은 없다고 합니다
또한 GPU의 데이터 전송 효율 최적화는 하드웨어의 기능으로 진화한 부분이기에 자동으로 적용되지만, 캐시 제어 명령을 새로 더하는 건 머신 러닝 AI가 해당 명령어 셋트를 지원해야만 효과를 봅니다.
"머신 러닝의 실행 효율성 향상"은 사실상 마케팅적인 표현이라고 생각됩니다.
첨단 모바일 VR 기술 지원
Mali-G72 발표회에서 ARM은 첨단 모바일 VR 기술 지원의 지원 사례로 Mobile Multiview, ASTC, Multisampling Aliasing, Foveated Rendering를 꼽았습니다.
Mali-G72가 제공하는 첨단 모바일 VR 기술의 4가지 항목
Mobile Multiview는 Instanced Stereo Rendering을 가리킵니다. ISR은 다이렉트 X 9.0c 세대의 GPU에 처음 탑재한 지오메트리 인스턴스를 활용하는 방법입니다.
지오메트리 인스턴스는 GPU에 전송한 3D 모델의 좌표 위치, 질감의 지정 같은 각종 파라미터에 변화를 주어 다수를 동시에 렌더링하는 기능입니다. 예를 들어 우주 공간에 동일한 3D 모델을 쓴 운석을 텍스처만 바꿔 많이 그리고 싶을 경우 유용합니다. GPU 내부에서 3D 모델을 가상으로 복제해 그려내는 기능이라 봐도 좋습니다.
현재 메인스트림 VR 지원 헤드 마운트 디스플레이에표시되는 영상은 하나의 영상 프레임을 반으로 나눠 왼쪽을 왼눈, 오른쪽을 오른눈에 할당해 각각 좌우 눈의 영상을 표시하는 사이드 바이 사이드 형식으로 그려냅니다.
비유하자면 VR 지원 HMD의 영상 프레임에서 전투기를 그릴 때 지오메트리 인스턴스 기능을 이용하면 한 번의 렌더링 파이프 라인만 실행해 왼눈에 보여줄 전투기를 프레임 왼쪽에 그리면서, 오른눈을 위한 전투기도 프레임 오른쪽에 그릴 수 있습니다. CPU를 통해 수행하는 렌더링 명령은 비행기 한대 분량이며, 지오메트리 인스턴스로 좌/우 눈에 알맞는 형태로 복제하고, 각각의 기체는 좌/우 눈의 시점에 맞춰 투영한 후 픽셀로 라스터라이저를 거칩니다. 이 때 왼눈에 맞춰 그린 이미지가 오른눈에 보이지 않도록 각각의 눈에 표시되는 오브젝트 클리핑을 주면 됩니다.
ISR에서 오가는 건 드로잉 명령의 발행인 드로우콜 뿐이기에 GPU 부하를 줄일 수 없습니다. 이는 파스칼 세대의 NVIDIA GPU가 지원해 지오메트리 부하까지 줄여주는 Simultaneous Multi-Projection과는 다른 기능입니다.
이 ISR에 대해 ARM는 Mobile Multiview라 말합니다. 즉 Mali-G72는 ISR이 Mobile Multiview라는 이름으로 지원하고 있다고 해도 됩니다.
덧붙여서 ISR 사실 Mali-G71에서도 실행할 수 있었습니다. Mali-G71보다 Mali-G72가 구체적으로 얼마나 높은 성능의 모바일 멀티뷰를 수행할 수 있느냐가 중요한데, ARM은 분명한 수치를 내놓지 않았습니다.
언리얼 엔진 4 문서에 나온 이미지. 왼눈을 그리고 오른눈을 따로 그리는 2패스 렌더링(왼쪽)과 ISR(오른쪽)의 비교
두 번째 ASTC는 Adaptive Scalable Texture Compression(적응형 확장 텍스처 압축)의 약자로 핵심 텍스처 압축 기술의 이름입니다.
ASTC는 ARM이 개발한 하이 다이나믹 레인지(HDR) 텍스처 압축에 대응하는 텍스처 압축 기술로서 OpenGL ES 3.0에서 표준 기능(정확하게는 표준 확장 사양)에 포함됐습니다.Mali-G71 뿐만 아니라 Mali 시리즈의 거의 모든 ASTC를 지원하고 있기에 Mali-G72의 새로운 기능으로 여기에 나오는 게 다소 이상해 보입니다. 앞의 모바일 멀티뷰도 그렇지만 ARM이 개발한 기술을 Mali-G72 슬라이드에 반 강제로 넣는다는 느낌을 주고 있습니다.
세 번째인 Multisampling Aliasing(멀티샘플링 앨리어싱)은 MSAA라는 단어로 알려진 현대의 실시간 그래픽 스타일 안티 앨리어싱 기술입니다. 이것도 ARM만의 기술은 아니긴 한데.. 샘플 수가 많은 MSAA의 처리 성능이 기존 Mali-G71보다 향상했다는 나름의 이유가 있어 네번째 요소로 넣었습니다. 성능 향상의 이유는 Mali-G72의 개선(나중에 설명)과 관계가 깊습니다. 다만 이것도 얼마나 향상됐는지 숫자로 표현하진 않았습니다.
네 번째 Foveated Rendering은 VR에 친숙한 분이라면 잘 알 기능입니다. 안구 내벽에는 시각 세포가 깔려있는 망막이 있는데, 거기에서도 시각적 해상도가 가장 높은 영역인 중심와를 Fovea라고 합니다.
Foveated Rendering은 이 중심와에 맞춰 고품질 영상을 그려내는 기법으로, VR에서는 시선이 향한 영역을 고품질로 그려내고 다른 부분은 품질을 낮추는 기술을 가리키곤 합니다.
사실 이 역시 Mali-G72의 발전과는 관계가 적으며 이론적으로는 Mali-G71에서도 지원할 수 있는 기술입니다. 현재 주목하는 VR의 새로운 기술을 지원해 나가고 있음을 보여주고 싶었다는데, 핵심 키워드 4개 중 3개가 Mali-G72만의 것은 아닌 셈.
5월에 공개된 ARM이 지원하는 VR 관련 기술 동영상. 이 동영상과의 일관성을 위해 Mali-G72 발표회에서도 이 슬라이드를 사용했습니다.
고품질 모바일 게임 경험
모바일 게임의 그래픽도 갈수록 고급 렌더링 메소드를 쓰도록 변화했으며, 최근 게임은 대부분 콘솔 게임기와 같은 기술을 쓰기도 합니다.
발표회에선 Digital Legends Entertainment의 Afterpulse가 스마트폰 게임 중 가장 발전한 그래픽이라고 거론했는데, SIGGRAPH 2016의 Realtime Live!에서도 게임 그래픽이 여기까지 도달했다며 극찬한 바 있습니다.
SIGGRAPH 2016 Real-Time Live!에서 시연한 Afterpulse 렌더링 기술
Mali-G72 발표회에서 Jem Davies는 "이러한 최신 스마트폰 게임 그래픽을 고성능으로 처리할 수 있는 개선이 Mali-G72에 이루어졌다"고 말했는데요. 더 자세히 설명해 달라고 하니 타일 버퍼를 2배로 늘렸다고 간단히 답했습니다. 이게 무슨 소릴까요.
ARM의 Mali 시리즈와 Imagination Technologies의 PowerVR은 모두 타일 기반 렌더링을 사용합니다. 스마트폰의 임베디드 GPU는 그래픽 메모리(UMA는 메인 메모리)에 대한 액세스를 최대한 줄이려 합니다. 임베디드의 그래픽 메모리 버스 폭이 좁아 속도가 느리기 때문에, 그리고 그래픽 메모리를 대량으로 사용하면 소비 전력이 늘어난다는 이유도 있습니다.
그래서 타일 기반 렌더링은 화면을 16x16 픽셀의 타일로 구분해 각각의 타일 단위로 렌더링합니다. 구체적으로는 타일마다 전용 초고속 내장 메모리를 둬서 Z 버퍼를 처리하거나, 픽셀 쉐이더에서 출력한 픽셀 컬러 데이터를 처리해 그래픽 메모리의 액세스를 줄이는 것입니다. 예전에는 프레임 버퍼와 Z 버퍼 수준의 용량밖에 없었으나, 시대가 흐르면서 타일 메모리 용량이 늘어나고 있습니다.
그런데 실시간 3D 그래픽에선 이미 렌더링된 영역에 새로 데이터를 쓰거나, 마지막까지 쓰지 않는 오브젝트가 등장하곤 합니다. 이때 타일 기반 렌더링에선 타일 전용 초고속 내장 메모리에서 렌더링 작업을 끝내도록 해 GPU 외부의 그래픽 메모리에는 타일 렌더링이 끝난 후 한번만 액세스하도록 합니다.
앞에서 소개한 Afterpulse 같은 게임도 마찬가지로, 최신 게임 그래픽에서는 Deferred Rendering을 많이 쓰는데, 이는 Mali 나 PowerVR같은 타일 기반 렌더링 아키텍처의 GPU와 잘 맞지 않습니다. Deferred 렌더링은 픽셀의 색상을 결정하는 텍스처의 적용이나 라이팅, 쉐도우 등의 작업을 뒤로 미루고, 먼저 각 픽셀에 맞춰 라이팅과 쉐이딩 계산에 필요한 중간 매개 변수를 출력합니다.
이때 대상 버퍼는 지오메트리의 첫 글자를 따 G-Buffer라는 이름이 붙는데, 이 G-Buffer는 최종 표시 영상과 같은 해상도로 출력되거나, 혹은 가로/세로로 절반 정도나 그보다 더 낮은 해상도로 출력하는 경우도 있습니다.
어쨌건 이 과정은 여러 버퍼에 동시 수행하는데, 법선 벡터와 반사 강도, 확산 반사 요소 등의 3가지 중간 매개 변수를 출력한다면 3개의 버퍼에 동시에 렌더링을 해야 합니다. 이는 Multi Render Target라는 기능을 활용해서 이루어지는데, 다이렉트 X와 OpenGL의 최신 버전에선 최대 8개의 버퍼에 작업을 수행합니다.
이 G-Buffer 렌더링을 타일 기반 렌더링에서 처리한다면 앞서 설명한 타일 전용 초고속 메모리의 용량이 부족합니다. 그럼 부족한 만큼 그래픽 메모리를 사용하며, G-Buffer 출력은 당연히 늦어집니다.
Mali-G72는 이 문제를 해결하기 위해 타일 전용 초고속 메모리를 2배로 늘렸습니다. 그리고 이게 타일 버퍼지요. Mali 시리즈의 아키텍처는 MRT를 써서 G-Buffer 렌더링을 할 때 Pixel Local Storage라는 기능을 활용, 여러 버퍼 사이에 각각의 중간 매개 변수를 출력해서 성능을 높이지만, 이 PLS가 타일 버퍼를 사용합니다.
Deferred 렌더링 기반의 게임을 MRT를 써서 G-Buffer 렌더링하면 쓰기 대역폭을 42% 절약할 수 있습니다. 여기에서 PLS를 쓰면 대역폭은 48% 줄여 총 68%를 절약합니다.
PLS 기능은 OpenGL ES 3.0를 지원하는 앞으로의 Mali 시리즈에서 지원하며, OpenGL ES 3.0의 확장 기능 취급을 받습니다. 앞에서 MSAA 성능 향상을 꼽은 것도, 타일 버퍼의 용량이 늘어나면 높은 해상도의 Z 버퍼와 픽셀 버퍼를 타일 버퍼에서 조달할 수 있어서입니다.
Mali-G72는 타일 버퍼를 강화한 Mali-G71인가
"Mali-G72의 가장 큰 변경점은 Mali-G71보다 2배의 타일 버퍼를 탑재한 것이라 이해해도 되는가?"라고 물어보자 "기본적으론 그렇지만 그 외에도 수백개에 달하는 개선점이 있다"고 답했습니다. 한정된 시간 안에 이 몇백개를 다 막하진 못할테니 일부만 설명해 줬는데, L1 캐시의 용량 증가(얼마나 늘었는진 밝히지 않음), 제곱근과 삼각 함수 등 초월 함수의 고속화 등을 거론했습니다.
Mali-G72는 기본적으로 Mali-G71의 마이너 체인지 버전입니다. 화려하고 새로운 기능과 아키텍처 혁신은 없으나, Mali-G71의 약점은 확실히 개선했기에 Mali-G71을 대체할 제품으로 쓰이게 될 것입니다. 같은 크기의 실리콘 칩에서 20%의 성능 향상을, 전력 효율은 25% 높였으니 회로 설계에서도 상당한 최적화가 진행됐을 것입니다. 그리고 이게 수백가지의 개선점에 쓰였겠지요.
