GDC(Game Developers Conference) 2018의 첫날인 2018년 3월 19일에, AMD와 NVIDIA가 공동 주최한 기술 발표 세션인  New Techniques for Accurate Real-Time Reflections에서 마이크로소프트는 레이 트레이싱 파이프라인을 다이렉트 X에 통합한다고 발표했습니다. 그 이름은 DirectX Raytracing, 줄여서 DXR입니다.

 

 

지금까지의 레이 트레이싱

 

지금까지 실시간 3D 그래픽에선 라스터라이저라는 렌더링 파이프라인을 사용했습니다. 3D 공간에 존재하는 개체를 폴리곤 단위로 처리하고, 라스터라이저를 써서 각각의 폴리곤을 픽셀로 분해, 여기에 픽셀 라이팅(빛의 효과)와 그림자(재질의 특성, 라이팅의 연동으로 색상을 반환 처리)을 실행하는 식입니다.

 

라스터라이저는 시점에서 보이는 다각형 외에 나머지는 렌더링 파이프라인에서 버려버리는 대담한 최적화 기법을 사용합니다. 그래서 화각에 포함되지 않는 건 존재하지 않는 거라 판단합니다. 

 

 

PS4용 게임인 기어즈 오브 워입니다. 이 스크린샷에선 숲의 나무가 그려져 있으나, 화면 밖에 있는 수많은 나무는 렌더링 이전 단계에서 파기됩니다. 또 캐릭터의 오른손은 앞의 나무에 가리니 덮어쓰기 단계에서 누락됩니다.

 

 

시야 밖에 있는 3D 오브젝트를 파기. Microsoft DirectX Developer Blog의 Announcing Microsoft DirectX Raytracing에서.

 

라스터라이저는 시점에서 직접 보이는 것만 빛/그림자 처리를 하니, 시점에서 보이지 않는 건 렌더링을 제대로 처리하지 못합니다. '그럼 보이지 않는 것까지 신경써야 하나?'라고 생각할 수 있는데, 그래야 할 경우가 종종 있기도 합니다. 

 

예를 들어 영상이나 사진에서 '발 밑의 수면에 비치는 나무의 잎'이 있습니다. 시야에선 수면만 보여도 거기에 비치는 수많은 물체는 화면의 시야 밖에 있는 것들입니다. 

 

 

파이널 판타지 XV. 화면 밖에 있는 큰 간판의 그림자가 도로에 비추고 있는데, 화면에서 생략된 그림자를 넣기 위해 따로 그림자 생성용 렌더링 파이프라인을 실행합니다. 

 

이를 라스터라이저로 표현할때는 미리 만들어 둔 환경 맵 텍스처를 써서 비슷하게 재현해야 합니다. 제 3의 오브젝트에 가려 만들어지는 그림자 생성이 자동으로 되지 않기에, 무언가에 의한 그림자를 화면에 그리기 위해선 따로 그림자만 만들어내는 렌더링 파이프라인을 실행해야 합니다.

 

 

시야 밖의 3D 오브젝트가 시야에 그림자를 만들 경우, 이를 라스터라이저로 표현하는 그림자 생성용 렌더링 파이프라인을 따로 실행합니다. 

 

반면 레이 트레이싱은 구조가 조금 다릅니다. 화면 안에 그려내는 픽셀은 물론, 화면 밖의 3D 오브젝트까지 고려합니다. 레이 트레이싱에선 픽셀을 그리는 시점에서, 이 픽셀을 통과하는 시선을 그립니다. 이것이 Ray입니다.

 

이 레이가 개체에 충돌할 때까지 3D 공간을 진행시켜 나가고, 충돌하면 해당 3D 개체 표면 재질에 따라 빛과 그림자의 연산을 실행합니다. 여기까지는 라스터라이저 렌더링과 비슷하나, 레이 트레이싱은 '충돌한 3D 객체'에서 시선을 더 진행할 수 있습니다. 

 

 

레이 트레이싱에선 시야 밖의 객체가 주는 영향까지 고려합니다. 레이가 충돌한 위치에서 다른 방향으로 레이를 꺾을 수도 있는데, 이는 간접 조명(Global Illumination, 간접 조명) 표현에서 빠질 수 없는 구조입니다.

 

 

시선이 반사되는 방향으로 레이를 생략하고 그 앞에 있는 다른 3D 오브젝트와 충돌하면 거기에서 빛과 그림자를 계산합니다. 그리고 그 계산 결과를 빛이 반사된 위치에 적용하면 '해당 객체 표면에서 비쳐진 이미지'가 나오게 됩니다.

 

지금 소개한 사례에선 빛이 반사되는 방향을 이야기했으나, 광원 방향으로 빛이 나가 다른 3D 객체와 충돌하면 그림자의 표현이 됩니다.

 

정리하면 라스터라이저는 처리 부하가 낮지만 렌더링 결과에서 생략되는 부분이 크고, 레이 트레이싱은 처리가 복잡하지만 매우 정확한 렌더링을 얻을 수 있습니다.

 

 

DXR 아키텍처

 

그럼 DXR은 뭘까요? 한마디로 정의하면 '복잡하면서도 정확한 결과를 얻는 레이 트레이싱을 다이렉트 X 12에 통합한 것'이 됩니다. 

 

 

Max McMullen(Principal Development lead for Direct3D)

 

다만 이 레이 트레이싱의 통합은 기존의 라스터라이저를 부정하거나 쓰지 않는다는 말은 아닙니다. 마이크로소프트도 '처음에는 라스터라이저의 단점을 보완하는 식으로 이용할 것이라 예상'한다고 말합니다.

 

우선 DXR은 3D 오브젝트가 존재하는 3D 공간을 상단Top/하단Bottom의 2단계로 정의합니다. 하단에는 3D 개체를 형성하는 실제 데이터(책상, 의자, 나무, 돌 같은 다각형 폴리곤)입니다. 상단에는 이런 3D 객체의 인스턴스 데이터로 구성됩니다.

 

하나의 3D 장면에서 같은 의자가 여럿 배치되고, 저마다 다른 색에 다른 방향으로 배치되면, 상단에는 다수의 의자 모델을 지정하는 텍스처, 좌표, 방향 정보 차이를 설정합니다. 

 

이 때 이 3D 장면의 정의는 Bounding Volume Hierarchy를 이용합니다. 표면에 반사된 빛의 초기 충돌 판정을 Bounding Volume 단위로 수행하는 것입니다.

 

 

그 다음 단계는 레이 트레이싱 렌더링 파이프라인의 생성입니다. 왜 이걸 만드냐면 라스터라이저와 레이 트레이싱은 처리 과정이 비슷하면서도 서로 다르기 때문입니다.

 

라스터라이저의 렌더링 파이프라인의 경우, 뎁스 쉗우로 그림자를 생성하는 단계라면 텍스처 적용이 안되고, 광원의 위치에서 장면을 보고 결정한 화각에서 보이는 형태만 그릴 수 있습니다. 일반적인 시점에서 그리려 해도 텍스처 기반의 3D 객체를 먼저 그리고, 여기에 반사되는 부분의 렌더링은 그 다음 렌더링이 됩니다.

 

이에 비해 레이 트레이싱은 반사된 빛이 3D 개체에 충돌하면 그 3D 객체가 보통의 텍스처인지 표면의 텍스처인지를 구분하지 않고, 빛과 그림자의 계산을 해야 합니다. 따라서 질감 등의 3D 장면에서 정의되는 모든 텍스처 정보를 준비해야 합니다. 그래서 명시적으로 파이프라인을 만드렁야 합니다.

 

3단계는 실제로 빛이 발송되는(Dispatch Rays) 단계입니다. 기존의 라스터라이저에서 말하는 DrawCall이라고 봐도 됩니다. 지금까지의 다이렉트 X는 쉐이더 프로그램을 HLS (High Level Shader Language)로 만들었으나, DXR은 새로운 형태의 HLSL 프로그램을 만들게 됩니다.

 

하나는 실제로 빛이 만들어서 보내는 Ray-Generation 쉐이더입니다. 3D 장면에서 실제로 빛을 진행하기에 메인 루프입니다. 이렇게 나온 빛이 어느 3D 객체에 충돌하면 Hit 쉐이더 처리가 실행됩니다. Hit 셰이더에서는 빛이 충돌한 대상의 재질을 가지고 빛과 그림자 계산을 수행합니다. 텍스처를 읽어 적용하기에 기존의 라스터라이저에선 픽셀 쉐이더와 비슷한 역할이기도 합니다.

 

3D 객체에 빛이 충돌해 재질의 처리를 마친 후에도 빛이 더 나아가 충돌한다면 Any Hit 쉐이더를 활용합니다. 빛이 3D 개체에 충돌할 때마다 갖고 있던 색상값을 줄이면서도 점점 빛을 전진시켜나가면 반투명 표현이 됩니다. 또는 광원을 향해 빛을 진행하고 3D 객체와 충돌한 시점에서 제로 에너지로 돌아가면 그림자를 만들게 됩니다.

 

생성된 빛이 어떤 3D 객체외도 충돌하지 않고 3D 장면을 뚫고 지나가면 Miss 쉐이더를 시작합니다. '구름이 떠있는 하늘' 등의 텍스처를 갖고 온다면 가장 멀리 있는 배경 화면을 그리게 됩니다.

 

 

DXR는 다이렉트 X 12세대의 GPU에서 동작. 출시는 가을

 

이상이 DXR 아키텍처입니다. NVIDIA의 CUDA 기반 레이 트레이싱 엔진인 OptiX와 구조가 비슷해 보이는데, 현대적인 프로그래머블 레이 트레이서는 모두 이런 식으로 구현되는 것일지도 모릅니다.

 

그럼 이제 DXR을 어디에 쓰느냐가 중요한데, 서두에서 말한대로 '보통 장면'은 기존의 라스터라이저로 만들고, 그림자의 생성 부분을 DXR에서 맡게 될 듯 합니다. 지금 게임 그래픽에서 그림자를 만들 때는 뎁스 쉐도우 기법을 사용하는 것이 일반적이나, 그림자 생성에 만드는 쉐도우 맵의 해상도가 낮으면 그림자의 jaggies가 눈에 띈다는 단점이 있습니다. 레이 트레이싱이라면 최상의 해상도로 만들어내니 장점이 큽니다.

 

 

SEED - Project PICA PICA - Real-time Raytracing Experiment using DXR (DirectX Raytracing)

 

EA는 개발 중인 게임 엔진인 SEED에서 DXR을 사용하며, 그 성과를 시연하는 프로젝트로 PICA PICA 라는 게임 데모를 발표했습니다. 이걸 보면 게임 그래픽의 어느 부분에서 레이 트레이싱으로 대체되는지를 알 수 있습니다. 

 

표면에 반사되는 표현은 렌더링 결과에서 프레임을 사용, 화면 좌표에서 지극히 일부 영역만 레이 트레이싱을 수행해 반사 이미지를 얻는 SSR(Screen-Space Reflection)을 요새 많이 씁니다. SSR은 화면 밖에 있는 3D 개체를 화면에 비출 수 없으나, 레이 트레이싱이라면 이 문제는 해결됩니다.

 

 

주요 게임 엔진과 3D 벤치마크가 DXR을 사용한다고 발표

 

DXR은 2018년 가을에 정식 출시되며, 개발자 프리뷰는 발표와 동시에 공개됩니다. DXR을 지원하는 GPU는 다이렉트 X 12 기반이면 다 되는 듯 합니다. 실제 매커니즘에선 GPU의 컴퓨트 쉐이더(GPGPU 모드)에서 작동하기에, DXR 전용 쉐이더 코어가 필요하진 않습니다. 다만 스펙이 아직 확정되진 않았으니 어떤 GPU에서 어느 정도 하드웨어 가속이 될지는 확실치 않습니다.