마이크로소프트는 다이렉트 X 12에 레이 트레이싱 파이프라인을 통합한 DXR(DirectX Raytracing)을 발표하고, 주요 게임 엔진들은 이를 지원하고 나섰습니다. 게임 개발사 중에서도 DXR 지원을 표명한 곳이 있는데 맥스 페인과 퀀텀 브레이크로 유명한 레미디 엔터테인먼트도 여기에 포함됩니다. 

 

 

레미디는 퀀텀 브레이크의 개발에도 사용했던 자사 게임 엔진인 Northlight에 DXR을 포함한다고 Experiments with DirectX Raytracing in Remedy 's Northlight engine라는 세션을 통해 발표했습니다. 발표자는 Thomas Puha(Head of Communications, Remedy Entertainment)

 

 

기존의 좌표 반사(SSR, Screen Space Reflections)에서 실현하기 어려운 렌더링 효과들이 몇 보입니다. 화면 밖 풍경이 비춰보이는 표현, 투사 거리에 따라 그림자의 선명도가 달라짐, 보다 정확하고 안정적인 그림자, 간접 조명 등이 포함됩니다. 

 

 

DXR은 3D 장면을 탑과 바텀의 2가지 계층으로 나눠 관리합니다. 이 데모에선 다양한 크기의 소파가 등장하는데, 그 3D 모델의 형상 데이터를 바텀으로 정의합니다.

 

 

 

 

 

하나의 소파 모델을 다른 좌표에 배치하고 서로 다른 각도로 배치하는데, 이건 하나의 3D 모델을 사용하돼 인스턴스를 다르게 하는 식으로 취급합니다.

 

 

시선의 연장선상에 비춰진 빛은 화면의 각 픽셀에서 반사돼 3D 스페이스를 돌파, 탑의 BVH 구조에 충돌한 곳에서 3D 모델과 충돌하는지를 판정합니다. 충돌한 3D 모델이 있으면 실제 충돌 부분의 빛과 그림자 처리를 위해 Hit와 Any Hit 쉐이더를 실행합니다. 또 아무것도 충돌하지 않으면 Miss 쉐이더를 실행합니다.

 

BVH로 그룹화하는 이유는 3D 공간에서 3D 개체와 빛의 충돌 판정을 효율적으로 실시하기 위해서입니다. 이 장면에 등장하는 모든 오브젝트의 하나하나 판정하면 처리 부하가 너무 높아지지만, 이 기술을 사용하면 특정 빛과 충돌하지 않는 그룹을 효율적으로 제거할 수 있어 처리의 부담이 줄어듭니다.

 

 

앰비언트 오클루전을 DXR로 구현하면

 

 

위 이미지는 객체가 가려서 생겨난 그림자(Ambient Occlusion)를 그리는 방법을 비교한 것인데, 왼쪽은 기존의 렌더링-SSAO(Screen Space Ambient Occlusion), 오른쪽이 레이 트레이싱-DXR에 의한 것입니다. 

 

SSAO는 3D 장면을 그린 후에 심도 정보 버퍼(Z 버퍼)를 참조, 안으로 들어간 부분에 그림자를 붙여 나갑니다. 얼핏 보면 괜찮아 보이지만 소파의 안쪽 기둥 윤곽에 그림자가 없고, 다른 물건에 가려져서 어두워야 할 지구본 아래 부분이 밝아 보인다는 단점이 있습니다. 이것은 Z 버퍼가 요철 상태, 2.5D 개념에 근거해 그림자를 넣고, 실제로 3D 처리를 하지 않기 때문입니다. 그러나 DXR은 그런 문제가 없고 자연스럽습니다. 

 

또 소파 앞부분은 바닥에 너무 근접하면서 필요 이상으로 어두워집니다. 소파 다리 근처에 빛이 비춰져도 SSAO는 소파 밑에 항상 어둡습니다. DXR에선 소파 밑에 빛이 들어오는 부분은 다소 밝고, 중앙으로 갈수록 어두워지는 그라이데이션이 보입니다.

 

그렇다고 DXR이 완벽하냐면 그건 아닙니다. 이번에 Remedy가 구현한 DXR 기반 앰비언트 오클루전은 빛이 충돌하는 대상 오브젝트의 3D 개체에 접하는 평면에서 코사인 분포에 따라, 4m 범위의 빛이 가려지는 값을 요구하는 차폐 탐사 알고리즘으로 SSAO와 상당히 비슷한 방법입니다. 위 사례에선 앰비언트 오클루전을 만들 때 1픽셀마다 4개의 빛만 방출했습니다. 그걸 줄여서 1개씩만 방출한다 해도 풀 HD의 200만 픽셀이면 200만개입니다. 그럼 5ms의 부하가 걸립니다.

 

 

이건 품질의 변화를 확인하기 위해 1픽셀의 광선 수(Ray per pixel)을 1, 2, 4, 16개로 바꾼 결과입니다. 16rpp에선 SSAO에 가까운 수준의 품질이 나오나 처리 시간이 80ms(5ms x 16개)가 됩니다. 60fps로 리프레시해야하는 게임에서 1프레임의 렌더링 시간은 16.7ms니 이쯤 되면 실시간이 아니게 됩니다.

 

 

그림자를 DXR에서 만들면

 

다음은 그림자의 생성입니다. 현재 라스터라이저에서 그림자를 만드는 방법은 Depth Shadow 기법이 일반적인데, 이걸로 만들어지는 그림자는 '광원에서 3D 객체까지의 거리 정보를 텍스처에 출력한 쉐도우 맵의 해상도'에 따라 품질이 달라집니다. 넓은 야외를 그릴 땐 쉐도우 맵의 해상도를 늘리거나 Cascaded Shadow Maps로 여러장 만드는 방법을 씁니다. 

 

이 데모에선 광원이 되는 태양(평행 광원)을 향해 각각의 픽셀에서 1개씩 광선을 발사합니다. 광선이 첫번째 장애물에 충돌하면 그 근처의 같은 거리에 위치한 8개 픽셀에 무작위 샘플링을 수행하는 Blue Noise Sampling을 실행해 얼마나 가려지는지를 산출하고, 그 결과를 가지고 알맞은 농도의 그림자를 만들어냅니다. 

 

 

왼쪽은 라스터라이저가 Cascaded Shadow Maps를 사용해 만든 Depth Shadow 렌더링. 오른쪽은 DXR 기반 레이 트레이싱 그림자 생성 렌더링입니다. 얼핏 보면 별 차이가 없어 보이지만 자세히 보면 차이점이 많습니다. 

 

 

이번 데모에서 Depth Shadow로 만들어진 그림자는, 그림자를 그린 후 16개 픽셀을 샘플링해 블러 필터를 먹이는 방법((16PCF 16 Percent Closer Filter)을 쓰면서 그림자가 모두 흐릿합니다. 보기 나쁘진 않지만 정확한 묘사는 아닙니다. 반면 DXR은 의자 등받이와 테이블 위에 놓인 물건의 그림자가 선명합니다. 

 

현실 세계에서 그림자는 주변 빛의 영향이나, 광원 자체의 크기에 따라, 혹은 그림자의 투영 거리에 따라 그 짙고 옅음이 달라집니다. DXR로 만든 그림자는 레이 트레이싱에 의존하기에 투사 거리가 짧은 그림자는 더욱 선명하게 그려집니다. 다만 풀 HD의 200만 픽셀마다 광선을 1개씩 방출하면 4ms씩 걸리며, 광원마다 그림자를 만들어 낸다면 그 부하는 더욱 늘어납니다. 물론 특정 영역에 국한된 광원은 빛이 쬐이는 범위가 좁기에 부하가 그렇게 많이 늘진 않지만, 어쨌건 영향은 줍니다.

 

 

반사를 DXR로 표현하면

 

거울이나 수면 위에 비치는 반사 이미지를 그려내는 방법에 대해서도 설명했습니다. 이거야말로 레이 트레이싱의 특징이 나타나는 DXR의 활용입니다. 레이 트레이싱은 광선이 3D 오브젝트에 충돌하면 충돌 표면의 재질을 고려해 빛과 그림자를 처리합니다. 이게 Hit 쉐이더입니다. 이렇게 쓰면 간단하지만, 3D 오브젝트의 지오메트리 정보(폴리곤 데이터의 모임), 텍스처 데이터, 기타 다른 데이터를 모두 Hit 쉐이더에서 참조할 수 있도록 데이터를 관리해야 합니다. 

 

 

DXR을 통합한 다이렉트 X 12에선 레이 트레이싱을 위한 바인딩 시스템이 제공됩니다. Remedy의 경우 퀀텀 브레이크를 개발하면서 그림자와 조명에 필요한 데이터를 3D 개체마다 한 덩어리로 관리하는 방법을 게임 엔진인 Northlight에 채택했기에, DXR을 사용한 빛/그림자 시스템으로 전환이 그리 힘들지 않았다고 합니다. 

 

 

이건 반사 이미지를 DXR의 레이 트레이싱으로 그려낸 것.

 

 

기존의 렌더링 방법입니다. 라스터라이저에서 필수인 반사 이미지 생성 기법인 SSR(Screen Space Reflection)로 만들었습니다. SSR는 해당 프레임에서 대칭 방향의 데이터를 생성해 그려냈습니다. SSR은 그 특성상 화면 밖에 존재하는 객체를 그려내지 못합니다. 그래서 중앙 스탠드와 우측 구조물 등의 표현이 확연히 달라집니다.

 

 

레이 트레이싱으로 만든 반사 이미지를 적용한 렌더링

 

 

SSR의 반사 이미지를 사용한 렌더링. 

 

이렇게 반사 이미지를 재대로 표현하려면 해당 표면의 그림자와 조명 처리를 제대로 해야하며, 시선에서 반사되는 방향으로 투사된 광선이 시야 밖의 3D 개체(천장이라던가)와 충돌하고, 또 그 표면에 대한 조명과 그림자 처리까지 해야 합니다. 그래서 위에서 말한대로, 다양한 데이터를 Hit 쉐이더가 참조할 수 있도록 데이터 접근성이 중요합니다. 

 

 

광선의 진행 거리

 

 

텍스처 맵핑 좌표의 시각화

 

 

확산 반사율

 

 

반사 이미지의 조명

 

 

프레넬 반사

 

 

프레넬 반사와 조명 결과를 더함

 

 

최종 출력

 

그리고 사전 계산 기반의 확산광 글로벌 일루미네이션과 DXR 기반 앰비언트 오클루전을 Northlight 엔진에 통합하면서 따로 튜닝도 했습니다. 기존의 라스터라이저 렌더링과 DXR의 레이 트레이싱 렌더링을 보다 자연스럽게 합치기 위해 튜닝이 필요합니다.

 

 

픽셀 당 1개의 레이 트레이싱을 수행. 빛이 부자연스럽습니다.

 

 

밝은 픽셀에 3개의 레이 트레이싱을 하면 좀 더 자연스러워집니다. 

 

DXR의 활용이 새로운 게임 그래픽 실현에 도움을 주지만, 그래픽 엔진에 새로운 튜닝 요소가 필요해진 감도 있습니다. 다만 GPU에 새로운 성능 강화의 방향성을 제시했다고도 할 수 있습니다.