컴퓨터 그래픽과 인터랙티브 기술 관련 학회인 SIGGRAPH가 열렸습니다. 개최지는 매번 바뀌는데 올해의 SIGGRAPH 2019는 로스 앤젤레스 컨벤션 센터에서 개최됐습니다. 내년은 워싱턴 DC입니다.

 

첫날인 7월 28일에는 Are We Done With Ray Tracing?(https://sites.google.com/view/arewedonewithraytracing )이라는 제목의 세션이 열렸습니다. 그 중에서도 게임 그래픽의 미래에 대해 소개한 From Raster To Rays In Games를 보고자 합니다.

 

게임 그래픽의 역사를 통해 고찰하는 앞으로의 모습

 

 

강사는 NVIDIA의 Morgan McGuire 

 

 

우선 게임 그래픽의 신기술의 등장과 확산에 대해 봅시다. 아타리 8000이 나오고 5년 후 닌텐도 패미컴이 나왔습니다. 세계 최초의 GPU(모든 그래픽 처리를 담당하는 프로세서. 지금까지 다이렉트 3D용 제품에선 지오메트리 처리를 CPU가 맡았습니다)인 지포스 256이 나온 후 5년 뒤엔 둠3처럼 특정 GPU(구체적으로 지포스 FX)가 아니면 모든 그래픽 요소를 쓰지 못하는 게임이 나왔습니다. 

 

2018년에는 세계 최초의 실시간 레이 트레이싱 지원 GPU인 지포스 RTX가 나왔으니, 이 흐름대로라면 5년 후인 2023년에 실시간 레이 트레이싱이 없으면 작동하지 않는 게임도 나올 것이라고 예상합니다. 

 

 

프로그래머블 쉐이더란 개념이 등장한 2000년 이후, 지금까지 게임 그래픽은 프로그래머블 쉐이더의 응용 기술 시대였습니다. NVIDIA는 이를 Raster Heroes라고 비유하네요. (지금까지도 이어진) 이 시대는 렌더링 단계에서 CPU를(경우에 따라서는 GPU까지) 사용해 오프라인 레이 트레이싱하는 식으로 미리 계산해 구축한 글로벌 일루미네이션 데이터를 런타임에 활용하는 방식이 대부분이었습니다. 프로그래머블 쉐이더 시대에서 레이 트레이싱이란 사전 계산을 위한 것이었습니다.

 

그것이 지포스 RTX가 등장한 이후 실시간 레이 트레이싱을 활용하는 연구가 빠르게 시작됐습니다(NVIDIA 주장이 그렇다는 말입니다). 배틀필드 V는 반들반들한 표면의 반사 효과를 만들기 위해 레이 트레이싱을 썼습니다. 메트로 엑소더스는 확산광의 글로벌 일루미네이션 적용에 레이 트레이싱을 썼습니다. 쉐도우 오브 툼레이더는 직접 조명의 그림자를 만드는데 썼습니다. 1세대 레이 트레이싱은 지원 게임은 레이 트레이싱 기술을 한가지 용도로 쓴 것들 뿐이었습니다. 

 

 

8월 말에 출시되는 레미디의 컨트롤에서는 다음 단계로 넘어갑니다. 컨트롤은 앞의 세 가지 게임에서 레이 트레이싱으로 실현했던 모든 그래픽 요소와, 거기에 추가해서 다른 부분까지 레이 트레이싱으로 실현했기에 레이 트레이싱 기술이 핵심인 그래픽 디자인이 이루어졌다고 볼 수 있습니다. 

 

다만 레이 트레이싱을 지원하지 않는 GPU가 아직은 더 많기 때문에, 컨트롤의 그래픽 요소는 레이 트레이싱을 쓰지 않는 경우를 대비한 대체(Fallback) 기술도 구현했습니다. 이렇게 대체 기술을 넣다보니 보통의 게임 개발보다 더 많은 노력이 필요하지만, 앞으로 레이 트레이싱 지원 GPU가 주류 제품이 된다면 그럴 일은 없겠지요. 또 레이 트레이싱을 지원하지 않는 GPU에서 사전 계산과 렌더링 준비 작업까지 할 필요가 없어지니 개발에 필요한 노력은 더욱 줄어들게 됩니다.

 

 

그리고 2035년부터는 게임 그래픽에 패스 트레이싱이 도입될 거라는 예측도 했습니다. 패스 트레이싱은 레이 트레이싱의 한 가지 방법으로 빛의 경로를 조사합니다. 레이 트레이싱을 확장한 거라고 할 수도 있겠네요. 현재 영화의 컴퓨터 그래픽은 거의 모두가 패스 트레이싱을 사용해 렌더링합니다.

 

이론적으로는 광선을 추적해 무한한 숫자의 광선을 조사할 수 있으며, 그렇게 하는 게 이상적이지만 그건 힘드니 임의의 방향으로 광선을 조사하는 확률에 근거한 방식을 주로 씁니다. 이렇게 조사한 광선의 수가 적을수록 렌더링 결과에서 오차가 늘어납니다. 좋은 영상을 얻기 위해서는 노이즈를 줄이거나 렌더링 시간을 늘려 더 많은 광선을 계산해야 하지만, 게임 그래픽에서 이 방법을 쓰려면 전용 하드웨어를 탑재해 실시간 렌더링할 수 있는 수준으로 만들어야 합니다. 그게 15년 후에 실현 가능할 것이라고 보고 있습니다. 

 

 

그럼 패스 트레이싱 시대를 맞이하는 2035년까지 게임 그래픽은 어떻게 진화해 나갈까요? 우선 레이 트레이싱과 라스터라이저가 공존(Coexist)하는 시대에서, 라스터라이저와 레이 트레이싱을 함께 사용하는 시대로 변해나갈 것이라 예측합니다. 두 기법이 공존하는 시대는 레이 트레이싱을 적극 지원하나, 레이 트레이싱을 지원하지 않는 하드웨어를 위한 솔루션을 꼭 필요한 시대입니다. 특정 게임 그래픽 표현에 라스터라이저나 레이 트레이싱을 쓰는 방법이 공존하는 것입니다. 

 

하이브리드 시대는 특정 그래픽을 표현할 때 레이 트레이싱이 좋은지 라스터라이저로도 문제가 없는지를 파악해 적재적소에 배치하는 시대입니다. 직접 조명에 의한 라이팅과 쉐이딩은 라스터라이저로 렌더링해도 문제 없으나, 반사 이미지나 거울 이미지는 레이 트레이싱이 훨씬 더 뛰어납니다. 이 시대가 되면 지금처럼 화면 좌표를 통해 포스트 효과와 반사 이미지를 생성하는 Screen Space Reflection(Realtime Local Reflection)같은 기법은 쓰지 않을지도 모릅니다.

 

 

게임 그래픽에 레이 트레이싱을 도입하기 전에 해결해야 할 4가지 문제

 

지금까지 게임 그래픽은 프로그래머블 쉐이더 기술의 응용과 연구를 통해 발전해 왔으며, 앞으로는 실시간 레이 트레이싱 기술의 도움으로 발전해 나갈 것이라 예측합니다. 하지만 그 길은 쉽지 않습니다. 왜냐면 게임 그래픽의 표현을 모두 실시간 레이 트레이싱으로 대체하려면 아직 해결해야 하는 문제가 남아 있어서입니다. 대표적인 문제 몇 가지를 보시죠.

 

 

우선 재질 표현(Material)의 문제입니다. 레이 트레이싱은 3D 공간에 광선을 쬐고, 특정 오브젝트와 충돌하면 그 주소를 판독합니다. 따라서 충돌한 부위의 재질에 따라 다른 처리를 할 필요가 있습니다. 그 재질이 복잡하다면 충돌할 때마다 표현에 관련된 계산이 필요합니다. 이 계산을 세밀하게 해야 하는지, 단순히 처리해도 되는지도 문제입니다. 

 

 

투명 값(알파 값)으로 표현하는 머리카락이나 식물의 잎 같은 재질은 텍스처가 적용된 폴리곤의 불투명 텍스처 부분이 실체가 됩니다. 레이 트레이싱으로 이런 폴리곤에 충돌했을 땐 알파 테스트를 진행해 불투명한지 투명한지(실제 물체와 충돌했는지 아닌지)를 판정해야 합니다. 이게 부하가 상당히 크기에 Level Of Detail(LoD) 개념의 도입이 필요할지도 모릅니다.

 

 

두번째 문제는 형상입니다. 현재 실시간 레이 트레이싱은 모든 3D 객체를 계층 직육면체 구조인 BVH(Bounding Volume Hierarchy)에서 관리합니다. 그럼 오픈 월드처럼 광대한 장면에서 BVH를 어떻게 다뤄야 할까요? 지금은 소프트웨어로 처리하지만 나중에는 하드웨어 처리하자는 개념을 연구 중인 듯 합니다.

 

 

게임 세계에 존재하는 3D 오브젝트의 애니메이션을 어떻게 적용하는지도 문제입니다. 인간 캐릭터는 손을 벌리거나 달리는 등 여러 자세를 취합니다. 게임에선 각각의 캐릭터의 뼈를 움직어 자세를 바꾸는 애니메이션 처리를 합니다. 라스터라이저에선 화면에 보이는 일정 거리 범위 안의 캐릭터에서 이렇게 처리하면 되는데, 뒤에 있는 캐릭터가 앞의 거울에 비춘다면 그것까지 애니메이션 처리해야 하는 상황이 생깁니다. 여기에 맞춰서 LOD 시스템을 도입할 필요가 있습니다. 

 

 

 

세번째는 조명/그림자, 네번째는 샘플링의 문제입니다. 수많은 광원이 있다고 가정했을 때, 특정 픽셀이 영향을 받는 광원이 어디까지인지를 정해야 합니다.

 

 

적은 수의 광선으로 레이 트레이싱을 구현했을 때 렌더링에 생기는 노이즈를 어떻게 해결해야 하는지도 레이 트레이싱에서 중요한 문제입니다.

 

 

자동차 헤드라이트 안에서 반사되는 이미지처럼 복잡한 반사 경로를 재현하고, 머리카락, 액체, 유리 등에서 굴절하거나 투과하는 등 재질에 따른 조명 변화도 문제입니다. 이걸 게임 그래픽에서 어디까지 처리하는지도 어려운 문제입니다. 

 

 

실시간 레이 트레이싱을 게임 그래픽에서 썼다고 해도 아직은 1세대입니다. NVIDIA는 위에서 언급한 문제들은 전세계 게임 개발자와 하드웨어 개발자들이 대안을 마련해, 앞으로 실시간 레이 트레이싱 기술이 빠르게 보급리라고 봅니다. 

 

프로그래머블 쉐이더 시대의 게임 그래픽도 처음에는 그림자 생성, 글로벌 일루미네이션, 미러 이미지를 만들기 어렵다고 여겨졌으나 나중에는 이를 해결할 독특한 기술들이 고안됐으며, 효과가 떨어지는 일부 기술은 도태되기도 했습니다(그림자 생성에서 스텐실 볼륨은 쉐도우 맵핑으로 대체됨). 실시간 레이 트레이싱도 여러 신기술이 발표되고 서로 경쟁하며 도태될 것입니다.