게임 개발자 컨퍼런스(Game Developers Conference, GDC)는 게임에서 앞으로 트렌드가 될 것 같은 분야에 대한 세션이 다수 있습니다. GDC 2015에서의 가장 큰 트렌드는 가상 현실(VR)이지요. 여기에선 VR의 기술의 최적화와 새로운 표준에 대한 내용을 일부 소개하겠습니다.

 

 

모바일 게임을 3개월 동안 작업해 VR HMD용으로 컨버팅한 개발자가 말하는 최적화 포인트

 

 

Dead Secret이라는 모바일 게임을 VR 헤드 마운티드 디스플레이(HMD) 용으로 컨버팅한 경험담의 소개입니다. 제목은 Designing for Mobile VR in Dead Secret.

 

 

Chris Pruett(Chief Taskmaster, Robot Invader)

 

강연자는 실리콘 밴리에 위치한 게임 스튜디오인 Robot Invader의 개발자, Chris Pruett입니다.

 

 

데드 시크릿은 로보 인베이트가 스마트폰과 태블릿을 비롯한 모바일 디바이스로 개발 중인 살인 미스터리 게임입니다.

 

 

개발은 2013년에 시작했다고 하네요. 저택을 탐색해 수수께끼를 풀어나가는 식.

 

 

부적이나 능력을 사용하기도 합니다.

 

 

데드 시크릿은 2014년 10월에 오큘러스 VR이 발표한 오큘러스 모바일 SDK를 받아 모바일 디바이스와 VR의 HMD를 지원하도록 만들었습니다.

 

 

VR 지원을 추가하는 데 걸린 시간은 3개월. 사용자 인터페이스와 게임 코드를 전면적으로 재구축했다는데, 그 3개월 동안 뭘 했는지를 봅시다.

 

 

먼저 사용자 인터페이스입니다. 데드 시크릿은 원래 모바일 디바이스 전용 애플리케이션이다보니 터치, 스와이프, 쉐이크 등의 방법으로 조작하게 됩니다. 허나 머리에 썼을 때 밖을 볼 수 없는 VR HMD의 경우 그렇게 조작할 수 없습니다.

 

그래서 조작을 단순하게 만들었다고 하네요. VR HMD를 써도 PC에선 키보드, 마우스, 게임 패드가 필요하지만 모바일 VR은 그렇지 않으며, 여기에선 탭만 사용해서 인터페이스 조작을 하도록 수정했다고 합니다.

 

문을 열고 닫는 조작을 예로 들어보면 모바일 버전에선 스와이프를 해야 열리지만, VR 버전에선 탭만 하도록 바꿨다고 합니다.

 

 

또 게임 중에 클리어해야 하는 미니 퍼즐의 조작도 탭에서 할 수 있도록 바꿨고, VR HMD에 알맞은 새로운 퍼즐을 추가하기도 했습니다.

 

 

다음은 게이머의 이동입니다. 데드 스크릿은 저택 안의 방을 이동하며 그곳의 수수께끼를 풀어가는 게임입니다. 따라서 방과 방 사이를 여러 차례 이동하지 않으면 안됩니다. 그럼 이걸 어떻게 해결했을까요?

 

기존의 게임에서 이동과 공간은 복잡하지만, 데드 시크릿은 이동은 간단하나 공간은 상당히 복잡하다고 합니다.

 

 

게임이라는 특성 상, 어디서 본것 같다는 느낌을 주도록 상황을 만들기 위해 맵을 다소 복잡하게 설계했다고 하네요.

 

 

하지만 단순한 이동이라 해도 VR 게임에만 존재하는 문제가 있습니다. VR 게임은 이동에 따라 머리가 어지러워지는 3D 멀미가 생기기 쉽거든요.

 

 

그래서 데드 시크릿은 VR HMD를 지원하게 만들면서 동선을 최적화했습니다. 캐릭터가 직선이나 단순한 곡선으로 이동하도록 동선을 다시 디자인하고, 방의 한쪽 부분에서 특정 오브젝트를 향해 캐릭터가 단순히 움직이도록 만들었습니다. 이렇게 해서 3D 멀미를 줄인다고 하네요.

 

 

데드 시크릿은 모바일 디바이스용 게임이니 VR HMD를 써서 플레이를 해도 게임 자체는 태블릿과 스마트폰에서 동작합니다. 그래서 모바일 VR의 특징인 무선 사용을 게임 안에서 이동에도 응용했습니다.

 

모바일 디바이스와 VR HMD는 영상 전송용 케이블로 연결되니 완벽한 무선 환경은 아니나, 모바일 디바이스에 연결된 케이블은 영상용 뿐입니다. 전원이나 마우스에 케이블을 연결할 필요가 없습니다. 그러니 사용자가 제자리에서 한바퀴 돈다던가 하는 것도 가능하지요.

 

그래서 플레이어가 실내를 둘러봤을 때, 객체 위에 마커가 뜨도록 표시했습니다. 따라서 주위를 둘러보고 마커를 탭하면 쉽게 이동이 가능하게 되는 것입니다.

 

 

사용자 인터페이스에서 바뀐 부분 중에는 게임에 나오는 메시지나 텍스트의 최적화도 있습니다. VR HMD는 해상도가 낮아 스마트폰에서 보는 것처럼 텍스트를 표시하면 읽기 어려울 수 있습니다. 그래서 텍스트를 읽기 쉽도록 최적화해야 한다네요. 

 

 

VR 지원에서 가장 어려웠던 건 60fps 화면 표시입니다. VR에선 항상 60fps로 렌더링해야 하기에 렌더링 패스의 최적화가 큰 문제였다고 하네요. 프레임 레이트가 떨어지면 3D 멀미를 초래하는 원인이 되거든요.

 

 

 

상세한 최적화 기술을 설명하진 않았지만 렌더링 부하를 낮추는 기법을 소개했습니다. 예를 들어 데드 시크릿은 플레이어의 이동 범위가 미리 정해져 있다보니 렌더링되지 않는 부분도 미리 파악할 수 있습니다.

 

따라서 플레이어가 보게 되는 폴리곤 메시를 만들도록 하면 렌더링의 부하를 줄일 수 있습니다. 실제 폴리곤 메시는 방 내부를 포함해서 파노라마 형태의 데이터로 구성돼 있으며, 플레이어의 시선이 향하는 곳만 렌더링되는 구조입니다.

 

지금까지가 데드 시크릿의 VR HMD 대응의 요점입니다. VR HMD에서 게임을 해보지 않은 사람들이라면 감이 잘 오지 않겠지만, VR HMD를 위한 사용자 인터페이스 설계나 여기에 특화된 3D 멀미 대응책은 앞으로 중요한 요소가 될 것입니다. 특히 케이블에 속박받지 않는다는 모바일 VR의 장점을 눈여겨 봐야 할 것입니다.

 

 

밸브의 VR 렌더링 기술. 스팀 VR

 

 

밸브의 VR 시스템인 스팀 VR에서 쓰이는 기술을 Alex Vlachos(Graphics Programmer, Valve)가 설명한 강연, Advanced VR Rendering입니다. 1시간 정도의 길이지만 내용은 상당히 풍부한 편. 요점만 소개합니다.

 

 

스팀 VR용 HMD는 대만의 HTC가 발표한 Vive가 있습니다. 2160x1200 해상도(한쪽 눈에 1080x1200), 90Hz의 리프레시율, 110도의 시야각을 지닌 물건이지요.

 

  

밸브는 3년 전부터 VR에 대한 연구를 했었으며 위치 추적에 특히 신경을 썼습니다. 위 슬라이드에선 3가지의 프로토타입을 볼 수 있네요.

 

 

그렇게 나온 Vive는 추적 기능을 갖춘 2대의 베이스 스테이션과 짝을 이룹니다. 이들 베이스 스테이션을 방 구석에 1개, 반대편 구석에 1대 설치하면 방안 전체를 커버하는 넓은 범위에서 추적이 가능하다네요.

 

 

해상도는 한쪽 눈에 1080x1200으로 세로 방향이다보니 시야각이 다소 좁은 편입니다. 그래도 110도란 시야각은 오큘러스 리프트 DK1과 같은 수준. DK2나 모피어스는 100도니 그거보다도 높지요.

 

 

레이아웃은 가로세로 1.4배의 해상도(1512x1680)으로 만들어 왜곡 처리에서 최종 해상도로 변환한 후 디스플레이에 출력됩니다. 광시야각이라 렌더링 영역이 1.4배인 것입니다.

 

 

디스플레이는 빠르고 잔상이 낮은 패널을 씁니다. 1프레임을 표시하는 11ms 중 점멸 시간은 2ms 이하로 화면의 흔들림을 줄였다네요. 

 

 

1512x1680 해상도의 화면 2개를 90fps로 렌더링할 경우 GPU의 출력 능력은 457Mpixels/s에 달합니다. GPU의 부담이 결코 적지 않은데요. 

 

 

밸브는 이를 해결하기 위해 표시되지 않는 지역의 정보를 최대한 줄이는 스텐실 메시라는 방법을 써서 픽셀 수를 378Mpixels/s까지 줄였습니다. 이건 앞에서 소개한 글에서도 비슷한 내용이 나왔지요?

 

 

입체 영상을 만들기 위해선 좌우의 눈에 대응하는 이미지를 각각 렌더링해야 하는데, 거의 같은 걸 두번 렌더링하는 건 비효율적이기도 합니다. 이 부분은 다들 최적화를 진행중이지요. 이 점에서 밸버는 명령 버퍼 레벨에서 두번 보내, 이보다 앞선 부분을 공통화시키고, 명령 버퍼 이후, 즉 렌더링 부분은 각각 독립해 실행한다고 합니다. 

 

 

NVIDIA와 오큘러스 VR은 버텍스 쉐이더와 지오메트리 쉐이더까지 공통화시키도록 만들었습니다. 상당히 깊은 부분까지 최적화한 셈이지요. 밸브는 아직 구현된 것이 아니긴 하나, 한쪽 화면은 평범하게 렌더링하고 다른 화면은 instancing 기법으로 처리하자는 아이디어도 나왔습니다.

 

 

입력에서 렌더링까지의 지연을 어떻게 줄이는지는 VR에서 매우 중요한 항목입니다. 보통의 파이프라인은 3프레임(90fps에서 약 33ms)가 걸리지만, Vsync 후에 다이렉트 3D를 실행하니 데이터 전송에 걸리는 시간을 낭비하게 됩니다.

 

 

그래서 스팀 VR은 여러 최적화를 더해서 입력 후 2프레임 정도의 시간이면 렌더링이 되도록 파이프라인을 만들었습니다.

 

 

일반적인 VR HMD와 비교해서 해상도는 높지만 그래도 일반적인 디스플레이보다는 한쪽 눈에 보이는 정보량이 적습니다. 그래서 VR HMD에선 AA 처리가 필수라는 게 밸브의 생각인데요. 8x MSAA와 이방성 필터링을 권장한다고 합니다. 

 

 

그 외에 노멀 맵은 아직 죽지 않았다면서-

 

 

어떤 경우에서 쓰는지를 소개하기도 했습니다.

 

 

밸브의 강연에선 네이티브 90fps 동작을 고집하는 등, 전반적으로 고품질 게임 영상을 만드는 데 주력하는 듯한 인상을 주었습니다. HMD의 스펙도 타협이 적을 뿐더러 성능을 추구하고 있습니다. 여러 HMD 중에서도 재미있는 존재라 할 수 있겠네요.

 

 

AMD의 VR용 SDK, LiquidVR

 

 

AMD는 VR용 소프트웨어 개발 키트인 리퀴드VR(LiquidVR)를 발표했습니다. 설명은 Layla Mah(Head Design Engineer, AMD), 원래 둠 3에서 그림자 생성을 비롯해 라데온 최적화 작업을 수행했던 사람입니다.

 

 

리퀴드VR의 개발 목표는 이렇게 3개입니다. 쾌적하며, 호환성이 좋고, 매력적인 컨텐츠를 쉽게 만들 수 있도록 하자는 것. 모두 C로 시작하기에 AMD는 이를 3C라 부릅니다.

 

 

3C를 실현하기 위해 리퀴드VR SDK 1.0에선 크게 4가지 기능이 포함됩니다. Latest Data Latch(최신 데이터 실행), Asynchronous Shaders(비동기 쉐이더), Affinity multi-GPU(고효율인 멀티 GPU), Direct-to-Display(디스플레이에 직접 표시)가 그것입니다. 하나씩 보시죠.

 

 

Latest Data Latch는 VR HMD에서 머리 방향을 추적에 관련된 기능입니다. VR이 렌더링을 한 후 HMD에 표시를 한다면, 우선 현재 머리가 향하는 방향을 알아내서 그 쪽의 이미지를 렌더링해야 되겠지요. 렌더링에 걸리는 시간이 전혀 없다면 이게 문제가 아니지만 현실은 그렇지 않습니다.

 

그래서 최신 VR 기술에선 렌더링 시작 단계의 머리 방향을 알아내 렌더링을 한 후, 렌더링을 하는 동안 머리가 좀 더 움직이는 걸 상정해서 영상을 표시하기 전에 머리 방향을 알아내 영상을 보정하는 식입니다.

 

예를 들어봅시다. 사용자가 고개를 빠르게 흔들던 중에 렌더링이 시작됐다고 해 봅시다. 이 경우 GPU에서 영상을 레이아웃하는 도중에도 목이 한쪽 방향으로 움직이고 있을 테니, 레이아웃이 끝났을 때 나온 영상은 과거의 것입니다. 목은 더 왼쪽으로 가 있으니까요. 따라서 영상을 오른쪽으로 조금 더 움직여 표시하는 게 머리의 움직임과 맞을 것입니다. 

 

이러한 처리는 최근 VR에서 필수입니다. 오큘러스 VR은 타임워프, 소니는 Temporal Reprojection라 부릅니다. 또 실제로는 HMD에서 영상을 표시할 때 HMD의 광학계 왜곡을 보정하는 이미지 랩핑 처리도 동시에 들어갑니다. 어쨌건 이러한 타임워프 처리에서 필수 기능이 되는 것이 이 Latest Data Latch입니다.

 

 
Latest Data Latch는 머리 방향만 아니라 머리 위치(x, y, z로 구성된 3D 절대 좌표)도 지원합니다. 오큘러스 리프트의 DK2와 크레젠트 베이, 소니 프로젝트 모피어스는 모두 6축(6DoF)를 지원하는데, 이것과 조합하면 Latest Data Latch는 머리의 방향과 위치를 모두 취득할 수 있습니다.

 

 

상세한 설명은 없었지만 리퀴드VR의 스펙을 보면 HMD의 가속도 센서나 자이로스코프의 정보를 얻어 취합하는 시스템을 쓴 것으로 보입니다. 머리의 위치와 방향을 GPU가 원할 때 쉽게 얻어낼 수 있다는 것.

 

 

다음은 Asynchronous Shaders입니다. VR에서 타임워프 처리가 불가피하며, 그걸 위해선 머리 방향 정보가 필요하고, 그걸 얻어내는 기능이 Latest Data Latch라고 앞에서 말했지요. 허나 타임워프 처리에는 레이아웃한 영상의 변형 가공 처리가 필요합니다.

 

이 변형 처리는 실질적으로 3D 그래픽에서 렌더링한 결과를 상대로 하는 포스트 프로세서에 해당합니다. 그리고 이러한 포스트 프로세서는 대다수의 경우에 단순 처리를 병렬 반복함으로서 도입할 수 있어 GPGPU(Compute Shader)에서 감당하게 됩니다.

 

그래서 리퀴드VR에선 타임워프 처리에 필요한 레이아웃 처리는 물론 그 외 다양한 VR 처리를 GPGPU 적으로 구현해 라이브러리로 제공합니다. 이게 바로 리퀴드VR의 Asynchronous Shaders 기능입니다. 개중에는 글로벌 일루미네이션 같은 기능도 포함되네요.

 

 

타임워프 이미지 처리를 그래픽 렌더링 파이프라인에서 구현한 사례입니다. 시간은 왼쪽에서 오른쪽으로 흘러가며, 중앙의 점선은 수직동기화를, 와이어 프레임의 원은 타임워프 처리를 가리킵니다.

 

그림 윗부분은 렌더링이 수직동기화 이전에 끝난 사례입니다. 타임워프 처리를 해도 수직동기화로 맞춰지니 HMD에서 지연이 생기지 않습니다. 반면 아래쪽은 렌더링이 수직동기화 전에 끝났지만 타임워프 처리가 끝났을 때 수직동기화를 할 타이밍을 놓친 것입니다. 이 경오 HMD에는 이전 프레임이 계속 표시되고 새 영상은 이후의 수직동기화 때 표시되기에 화면이 요동치는(Judder) 느낌을 주게 됩니다.

 

 

그럼 Asynchronous Shaders에서는 어떻게 이걸 해결할까요. 렌더링이 수직동기화 직전까지 지연되고 그걸 그대로 타임워프 처리하면 화면이 요동칩니다. 그래서 이러한 상황이 나올 것이라고 예견될 때는 Asynchronous Shaders를 사용해 현재 실행되는 장면 렌더링과 함께, 현재 표시되는 영상과 머리 방향이 맞도록 타임워프 처리를 실시해 표시합니다.

 

물론 이는 영상을 정확하게 표시한다는 점에서 보면 사실상 프레임을 건너 뛰는 것이지만, 머리 움직임에 대응하지 못해 화면이 요동치는 것보다는 낫습니다. 최소한 영상에서 위화감을 느끼진 않거든요.

 

여기서 핵심은 그래픽 렌더링 파이프라인의 렌더링은 그대로 하면서 이전 영상에 대해 타임워프 처리를 하는 것입니다. 이것은 GCN 아키텍처 GPU에서 그래픽 렌더링에 영향을 주지 않으면서 동시에 다른 처리를 GPGPU에서 할 수 있다는 걸 활용하는 것입니다.

 

 

Affinity multi-GPU기능은 VR에 적합한 멀티 GPU 솔루션을 제공하는 것입니다. 여러 GPU를 갖춘 시스템에서 렌더링 성능을 강화할 때 가장 효율이 좋고 성능이 높은 건 AFR(Alternative Frame Rendering) 방식입니다. 2웨이 GPU 시스템이라면 한쪽이 홀수 프레임, 다른쪽이 짝수 프레임을 렌더링하고 이를 효율적으로 겹쳐 표시하는 것입니다.

 

그러나 VR의 경우 다음 프레임의 렌더링을 다른 GPU에서 렌더링한다 해도 표시할 때 타임워프 처리가 들어가야 합니다. VR의 경우엔 오히려 시간 축에서 잘라낸 장면의 렌더링을 빨리 끝내기 위해 여러 GPU를 쓰는 게 효과가 큽니다.

 

VR에선(3D 스테레오도 마찬가지지만) 특정 장면을 왼쪽과 오른쪽 눈에 맞춰 동시에 렌더링할 필요가 있습니다. 따라서 2개의 GPU가 있다면 각각 왼쪽/오른쪽 영상을 렌더링하면 독립되고 병렬 처리를 할 수 있기에 효율이 좋을 것입니다. 그리고 이것이 Affinity multi-GPU의 정체입니다.

 

 

Affinity multi-GPU의 장점은 애플리케이션이 2개의 GPU를 가정해서 설계를 할 필요가 없다는 것입니다. 평면 게임 그래픽의 AFR에선 각각의 GPU가 다른 시간축에 있는 장면을 렌더링하기에 최악의 경우 2개의 GPU가 완전히 다른 장면 데이터를 사용해 렌더링합니다. 그래서 GPU의 그래픽 메모리에 뭘 복사하고 뭘 넣어야 하는지를 따져야 할 필요가 있으며 애플리케이션은 이걸 신경 써야 합니다.

 

그러나 VR에선 왼쪽과 오른쪽 눈의 렌더링이 동일한 시간축의 장면을 그려냅니다. 다른 건 좌우의 시점 좌표와 시계의 방향 뿐. 장면 데이터는 완전히 같습니다. 그래서 Affinity multi-GPU는 그래픽 드라이버가 렌더링에 필요한 데이터를 자동으로 2개의 GPU로 보내 시점 위치와 시계 정보만 따로 준비해서 각각 렌더링하게 합니다. 그럼 2개의 GPU를 지닌 시스템에서 VR 성능이 당연히 오르게 되겠지요.

 

 

Direct-to-Display는 표시에 관련된 여러 기능으로 구성됩니다. 하나는 리퀴드VR 차원에서 여러 HMD의 스펙 차이를 줄여주는 기능입니다. 리퀴드VR이 지원하는 VR HMD라면 VR 애플리케이션에선 시스템에 연결된 HMD 스펙 차이를 신경쓰지 않고 개발할 수 있습니다. HDMD마다 해상도가 제각각이지만 그건 리퀴드VR이 알아서 처리한다는 것이지요.

 

두번째는 윈도우 환경에서 데스크탑 환경을 유지한 채 연결된 HMD에만 VR 영상을 출력하는 기능입니다. 최근의 라데온은 모두 멀티 디스플레이 기능인 아이피니티를 지원하는데, 여기에선 아이피니티를 응용해 HMD가 접속돤 출력 단자에만 VR 영상을 출력하는 게 가능합니다.

 

세번째는 현지 표시하는 프론트 버퍼에 직접 렌더링하는 기능입니다. 일반적인 3D 그래픽 애플리케이션에선 표시되지 않은 백 버퍼에 영상을 렌더링하고, 표시중인 프론트 버퍼와 렌더링된 백 버퍼를 교환해 표시하는 매커니즘을 사용하지만, 리퀴드VR에선 표시중인 프론트 버퍼에 렌더링하는 기능을 탑재합니다. 이 기능을 Asynchronous Shaders와 함께 사용하면 타임워프 처리와 동시에 HMD에 영상을 출력할 수 있다네요.

 

 

장면 렌더링과 티엄워프 처리가 모두 수직동기화 전에 끝나지 않으면 리퀴드VR에서는 Asynchronous Shaders를 이용해 이전 프레임에 타임워프를 다시 처리하는 방법밖에 없습니다. 그러나 Direct-to-Display와 Asynchronous Shaders를 함께 사용하면 타임워프 처리를 하면서 영상을 출력할 수 있어 장면 렌더링에 걸리는 시간을 아낄 수 있다는 게 AMD의 주장입니다.

 

영상 신호는 프론트 버퍼를 스캔하며 디스플레이에 보내기에, 프론트 버퍼의 내용이 바뀌면서 렌더링을 하면 티어링 현상이 생깁니다. 다만 VR에선 75fps나 90fps 같은 높은 프레임 레이트를 전제로 두기에 수직동기화를 한번 정도 놓친다 해도 눈에 잘 띄진 않는다고 합니다. 이게 계속된다면 티가 나겠지만.

 

지금까지 AMD 리퀴드VR의 특징을 보았습니다. 현재 다양한 업체가 VR HMD를 발표하지만 각각의 HMD는 호환성이 없습니다. 1990년대에 다양한 GPU가 난립했던 것 같은 분위기입니다. 이후 GPU는 다이렉트 X가 GPU 기능 차이를 커버해 애플리케이션의 개발 노력을 많이 줄여주었지요. 이번에 AMD가 발표한 리퀴드VR도 VR 애플리케이션 개발용 SDK라는 성격이긴 하지만 미들웨어적인 기능도 강하며 역할은 다이렉트 X와 비슷합니다.

 

 

오큘러스 VR의 Anuj Gosalia(Director of Engineer)가 리퀴드VR을 지원할 것이라 밝혔습니다.

 

 

크라이텍의 Dario Luis Sancho Pradel(Senior Programmer)도 크라이엔진의 리퀴드VR 지원 방침을 밝혔습니다.

 

현재 리퀴드VR은 AMD의 SDK/미들웨어이기에 GCN 기반 라데온과 조합했을 때만 사용 가능합니다. 다만 기능 자체는 편리한지라 범용성이 높습니다. VR 업계도 이를 계속 발전시켜 나가고 싶을 테니 VR 앱의 개발에 도움을 주는 미들웨어/SDK의 수요는 갈수록 높아질 것입니다. 또 최근 게임 개발은 게임 엔진 기반인 경우가 많아, AMD도 게임 엔진과 협업을 목표로 할 수도 있습니다.

 

AMD의 차세대 그래픽 API인 맨틀은 개방형 표준 API인 벌칸의 일부로 Khronos 그룹에 쓰인 바 있습니다. 어쩌면 AMD가 리퀴드VR도 이러한 위치를 노리고 있을지도 모릅니다. 다만 AMD가 VR 시스템 그 자체를 갖고 있지 않다는 건 변수가 되겠네요. 업계에서 발언권과도 연관된 것이거든요.

 

 

리퀴드VR의 설명 회장에 있던 크레센드 베이 데모

 

 

로봇과 병사들의 전투 장면을 슬로우 모션으로 보여주는 데모입니다. 언리얼 엔진 4로 만든 것이기에 리퀴드VR을 지원할 가능성이 있습니다.