컴퓨터 그래픽 관련 기술 학회인 시그래프 2018에서 소니 인터렉티브 엔터테인먼트, 마이크로소프트, LG 전저, VIZIO가 모여 만든 단체인 HGIG(HDR Gaming Interest Group)은 게임 그래픽을 위한 HDR(High Dynamic Range) 출력의 권고안을 냈습니다.

 

HGIG는 게임 플랫폼 2개 회사와 TV 업체 2개 회사가 모여 있으니, 이런 단체에서 스펙을 정한다면 최소 콘솔 게임 쪽에서는 상당한 비중을 차지할 것으로 예상됩니다.

 

 

HDR 영상 규격의 발생, 보급, 현재

 

지금까지 HDR 영상 표시를 위한 표준은 여럿 있었으나, 현재 가장 인기가 높은 건 울트라 HD 블루레이를 위해 2015년에 규격에 책정된 HDR10입니다.

 

HDR10은 그 이름대로 10비트 폭에 RGB가 아니라 YUV 계조를 사용하며, 계조 할당은 비선형 Perceptual Quantizer (PQ) 커브를 사용합니다. 이 커브는 SMPTE ST 2084라고도 하는데, 영상의 최대 휘도를 확정하고 사람의 시각적 특성 범위 안에서 위화감이 들지 않도록 그라디에이션을 할당한 것입니다.

 

HDR10 외에 다른 HDR 규격은 돌비 비전과 하이브리드 로그 감마(HLG), HDR10+가 있습니다. 

 

돌비 비전(Dolby Vision)은 영상과 음향 기술 개발 업체인 돌비 연구소가 만든 것으로 HDR10과는 호환되지 않습니다. 최대 12비트 폭의 계조를 허용하며, 영상 프레임의 최대 밝기 정보 같은 메타 데이터를 1프레임마다 삽입하는 등, HDR10에는 없는 기능들이 있습니다. 

 

HLG는 일본 공영 방송인 NHK와 영국의 공영 방송인 BBC가 내놓은 규격으로, 기존의 HDR이 아닌 영상, 그러니까 SDR(Standard Dynamic Range)와 호환성이 높은 계조 특성을 사용, 하나의 영상 데이터로 HDR과 SDR 디스플레이 모두에서 위화감 없는 영상을 볼 수 있습니다. 

 

HDR10+은 삼성 전자, 파나소닉, 20세기 폭스 같은 가전제품/영화사가 모여 출범한 HDR10 + Alliance가 내놓았습니다. 이름에서 익히 알 수 있듯이 HDR10의 확장 규격입니다. HDR10과의 호환성을 유지하면서, 돌비 비전처럼 1프레임마다 메타 데이터를 넣는 확장 스펙입니다.

 

이렇게 표준이 난립하고 있지만 일단은 HDR10이 업계 표준이라고 보면 됩니다. 

 

게임 플랫폼에서 HDR의 경우, HDR 출력이란 개념이 도입된 것이 2016년입니다. HDR10은 2015년에 나왔으니 의외로 빨리 도입됐다고 할 수 있습니다.

 

2016년 9월에 PS4는 초기형을 포함한 모든 PS4 시리즈가 HDR10 출력을 지원하고, 11월에 출시된 PS4 프로에서도 HDR 기능을 추가했습니다. 같은 시기에 마이크로소프트는 Xbox One S를 출시해 HDR10을 지원하고, 2017년 4월의 크리에이터스 업데이트에서 윈도우 10도 HDR10 지원을 추가했습니다. 2017년 11월에 나온 Xbox One X도 HDR10을 지원합니다.

 

 

HDR 영상 표시에 관련된 문제

 

울트라 HD 블루레이를 사용하는 콘솔 게임 플랫폼이 HDR10을 지원하니, HDR 영상 환경에는 아무런 문제가 없다고 생각하는 사람도 있겠으나 그렇지 않습니다. 사용하는 HDR 지원 TV나 모니터, 디스플레이에서 HDR 영상이 정말 올바른 표시인지를 확증하지 못한다는 문제가 있습니다. 

 

가장 큰 이유는 HDR10 규격의 HDR 표현 능력과, 실제 판매중인 디스플레이의 HDR 표현 능력 사이에 존재하는 괴리입니다. 여기에 게임 개발사나 영상 제작사가 이런 상황을 두고, 어떤 스펙에 맞춰 HDR 영상을 제작하면 좋을지 갈피를 잡지 못하면서 사태가 악화됩니다.

 

 

순서대로 봅시다. HDR10은 1만nit의 밝기까지를 영상 표현에 쓸 수 있습니다. 그런데 현재 1만Nit의 밝기를 지원하는 현실적인 크기의 디스플레이는 존재하지 않습니다. 2018년 8월 시점에서 가장 밝기가 높은 디스플레이는 돌비 비전을 지원하는 돌비 펄서(Pulsar)로, 일반 소비자용이 아닌 영상 제작용이며 그나마 밝기 4000nit에 불과합니다. 이건 울트라 HD 블루레이의 1000~2000nits에 맞춰 만들어졌죠.

 

일반 소비자를 위한 HDR TV는 엣지 LED 백라이트를 쓴 중급형이 400~700nit 정도. 직하형 LED 백라이트를 쓴 고급형 모델이 1000~1400nit입니다. PC용 HDR 지원 디스플레이는 HDR 지원 TV의 절반 정도 수준에 그치고 있습니다. 이처럼 HDR 영상 제작 쪽의 마스터링 조건과, 실제 재생되는 HDR 디스플레이의 성능이 다르니 표현도 달라집니다. 

 

사용자가 원하는 디스플레이는 괜찮은 성능에 저렴한 가격부터, 아주 좋고 비싼 제품까지 그 종류가 다양합니다. 여기에 영상 제작 단계에서 상정한 스펙과 전혀 다른 수준으로 재생하는 경우도 있습니다. 최근 TV 이미지 프로세싱 엔진은 TV 자체의 밝기를 파악, 일반적인 밝기 표현과 고휘도 영역의 처리를 분리하는 알고리즘이 많습니다. 

 

입력된 HDR 영상의 최대 밝기가 1000nit건 4000nit건, 일단 200~400nit의 상대적으로 낮은 영역은 입력된 HDR 영상의 신호를 거의 그대로 사용합니다. 그리고 정말 밝은 부분, 고휘도 영역은 입력 영상의 최대 휘도에 맞춰 완만하게 표시하도록 조정합니다. 2000nit의 HDR 영상을 최대 밝기 700nit의 TV에 입력한다면 400nit까지는 그대로 표시하고 그 위 2000nit까지는 400~700nit에 맞춰 재할당하는 식입니다.

 

이렇게 하면 고휘도 부분의 계조가 상당히 압축되지만, 영상 표현에서 가장 많이 쓰는 200~400nit의 밝기는 부드럽게 표시됩니다. 그런데 이걸로 끝이 아닙니다. 이런 처리 과정의 알고리즘은 TV 제조사, 디스플레이 제조사의 이미지 프로세싱 설계에 따라 달라지기 때문에 일관성이 없다는 문제가 있습니다.

 

일관성이 없으면 게임이나 영상을 만드는 쪽이 곤란해집니다. HDR10이라는 엄연한 HDR 규격이 있는데, TV의 이미지 프로세싱 엔진까지 고려해서 게임 영상을 설계해야 한다는 건 상당히 까다로운 일입니다. 

 

 

 

예를 들어 위 이미지는 터널 안을 달리는 자동차에서 터널 밖을 본 경우입니다. HDR 영상의 특성을 살리도록 터널 밖을 고휘도 이미지로 그려도, 사용 중인 TV 디스플레이가 이를 어떻게 프로세싱하냐에 따라서 계조가 살아 있는지 아니면 계조가 날라가서 구분이 안 되는지로 나뉩니다. 

 

서론이 길었습니다. 바로 이런 문제 때문에 HGIG가 게임 그래픽에선 HDR10을 이렇게 표시하도록 하자..고 제안을 내놓았습니다. 

 

 

HGIG의 HDR 영상 제안

 

그럼 HGIG가 어떻게 제안하느냐. 결론부터 말하면 간단합니다. 

 

 

 

최근 HDR TV가 HDR 영상을 표시할 때, 자주 쓰는 일반적인 밝기 영역과 특별히 더 밝은 고휘도 영역으로 나눠, 표시하는 밝기를 따로 조절한다고 말했습니다. 여기서 일반적인 영역을 Primary HDR 영역, 특별히 더 밝은 영역을 Extended HDR 영역으로 정의하는데, 게임 제작 시 이 두가지 영역을 특정 값이 정해진 상수가 아니라 변할 수 있는 변수로 파악하고 HDR 영상을 제작하면, 런타임에서 HDR 지원 TV나 디스플레이의 성능에 맞춰 알맞는 HDR 영상을 출력한다는 이야기입니다. 

 

 

프라이머리와 익스텐디드 영역의 값을 어떻게 얻어내느냐가 문제인데, 기본적으로는 게임 플랫폼(게임기의 OS)에서 보정해서 얻어냅니다. 

 

소니는 HGIG에 참여하는 TV 제조사에서 제공받은 모델이나, 소니에서 자체 조사해 얻은 데이터로 상수를 설정할 것이라고 말했습니다. 즉 모델마다 프로파일을 미리 제공할 가능성이 있다는 소리입니다. 프로파일이 있는 디스플레이라면 보정하지 않거나 최소한의 보정으로 HDR 설정을 할 수 있습니다. 

 

 

프라이머리와 익스텐디드 영역의 데이터를 검색하기 위해 사용자게 진행해야 하는 교정은 3단계를 예상하고 있습니다. 1단계는 디스플레이의 최대 밝기를 잡는 겁니다. 구체적으로는 전체 화면에 체커 보드를 표시해서 어두운 부분과 밝기가 동일해질 때까지 게임 플랫폼에서 밝기를 조절하는 겁니다. 

 

밝은 부분은 HDR10 규격의 최대 밝기인 1만nit를 설정하고 있으나, 앞서 말한대로 현존하는 디스플레이 패널의 거의 대부분은 이를 지원하지 않기에 밝기 조정을 반복해서 맞춰 나갑니다.

 

이런 교정은 일반적으로 TV나 디스플레이에서 수행하는 작업이나, 게임 플랫폼이 HDR 영상 출력을 어디까지 해야 할 것인지를 잡는 과정이니 TV에서 따로 설정하진 않습니다. 

 

 

2단계도 수행 보정 작업은 같지만, 조정 과정이 표시되는 면적은 전체 크기의 10%입니다. 이는 매우 독특한 오늘날의 HDR 지원 디스플레이의 특징을 잘 고려한 보정입니다. 왜냐하면 현재의 HDR 지원 디스플레이는 전체 화면을 최대 밝기로 올렸을 때와, 화면 일부를 최대 밝기로 잡았을 때의 최대 밝기가 달라지기 때문입니다. 

 

화면 전체를 고휘도로 설정하면 소비 전력, 발열, 영상 패널의 표시 특성 때문에 스펙에 나와있는 최대 밝기보다 매우 낮거나, 일정 시간이 지나면 밝기가 줄어드는 경우가 많습니다. 반면 최대 밝기로 설정된 영역이 작은 경우에는 그렇지 않습니다. 이런 특성 때문에 2단계에서는 이런 방법으로 보정합니다. 액정 패널의 백라이트가 엣지형인지 직하형인지에 따라서도 특성은 달라집니다.

 

 

3단계는 2단계와 보정 방식은 같으나, 어두운 영역을 0nit로 설정해 밝은 영역의 밝기를 줄여나가 어두운 영역에 맞춰 설정합니다. 이렇게 밝기를 낮춰 나가다 보면 하한선에 도달하기 전에 어두운 영역의 표시와 일치될 것입니다.

 

 

이렇게 조정한 결과의 가로축을 입력 밝기, 세로축을 출력 휘도로 잡으면 이렇 그래프가 됩니다. 여기에서 입력 밝기는 영상에 생성된 밝기입니다. 출력 휘도는 실제 HDR 영상을 HDMI 포트를 통해 출력할 때 보정 결과를 바탕으로 조정한 휘도, 즉 디스플레이 맵핑 밝기입니다. 이 그래프 중 확실히 재현 가능한 범위(왼쪽의 녹색 부분)이 프라이머리 HDR이 됩니다.

 

왼쪽의 원은 좀 더 확대한 그림인데, 여기에선 보정의 3단계에서 구한 최소 휘도의 표시 특성에 맞춰 조정한 결과(영상 생성 족에서 아무리 어둡게 표현해도 3단계에서 요구하는 디스플레이의 하한선에 맞춰집니다)를 나타냅니다. 영상 소스 쪽에선 3단계 보정에서 구해진 최소 휘도 기준으로 영상의 최소 휘도를 표현한다는 것입니다.

 

전체 그래프를 보면 '표시 영역이 작으면 표시되는 범위(중간의 파란 글씨)는 익스텐디드 HDR 영역에 해당합니다. 이쯤에서 그래프가 두개로 나뉩니다. 이건 고휘도 표현에서 표시 면적에 따라 영상 소스를 따로 분류하고 있음을 보여줍니다.

 

실제 보정에선 디스플레이의 성능에 따라 분기되는 곡선의 휘도 차이는 달라지지만, 앞서 언급한대로 디스플레이의 표시 면적이 작으면 출력 밝기를 높여도 제대로 표현되기도 합니다. 그 특성을 제대로 활용해 영상을 생성하는 것이 가이드의 포인트입니다. 반대로 표시 면적이 넓다면 많은 디스플레이에서 밝기를 억제하기에, 거기에 맞춰 표시하게 됩니다.

 

그래프 오른쪽의 '재현이 불가능한 범위'는 어떤 밝기로든 영상을 만들어도 디스플레이에서 제대로 표시되지 않고 하얀색으로 날라가는 영역을 가리킵니다. 현재 판매중인 HDR TV에서 확실하 재현 가능한 범위와, 표시 영역이 작으면 표시 가능한 범위의 경계는 400~500nit이며, 표시 면적이 좁으면 재현되는 범위와 어떻게 해도 표시가 안되는 범위의 경게는 700~1000nit가 됩니다. 그리고 PC용 HDR 디스플레이는 이 값의 절반 정도라고 보면 됩니다.

 

HGIG가 제시하는 HDR 영상 가이드라인의 장점

 

여기에 따라 영상을 제작하면 '확실히 재현 가능한 범위'의 프라이머리 HDR 영역과, '표시 영역이 작을 때 재현이 가능한 범위'인 익스텐디드 HDR 영역을 시스템이 파악, 영상을 만들어 각 사용자의 HDR 표시 환경에 최적의 영상을 자동으로 표시, 게임 영상 제작사에서 의도한 HDR 표현을 보여줄 수 있습니다. 결과적으로 사용자의 HDR 환경마다 균일하게 게임을 즐길 수 있다는 겁니다.

 

여기서 성가신 부분은 표시 영역이 작을 때 재현이 가능한 범위(익스텐디드 HDR 영역)의 출력 휘도 분리입니다. 제대로 하자면 화면에 표시된 고휘도 픽셀의 수를 계산, 그 수에 따라 디스플래이 맵핑의 최대 밝기를 조정해야 하지만, 폭염이 쏟아지는 것 같은 발광은 단순한 고휘도 표시로 끝낼 수 있습니다. 또 프라이머리 HDR을 넘어서는 부분을 고정 값으로 압축해 맵핑할 경우, 이를 따로 분류하지 않고 익스텐디드 HDR 영역 전체를 맵핑할 수도 있습니다.

 

어쨌건 표시 영역이 작을수록 대부분의 HDR 지원 디스플레이가 표기 스펙대로 고휘도 HDR 표현이 가능하기에, 게임 그래픽에서는 나름대로의 볼거리를 만들 수 있습니다. 게임 제작사에서 이걸 어떻게 표현하느냐가 HDR의 차별화 포인트가 될 것입니다. 

 

이 가이드라인의 다른 장점으론 앞으로 더 성능이 높은 HDR 지원 디스플레이가 등장해도, 게임 그래픽을 다시 만들 필요가 없고 앞으로도 호환된다는 점입니다. 상요자가 새로운 HDR 지원 TV/디스플레이로 교체해도 보정해야 하지만, 바꿔 말하면 새로운 HDR 지원 디스플레이의 HDR 표현을 기존의 HDR 지원 게임 타이틀에서 즐길 수 있게 됩니다. 게임 그래픽 쪽에선 새로 보정된 변수를 가지고 게임 실행 시 영상을 생성하면 HDR 디스플레이의 특성을 살려 표시가 됩니다.

 

앞으로 디스플레이가 더욱 발전하고 더 높은 휘도의 표현이 가능하면, 표시 영역이 좁을 때 재현되는 범위에서 2개로 벌어지는 커브의 간격이 줄어들고, 어떻게 해도 재현이 안되는 범위는 더욱 줄어들 겁니다. 

 

이번 가이드라인이 언제 적용되고, 어떤 게임에 쓰이며, 모든 플랫폼에서 쓸 수 있는지는 아직 알지 못합니다. 하지만 주요 콘솔 게임기 업체와 TV 제조사들이 동참하고 있습니다. 그래서 게임 영상의 HDR 표현에서 사실상 표준이 될 가능성이 높다고 봅니다. 또 새로운 규격을 만든 것이 아니라 HDR10 표준의 활용하는 가이드라인일 뿐입니다. 게임 개발사의 부담은 거의 없습니다. 

 

다만 이 가이드라인에 맞춰 제작된 HDR 게임 영상과, 이를 사용하는 게임 타이틀을 어필할 방법이 아직 없다는 겁니다. 이 가이드라인에 로고도 없고 마케팅도 없습니다. CEDEC 2018에서 좀 더 구체적인 노력이 보일 것으로 기대해 봅니다.