Digital Foundry가 AMD의 시니어 게임 엔지니어링 디렉터인 니콜라스 티비에로즈와 AMD의 FidelityFX Super Resolution 2.0 기술의 인사이드 인터뷰 영상을 공개하였습니다. [오역 및 의역이 있을 수 있음을 미리 밝힙니다.]

 

☞ AMD의 FidelityFX Super Resolution 2.0 인사이드
- FidelityFX Super Resolution 2.0 기술이 개발된 방법과 이유
- FSR 2.0 기술이 어느 방향으로 발전할 것인가.

 

① FidelityFX Super Resolution 2.0 기술이 1년 전에 1.0 버전을 출시했는데, 이번 2.0 버전을 통해서 달성하고자 하는 목표는 무엇이며, 

FSR 2.0을 원하는 이유가 무엇인가요?

 

※ FidelityFX Super Resolution 1.0은 작년 2021년 AMD 컴퓨텍스 컨퍼런스에서 공식 발표하였음.

 

- FidelityFX Super Resolution 1.0은 1년 전에 출시되었고, 게임 개발자들이 정말로 잘 채택하는 것을 보아왔으며, 우리는 그 성공에 매우 만족하고 있으며, 3가지 요소(품질, 성능, 균형)와 통합의 용이성, 크로스 플랫폼 지원 및 개방적인 플랫폼 등 측면에 대해서 많은 찬사를 받았음.

 

- 흥미로운 것은 우리가 고급 GPU만을 위한 초고해상도 기술을 구축하도록 선택할 수 있었기 대문에 흥미로웠으며, 어떤 면에서는 쉬웠을 

것으나, 개발사 파트너 및 고객들이 원하는 것과는 잘 맞지 않았음. AMD는 초고해상도란 GPU 벤더, 성능, 접근성에 상관없이 누구자 접근할 수 있어야 하는 기술이어야 한다고 생각했는데, 지금 돌이켜보면 올바른 결정을 내린 것 같음. FSR 1.0을 사용한 첫  해에만 80개 이상의 

게임이 있으며, 이는 플레이어가 어떤 기기에서든 높은 성능을 즐길 수 있다는 것을 의미함.

 

- FidelityFX Super Resolution 1.0은 업스케일링 기술 확장에 대한 접근의 민주화하는 첫번째 솔루션이며, 여기서 멈추지 않을 것임을 잘 알고 있으며, 동기 부여 측면에서는 소스 해상도에 비해 품질을 향상시키는 것이 우리가 추구하고자 하는 주요 측면이라고 말하고 싶음.

 

- FSR 1.0의 고품질 모드에서는 훌륭하지만, 더 높은 비율에서 약간의 증기를 잃기 시작하므로 이를 개선했는데, 실시간 업스케일링은 AMD의 활발한 연구 영역이며, 프레임 간 일시적 업스케일링은 우리가 조사해야 할 자연스러운 단계였음. 즉 이전 프레임의 샘플을 사용하여 현재 프레임을 재구성할 수 있는 솔루션은 품질을 개선하는 논리적인 방법임

 

- 게임 개발사들이 AMD에게 기대하는 요소를 유지하면서 크로스 플랫폼, 통합의 용이성 및 오픈 소스 기반으로 고품질 업스케일링 솔루션을 제공하는 것이 FidelityFX Super Resolution 2.0의 개발의 주요 동기였음.

 

② 엑스박스 360의 '헤일로 - 리치'로 거슬러 올라가는 시간적 기술을 오랫동안 보아왔는데, 분명히 그 이후로 크게 개선되고 변경되었으나 

유물의 고스트화 문제는 여전히 문제가 남아 있는데 FSR 2.0은 고스팅화 방지를 하기 위해서 어떻게 접근하나요?

 

- TAA(Temporal Anti Aliasing, 시간적 안티 알리아싱)은 실제로 게임 개발 산업이 공유하고 협력하는 방법의 좋은 예라고 생각하며, TAA가 

시간적 업스케일링을 위한 구성 요소이기 때문에 AMD가 GPUOpen 배너를 통해서 FSR 2.0을 출시함으로 써 이 영역에서 우리의 노력을 공개 및 문서화 함으로써 커뮤니티에 환원하는 것이 중요하다고 생각함.

 

- 1. 고스팅화 방지 : 모든 시간적 업스케일링 기술은 이전 프레임의 픽셀 정보에 의존하고 결정하기 위하는 것을 모션 벡터라고 부르는 기능을 활용하여 현재 픽셀이 어디에 있었는지 위치를 결정하는 것이라고 말함. 하지만 불행하게도 게임에서 픽셀이 많이 움직히는 경향이 있으므로 모션 벡터에만 의존할 수 없음.

 

- 2. 고스팅화 방지 : 1인칭 게임과 같은 게임을 플레이 시, 예시를 들자면 새 문을 열고 그 문 너머에 분명히 새로운 것이 있다면 문 뒤에 있는 픽셀에는 이전 프레임의 기록이 없는 것을 분리(폐쇄)라고 부르는 것임. 따라서 이러한 경우 시간 알고리즘은 그러한 특정 픽셀을 어떻게 상향 조정할지에 대한 세부사항을 추론할 다른 방법을 찾아야 함. 주변 픽셀을 보고 잘못된 색상이 다시 재투영되는 것을 방지하고 고스팅화를 방지하는 것을 포함하여 이러한 제한 사항을 처리하는 방법에 대한 문서화한 기술이 있음. 앞으로도 계속 고스팅화 방지를 개선하고 FSR 2.0이 점점 더 좋아질  것으로 기대함.

 

※ FSR 2.0은 고스팅화의 시각적 영향을 제한하기 위하여 기존 및 신규 방법 간의 변형을 사용하며, GDC 2022 컨퍼런스 프레젠테이션도 있으니 참고할 것.

 

③ 게임들이 많은 패스로 구성되어 있고 과거에 일시적 안티 알리아싱이 불투명한 것으로 잘 처리했다는 것을 알고 있지만, 투명하고 

애니메이션화된 텍스처 및 실제 예상 못했던 방식으로 변경하는 표면은 항상 문제를 일으켰지요. TAA를 위해서 화면 요소에 대해서도 

업스케일링이 고품질로 유지되도록 하기 위한 AMD의 접근 방식은 무엇이었나요?

 

- 게임은 매우 복잡하게 구성된 동물이자 다양한 종류의 렌더링으로 구성되었으며, 고품질 업스케일링을 위해서는 FSR 2.0이 모든 면에서 

뛰어나야 함. 하지만, TAA에서는 투명성이 어려울 수 있는 것이 타당한데, 반투명 픽셀들이 일반적으로 모션 벡터 및 깊이 정보가 없기 때문임.

 

- 색상 정보를 업그레이하는 방법을 결정할려면 전적으로 색상 정보에만 의존해야 하는데, FSR 2.0은 훨씬 더 다양한 경우를 즉시 처리할 수 

있도록 장착하였는데, 음영 변경에 대한 감지 메카니즘과 같은 것이 있으며 형상에 해당하는 변경이 없는 이미지를 탐색함.

 

- 이러한 상황을 처리하기 위해서 모든 개발자들에게 최대한의 제어 권한을 부여하는 것이며, 이를 위해서 마스크를 노출하게 되는데 이것을 

반응형 마스크라고 부르며, 이 마스크를 사용하면 개발자가 화면의 투명 픽셀에 태그를 지정하여 기본적으로 FSR 2.0의 통합 품질을 

최적화할 수 있으며 과거 데이터 및 현재 프레임의 이식 색상의 균형을 맞춰서 더 나은 확대된 이미지를 생성할 수 있음.

 

④ 제니맥스 미디어(베데스다 소프트웍스) 산하 개발사인 아케인 스튜디오(리옹)에서 출시한 DEATHLOOP(데스루프)에서는 일반적으로 

TAA를 이용한 게임에서 흔히 볼 수 있는 투명성 문제와 고스트가 실제 존재하지 않는 다는 것을 발견했는데, 다른 게임 타이틀인 소니 

산타모니카 스튜디오 게임인 '갓 오브 워(2018)'만 한정해서 보았고, 나중에 타이틀 별로 분명히 바뀔 수 있을 건데요. 공식적으로 FSR 2.0이 

Vulkan 및 DirectX 12 API를 지원하기 때문에 비표준 타이틀로 간주되는 것을 보았는데요. DirectX 11 및 OpenGL과 같은 레거시 API 지원은 

개발사 및 AMD와 직접 작업하지 않는 한 실제로 존재하지 않으며, 실제로 '갓 오브 워(2018)'에서 일어났는데, 픽셀이 분리되었을 때 

그 영역에서 이후 몇 프레임 동안 해상도 종류의 지터링과 동일하다는 것을 알았는데, 이 떨림 증상을 'Disocclusion Fizzle'이라고 불렀는데, 

이 증상은 FSR 2.0 작동 원칙을 기반으로 한 예상된 동작 혹은 디자인(스타일)인가요? 차후에 FSR 2.0의 향후 반복에서 변경될 수 있나요?

 

- 업스케일링은 근본적으로 복잡한 문제인데, 본질적으로 매우 제한된 입력 세트에서 고품질 신호를 재구성하려고 함. 현실적으로 이 프로세스는 모든 시간적 업스케일링 기술이 사소한 이미지 품질 문제의 대상이 될 수 있으며, 이러한 문제는 일반적으로 높은 스케일 요소(성능 모드) 혹은 게임이 진행 중일 때 더 잘 보일 수 있음을 의미함.

 

- 또한 게임별로 변경될 수 있지만 4K UHD 해상도를 목표로 하는 경우에는 일반적 시청 거리 및 높은 프레임 속도에서는 보이지 않거나 

최소한 덜 보일 수 있으며, AMD는 이미지 품질이 비용을 주도하는 여러 측면에서 FSR 2.0을 지속적으로 개선하는 데 확실하게 투자하고 있음. 

즉, FSR 2.0은 플레이어의 경험을 최우선으로 두고 있으며, 일반적 플레이 조건을 기반으로 알고리즘을 최적화한다는 것을 의미함.

 

⑤ 그동안 FSR 2.0으로 정말로 놀라운 일을 하고 있는데, 이전에 컨텐츠를 제공한 Dario Samo는 NVIDIA DLSS 2.0이 포함된 슈퍼 마리오 64 

PC의 레이 트레이싱 포트에서 작업했고, FSR 2.0을 즉시 선택했는데요. 상상의 영역을 넘어선 또 다른 사실은 사람들이 지난 2년 동안 출시된 DLSS 타이틀에 AMD의 FSR 2.0을 도입하여 .DLL 프레임워크를 가로채고 있다는 것인데, 이 부분은 의도 혹은 예상을 하신 부분이었나요? 

그리고 이전에 없었던 리테일 게임을 FSR 2.0에 넣는 현상에 대해서는 어떤 생각을 가지고 게시나요?

 

- 이 부분은 오픈 소스의 힘이라고 생각하며, 오픈 소스는 개발자가 혁신에 동참할 수 있는 초대이자, 모든 프로젝트에서 이를 직접 목격하고 

있다고 생각함. FSR 2.0을 창의적으로 사용할 수 있을 것으로 예상했지만, 출시 후에는 중단되지 않았고 우리가 함께 일하는 모든 전문 게임 

개발자들의 반응을 바탕으로 봤을 대는 이것이 우리 코드와 문서의 품질에 많은 영향을 미친다고 생각함.

 

- 이 업계에서는 모딩의 풍부한 역사가 있는데, AMD GPUOpen 이니셔티브를 통해서 더 넓은 개발 커뮤니티를 지원하게 되어 매우 기쁘게 

생각하며, FSR 2.0의 공식 게임 통합은 항상 모드보다 선호될 것이고, 품질 측면 및 플레이어의 사용 용이성 측면에서도 .DLL 프레임워크 및 기타를 사용하는 것과는 대조적으로 게임에 있기 때문임.

 

⑥ NVIDIA DLSS와 상호 운용성에 대해서 돌아가기 : 올해 4월 엔비디아는 Streamline(스트림라인)에 대해서 자세히 설명함과 동시에 

GitHub에 일부 코드를 공개하였는데, 기본적으로 초고해상도 기술이라는 아이디어는 이제 PC에 있으며 모든 공급업체는 인텔을 포함하여 

자체 업스케일링 기술을 개발했다는 것을 의미하며, 개발자가 플러그인 인터페이스를 만드는 데 사용할 수 있는 공통 API 플랫폼을 만드는 

것이었는데요. 인텔 GPU는 XeSS를 실행할 수 있고, 엔비디아 GPU는 DLSS를 통해서 개발자가 실행할 수 있는데, AMD의 FSR 2.0도 

마찬가지로 좀 더 개발자가 쉽게 접근할 수 있는 미래의 이니셔티브를 지원하기를 원하는 것인지 궁금하네요.

 

- 현재로서는 Streamline을 지원할 계획은 없으나, 지금 당장은 오픈 소스 기술에 초점을 맞추는 것이 게이머 및 게임 개발사를 위한 최선의 접근 방식이라고 생각함. 본질적으로 Streamline이 현재 사용 가능한 것 이상으로 중요한 이점을 제공한다고 생각하지 않음

 

- 엔비디아의 DLSS와 같은 기술은 여기에 연결되지만 폐쇄적이고 독점적이며, 폐쇄된 기술에 연결되는 오픈 소스 프레임워크가 있다는 것을 FSR 2.0과 대조한다면 분명히 완전한 오픈 소스이며 구현하기 쉽고 게임콘솔을 포함하여 여러 플랫폼에서 지원되는 것이 해당 특정 주제의 핵심이라고 생각함. 따라 오늘날 이미 쉽게 할 수 있는 신규 프레임워크를 배우고 구현할 필요가 없다는 것이다.

 

⑦ FSR 2.0을 개발할 때 수행하는 모든 단계에서 프레임 시간(밀리초) 시간 비용을 고려했고, 아마도 최적화 프로세스의 큰 부분이었을 것이며, 기본적으로 GPU마다 경로가 다릅니다. 예를 들어서 마이크로소프트의 엑스박스 게임콘솔의 FSR 2.0은 어떠하며, 엑스박스 시리즈 X에 탑재된 AMD 커스텀 라데온 GPU에 대해 특별히 최적화된 특정 기능이 있나요?

 

- 전적으로 이것이 각 플랫폼에 특별하게 최적화되어 있으며, 엑스박스 게임 콘솔 또한 최적화가 포함되어 있다고 생각함.

 

⑧ PC의 2nd RDNA(RDNA 2) GPU와 같이 사용되는 경로와 비교했을 때 어느 정도 수반될 수 있는 세부 사항이 있나요?

- GPU를 사용하면 텍스처 명령, 수학 명령 등의 측면에서 시스템의 리소스 비율과 같은 성능 특성이 서로 다를 수 있음을 기억해야 하며, 

기본적으로 잠재적으로 다른 코드 경로를 보증하는 유형의 예임.

 

- 하지만, 엑스박스 게임 콘솔을 더 빠르게 만들어 내기 위해서 우리가 정확히 무엇을 했는지에 대해서는 솔직히 세부 사항을 모르지만, 엑스박스 시리즈 X 게임 콘솔에서는 가능한 2ms에 가까워지도록 몇 가지 작업을 수행했다는 사실을 알고 있음.

 

⑨ FSR 2.0이 나온지 얼마되지는 않았지만, 다음 타이틀에서는 개발자들이 사용함과 동시에 증식될 예정인 것을 이미 발표되었는데요. 여기에서 확산 단계를 넘어서 AMD가 차세대 GPU를 출시할 것이라고는 사실에 비추어서 알고리즘적으로 다른 방식으로 FSR 2.0이 발전하는 것(예시 : 밀리초 런타임의 실행 시간 단축 혹은 차세대 GPU를 사용하여 FSR을 개선하는 방안)을 개인적으로 어떻게 보시나요?

 

- 현재는 AMD가 연구 개발을 확대하기 위해서 상당히 방대한 로드맵을 가지고 있으며, 작년에 FSR 1.0을 출시했는데, 이번년도에 버전 업그레이드한 FSR 2.0을 출시함. 

 

- 개발팀은 현재 솔루션을 개선하고, 개발사 파트너로부터 받는 모든 피드백에 따라 행동하는 데 계속 집중하고 있는데, 우리는 모두의 경험을 향상시키고 싶기 때문에 이는 매우 중요함. 

 

- FSR 2.0은 점점 더 좋아질 것이며, GPU는 의심할 여지 없이 더 빨라질 것이지만 이러한 향상된 기능을 활용하기 위해서 개발할 수 있는 새로운 기술에 대해서는 언급할 수 없음. 하지만 우리가 출시한 개발사 소프트웨어가 광범위한 플랫폼으로 확장될 수 있도록 보장한 역사가 있다는 것이며, 사전에 발표하지 않고 이것은 우리가 유지하고 싶은 것임.

 

⑩ 모든 유형의 이미지 재구성 기술에 대해서 항상 알아챘던 것은 그것들이 정상적이고 래스터화된 지오메트리 가장자리와 텍스처에 매우 뛰어나다는 것인데, 이러한 이미지들을 매우 잘 샘플링화 및 선명하고 깔끔하면서 안티 알리아싱화하여 잘 보이게 할 수 있다는 점인데요. 레이 트레이싱처럼 이와 분리되는 렌더링의 측면은 업스케일링하는 동안 여전히 상당한 낮은 내부 해상도로 가까울 정도로 보이는데, AMD는 레이 트레이싱을 좀 더 멋지고 좋은 제작 방향으로 FSR 2.0을 발전시키는 데 관심이 있으시나요?

 

- FSR 2.0과 같은 시간적 업스케일링 기술은 카메라 뷰에서 레이 트레이싱이 래스터화된 지오메트리가 지터링되는 것과 동일한 방식이라서 실제로 레이 트레이싱 효과와 실제로 작용할 수 있다고 생각하며, 광선 추적 혹은 반사 등 일부 효과는 시간적 업스케일링 알고리즘으로 실제로 어려울 수 있는 것은 사실임.

 

- 반사된 픽셀은 모션 벡터나 깊이가 없어서 프레임 히스토리와 상관 관계가 없기 때문이며, FSR 2.0은 이미 게임 개발자가 사용할 수 있는 

특수 마스크를 통해서 이러한 사례 중 일부를 지원하여 최종 이미지의 품질을 향상시킬 수 있는데, 그 마스크는 전에 말했던 마스크와는 

다른 개념인데 이것을 투명도 및 합성 마스크라고 불림.

 

- 본질적으로 그것이 하는 일은 FSR 2.0에게 픽셀에 대해서 존재하는 '잠금'의 기여를 조정하라고 말하는 것이며, 그 이후에는 복잡해지기 

때문에 GPUOpen에서 문서를 확인하도록 하는 것이 빠름.

 

⑪ Machine-Learing(머신-러닝)은 현재 FSR 2.0의 일부가 아니며, 이런 종류의 업무에 대해서 어느 정도의 유용성을 가지고 있다는 것이 

이 시점에서 적절하게 입증되었다고 생각하는데, FSR 2.0에 대해서는 머나먼 혹은 가까운 미래에 ML 기능을 사용할 계획이 있으시나요?

 

- Machine-Learing(머신-러닝)은 훌륭한 도구라는 것에 의심의 여지가 없으며, ML 프레임워크에 많은 입출력을제공하여 이들 간의 관계를 

학습할 수 있도록 다음 모델이 학습되면 모든 새로운 입력에 적용할 수 있는데, 다양한 문제에 적용할 수 있음.

 

- 엔비디아는 사용 가능한 입력에서 이미지를 재구성하기 위해서 DLSS를 활용하고 있으며, ML을 알고리즘 엔지니어링에 대한 무차별 대입 

접근 방식으로 생각할 수 있으나 확실하게 선택 사항임.

 

- FSR 2.0의 경우에는 광범위한 H/W에서 실행할 수 있는 고품질 업스케일링 솔루션을 제공하고 싶었기 때문에 전용 ML 가속에 실제로 의존할 수 없었기 때문에, 우리를 위한 선택이 아니었음. 공정하게 얘기하자면, 실제로 우리가 디자인한 알고리즘을 완성한 것에 매우 만족하지만, 

앞으로도 계속 개선할 수 있으며, 확실하게 진화하면서 향후 ML 기반 업스케일링 솔루션을 출시할 수 있을 지에 대한 여부는 언급이 불가능함.

 

⑫ 이번 FSR 2.0 기술 작업에서 정말로 자랑스러웠거나 만족했던 한 가치 측면은 무엇이었나요?

 

- 게임 엔지니어링 수석 이사로서의 역할에서는 AMD와 전 세계 게임 개발자 간의 기술 관계의 모든 측면을 감독할 수 있게 되었으며, 

FSR 2.0은 확실하게 퍼즐의 주요 조각임.

 

⑬ 보너스 질문 : 품질과 성능의 임계값을 만들기 위한 노력이며, 이번 FSR 2.0 프로젝트에서 기술적 측면 중 하나와 관련하여 획기적인 순간 같은 게 있나요?

 

- 품질 측면에서는 몇 가지가 있는데, 많은 컨텐츠에서 엔비디아의 DLSS에 필적하는 이미지 품질을 가지고 있다는 것을 알게 되었을 때 

모든 사람들에게 아주 좋은 소식임.

 

- 분명히 우리는 그 알고리즘을 많은 기술을 집어넣었으나, 원하는 만큼 빠르지 않았고 다양한 플랫폼에 최적화하기 위해서 모든 노력을 

기울임.

 

- 최적화하는 새로운 방법을 찾는 측면에서 돌파구를 얻었고, 이를 통해서 밀리초 단위로 특정 임계값 아래로 떨어질 수 있었음.