라데온 R9와 R7 시리즈 중 라데온 R9 295X2와 라데온 R9 290X, 라데온 R9 290, 라데온 R7 260X, 카베리 기반 AMD A 시리즈 APU는 트루 오디오를 지원합니다. AMD의 독자적인 그래픽 API인 맨틀과 같이 발표돼 큰 관심을 모았지만 2014년 8월 기준으로 이를 지원하는 게임은 씨프(Thief)밖에 없습니다. 그래서 관심도 많이 줄어든 상황이죠.

 

하지만 트루오디오를 그냥 이대로 잊어버려도 되는 걸까요? 여기서는 트루오디오에 대한 AMD 본사의 인터뷰와 실제 테스트를 소개합니다. 

 

 

트루오디오란 무엇인가

그럼 먼저 트루오디오(TrueAudio)란 무엇일까요. 트루오디오가 뭔지는 전에도 소개한 바 있지만 다시 복습해 보면, 라데온이 갖고 있는 GPU의 처리 능력과 비디오 메모리를 이용해 오디오 처리를 하는 하드웨어 기반의 DSP 솔루션이 됩니다.

 

트루오디오는 출력단을 사용자가 자유 자재로 설정할 수 있어 라데온과 APU와 HDMI 출력 외에도 메인보드 내장 사운드, 사운드 카드, USB 사운드를 자유롭게 골라 쓸 수 있습니다.

 

게임 입장에서 보면 트루오디오를 지원하는 GPU의 일부가 오디오를 처리하는 코프로세서로 동작하는 셈입니다. 처리 흐름으로 보면 오디오 신호를 게임에서 코프로세서로 보낸 후 거기서 처리해 다시 되돌려받아 사운드 장치에서 출력하는 것입니다. 

GPU 일부를 코프로세서로 사용한다면 라데온 쉐이더 프로세서의 컴퓨트 유닛이 GPGPU로 작동하도록 하는 것이라 생각할 수도 있지만, 실제로는 미국 Tensilica, 정확히 말하면 Cadence Design Systems의 Tensilica 부문에서 만든  DSP(Digital Signal Processor)인 HiFi EP Audio DSP가 GPU에 포함돼 있습니다.

 

즉 트루오디오를 지원하는 GPU가 앞서 말한 R9 295X2, R9 290X, R9 290, R7 260, 그리고 카베리밖에 없는 이유도 간단합니다. HiFi EP DSP를 통합한 제품이 2014년 8월까지는 위에서 말한 GPU와 APU밖에 없어 그렇습니다. 

 

 

오디오 DSP. Tensilica의 제품 정보 페이지에서.

 

그럼 HiFi EP DSP는 무엇일까요. 한마디로 요약해서 오디오 신호에 특화된 DSP가 되겠습니다. TV, 셋탑 박스, 블루레이 플레이어 등에 널리 쓰이고 있어 임베디드 쪽에선 매우 대중적인 DSP라 할 수 있습니다.

 

인텔의 차세대 CPU인 브로드웰은 Tensilica의 DSP인 HiFi 2 Audio DSP를 쓸 것으로 확정됐는데, HiFi EP DSP는 HiFi 2 Audio DSP에 음성 신호의 전/후처리와 캐시 메모리 성능을 향상시킨 기능 확장판입니다. 즉 상위 모델이 되겠지요.

 

이러한 HiFi EP DSP와 게임 애플리케이션 사이를 이어주는 것은 오디오 처리용 미들웨어입니다. 트루오디오의 발표 당시에 오디오 처리용 미들웨어에선 캐나다 Audiokinetic의 Wwise와 호주 Firelight Technologies의 FMOD가 트루오디오를 지원한다고 밝혔습니다.

 

 

2013년에 트루오디오를 발표할 때 Audiokinetic과 FMOD의 지원을 발표한 바 있습니다.

 

트루오디오를 지원하는 게임의 사운드가 Wwise나 FMOD에서 재생되면 그 중에 프로그래머가 미리 지정해 둔 오디오 신호가 HiFi EP DSP로 보내집니다. HiFi EP DSP는 신호를 받아 GPU 코어나 비디오 메모리의 처리 능력을 일부 사용해 음성 신호를 내부 프로세서로 처리해 되돌리는 작업을 합니다. 그리고 사용자가 설정한 출력단으로 나가는 식입니다.

 

 

일반적인 오디오 처리와 트루오디오를 이용한 오디오 처리의 차이

 

앞서 이야기한 씨프는 Wwise를 쓰기에 씨프의 트루오디오 효과는 Wwise를 통해 실현됩니다. 그 외에 현재 개발중인 RPG 게임인 Lichdom이 Wwise 트루오디오를 사용하며, 오큘러스 VR의 헤드마운트 디스플레이인 리프트의 데모 중 Tuscanny가 FMOD 트루오디오를 쓴다 하네요.

 

 

트루오디오의 정체와 트루오디오가 할 수 있는 것

하드웨어의 처리 흐름을 정리해 보면 HiFi EP DSP 자체는 내부에 믹서 기능을 갖추고는 있으나, 실제로는 사운드를 처리하는 상자에 불과합니다. 음성 처리 알고리즘-오디오 쪽에선 이를 오디오 프로세서라고 하지만 그게 하드웨어는 아니기에-이 동작하는 장치라 할 수 있겠습니다.

 

그럼 트루오디오는 HiFi EP DSP를 사용하여 어떤 음성 처리 알고리즘을 작동시킬 수 있을까요. 현 시점에선 컨볼루션 리버브(Convolution Reverb) 하나가 있습니다.

 

 

전형적인 콘서트 홀 

 

컨볼루션 리버브는 최근 10년 사이에 사운드 제작 분야에 정착한 음성 처리 알고리즘입니다. 리버브는 잔향을 의미하며 콘서트 홀이나 체육관 등, 큰 건물 안에서 소리가 울리는 것이 리버브의 전형적인 예입니다.

 

실제로 리버브는 주로 두 종류의 소리로 구성되어 있습니다. 벽에 반사된 소리가 되돌아오는 직접 반향이 리버브를 구성하는 첫번째 요소인 초기 반사(Early Reflection). 그리고 두번째 요소는 여운으로 남는 소리인 잔향(Reverb Tail)입니다.

디지털 음성 신호 처리가 널리 쓰이는 지금, 음악 제작 쪽에선 초기 반사와 잔향을 연산으로 만드는 디지털 리버브가 대부분입니다. 이는 현 세대의 프로세서에서 연산 부하가 매우 낮아진 덕분에 가능하며, 모든 것을 연산해서 만들기에 노이즈가 없이 깨끗한 이상적인 리버브를 의도적으로 넣을 수 있습니다. 

  

리버브에는 이 외에도 아날로그 시절의 리버브나 특정 형태의 재생 환경에 맞춰 잔향을 더하는 혼합 룸 리버브 등의 다양한 기법과 장치가 있지만, 그것은 이 글의 주제와 벗어나기에 논외로 치겠습니다.

 

 

이스라엘의 웨이브 오디오에서 만든 디지털 리버브 음성 처리 알고리즘인 TrueVerb의 스크린 샷. 2개의 그래프 중 위에 나온 오렌지색의 세로 선이 초기 반사, 보라색 삼각형이 잔향입니다. 세로축이 신호 레벨의 출력, 가로 축은 시간 축, 왼쪽에서 오른쪽으로 시간이 흘러 갈수록 가운데의 잔향을 조절할 수 있게 됩니다. 초기 반사와 잔향이 흐른 뒤를 따로 편집할 수 있는 게 특징.

 

이것의 단점은 어디까지나 의도적인 가짜 소리이게에 실제 재생 환경을 100% 재현할 수는 없을 것입니다. 그럼 서론은 여기까지로 하고 컨볼루션 리버브에 대해 이야기하자면 그 정의는 바로 실제 특정 재생 공간에서 기준이 뒤는 파형을 잔향과 함께 계측해 그 측정 데이터를 바탕으로 실제 장소의 잔향을 시뮬레이트인 것입니다.

 

 

컨볼루션 리버브는 게임에서 재생된 잔향이 없는 오디오 신호에 IR 데이터를 넣어 잔향을 더해 게임 오디오에서 잔향을 표현하게 됩니다.

 

중요한 것은 디지털 리버브가 '일반적으로 특정 장소는 어떤 음향 특성을 갖고 있으니 그것을 시뮬레이트함'인데 비해 컨볼루션 리버브는 '계측한 값이 이러니까 이걸 바탕으로 다른 소리를 냈을 땐 이렇게 울릴 것이라 계산'한다는 것입니다. 리버브가 이상적인 공간을 시뮬레이트하기에 노이즈가 없는 잔향이 나오지만 컨볼루션 리버브는 계측 시 노이즈를 포함한 잔향이 나오게 됩니다.

 

그러니 '실존하는 공간에서 계측한 음향 데이터를 바탕으로 해서 다른 소리를 적용했을 때의 잔향을 실시간으로 연산'하는 것이 되는데, 이런 연산을 수학적으로 계산을 통해 산출해 내기에(Convolution) 컨볼루션 이름이 붙은 것입니다.

 

따라서 컨볼루션 리버브의 핵심은 이를 처리하는 프로세서의 연산 능력 뿐만 아니라 임펄스 응답(Impulse Response)이라 부르는 해당 공간의 계측 데이터라는 결론이 나오게 됩니다.

 

 

컨볼루션 리버브의 구조

 

앞서 말한대로 현 세대의 CPU와 오디오 처리용 DSP 입장에서 보면 디지털 리버브의 부하는 결코 높지 않습니다. 또 계측 데이터를 참조할 필요가 없으니 메모리 소비량도 그리 크지 않습니다.

 

그에 비해 컨볼루션 리버브는 계측 데이터를 바탕으로 실시간 연산을 해야 하기에 프로세서의 성능에 따라 레이턴시가 커질 수 있습니다. 또 IR 데이터를 가져와야 하니 처리하는 데 필요한 메모리 용량도 커집니다.

 

실제 IR 데이터는 경기장과 교회 안에서 측정한 것으로 길이는 5~6초 정도 됩니다. 그래서 기존의 전통적인 디지털 리버브와 비교해 훨씬 큰 메모리가 필요합니다.

 

 

영국 Wembley Arena의 IR 데이터를 waves Audio의 컨볼루션 리시버 알고리즘 처리 도구인 IR-L에서 봤습니다. 아레나 홀은 잔향이 길기에 중앙 왼쪽의 컨볼루션을 보면 총 5.69초의 IR 데이터가 나옵니다.

 

 

유명한 레코딩 스튜디오인 미국 Signet Studios의 IR 데이터. 1.8초입니다.

 
그래서 컨볼루션 리버브를 게임에서 쓸 때는 그것을 처리하는 연산 능력이 디지털 리버브에 비해 당연히 높아지게 됩니다. 또 멀티 채널 서라운드로 처리하면 5.1채널의 경우 믹서나 스필러테어 4채널 데이터를 5.1채널로 늘리는 게 일반적이기에 프론트 L/R과 리어 L/R까지 총 4채널 분의 연산이 필요합니다. 따라서 필요로 하는 프로세서와 메모리 자원은 최소 스테레오보다 2배가 됩니다.

 

사실 컨볼루션 리버브 자체는 이미 대형 게임 개발사의 미들웨어에서 구현된 것으로 추측됩니다. 그만큼 널리 퍼진 알고리즘이거든요. 그렇다고 아무 생각 없이 남발한다면 CPU나 메모리 자원을 소모해 소리가 왜곡되거나 지연이 생기고 최악의 경우 게임 플레이 자체에 영향을 주게 됩니다. 그래서 모든 장면에서 쓰는 게 아니라 특정 장면에서만 사용하는 편입니다.

 

그래서 트루오디오가 나온 것이기도 합니다. R9 295X2, R9 290X, R9 290, R7 260X, 그리고 카베리 기반 APU는 컨볼루션 리버브처럼 프로세서나 메모리의 부하가 큰 음성 처리 알고리즘을 작동시키는 전용 프로세서로 HiFi EP DSP를 쓸 수 있습니다.

 

인텔은 PC 제조사들에게 "HiFi 2 Audio DSP의 도입으로 브로드웰 기반 CPU에선 DSP Offloading의 혜택을 받게 된다"고 설명하는데, 이는 "CPU에 부담을 주지 않고 음성처리를 할 수 있다"는 의미이며 HiFi EP DSP에 처리를 분산시키는 트루오디오도 바로 그런 것입니다. 부하가 높은 처리만 GPU나 APU에 통합된 HiFi EP DSP가 맡는 것입니다.

AMD는 R9 290X, 290, R7 260X, 카베리 기반 A 시리즈 APU에 통합되는 HiFi EP DSP는 3개이며, 내부 공유 메모리로 사용하는 SRAM의 용량은 384KB. 특히 DMA 엔진이 그래픽 메모리의 프레임 버퍼에서 최대 64MB를 트루오디오용으로 사용할 수 있다고 합니다.

 

아마도 컨볼루션 리버브를 처리할 때는 SRAM에 IR 데이터의 첫 부분을 넣어두고, 필요에 따라서 프레임 버퍼에 넣어두는 데이터를 스트리밍해오는 식이 아닐까 생각해 봅니다.

 

 

트루오디오의 하드웨어 스펙 개요

 

씨프의 경우 함께 사용 가능한 컨볼루션 리버브 알고리즘의 수는 최대 4개이며 IR 데이터는 10~12초입니다. 4개의 알고리즘을 동시에 사용할 경우 각 알고리즘이 쓸 수 있는 IR 데이터의 용량은 1/4가 됩니다. 아마 12초에 해당하는 데이터를 4개의 알고리즘이 나눠 쓰는 것으로 보입니다. 

 

 

시프(Thief)에서 트루오디오의 효과를 확인

 

 

테스트 환경

 

그럼 트루 오디오, 그리고 씨프의 컨볼루션 리버브가 어떤 효과를 낼 수 있는지를 테스트해 보기로 했습니다. 여기에선 스팀에서 다운받은 영문판 씨프와, R7 260X를 탑재한 시스템을 썼습니다. CPU는 4코어 4스레드의 코어 i5-4590. 드라이브는 테스트 당시 최신 버전인 카탈리스트 14.6RC.

 

 

크기 265x395x410mm의 마이크로 ATX 케이스. 상단에 일체형 수냉 쿨러를 넣을 수 있습니다.

 

 

바닥의 공기 흡입구. 소음은 적은 편.

 

 

기가바이트의 R7 260X.

 

테스트는 5.1채널 서라운드 사운드 출력과 2채널 스테레오 헤드폰 출력으로 했습니다. 멀티 채널 앰프와 PC는 GPU의 HDMI 단자와 연결했습니다. 헤드폰 출력은 리얼텍 HD 오디오 내장 사운드와 연결했으며 AKG의 K240 MK2 스튜디오 헤드폰을 썼습니다.

 

멀티 채널 AV 앰프: 파이오니어 SC-LX86

프론트 L/R 스피커: 파이오니어 S-A77TB

리어 스피커: 파이오니어 S-A77BS

센터 스피커: 파이오니어 S-A77VT

서브 위성 스피커: 파이오니어 S-W7

 

 

 

씨퓨는 옵션에서 오디오 항목에 들어가면 컨볼루션 리버브를 고를 수 있습니다. 여기에 트루오디오, 소프트웨어, off의 3가지가 있는데 트루오디오를 선택하면 HiFi EP DSP를 탑재한 라데온과 APU에서 컨볼루션 리버브 처리를 하고, 소프트웨어는 CPU와 메인 메모리를 써서 처리합니다. off는 당연히 사용 안함.

 

또 실제 소리가 어떻게 나는지를 들려드리기 위해 축력된 소리를 독일 RME의 외장 사운드인 Fireface UCX로 입력을 받아 맥 미니에서 동작하는 Avid의 DAW(Digital Audio Workstation) 소프트웨어인 ProTools| 11를 사용해 녹음했습니다. HD 오디오의 스펙 때문에 출력은 16bit/48kHz지만 입력은 24bit/192kHz입니다.

테스트 설명을 하자면 여기선 컨볼루션 리버브의 효과가 가장 뚜렷하게 들리는 Ambient를 듣는 식으로 테스트를 했습니다. 허나 이 소리는 원래 재생 볼륨이 낮고 리얼텍 HD 오디오 코덱의 출력도 그리 높진 않습니다. 녹음을 할 때 출력 수준을 최대로 했지만 그래도 모자란지라 Fireface UC측에서 입력을 +18dB로 높였습니다.

 

다만 녹음 후 처리는 비트 레이트와 샘플링 레이트의 16bit/48Hz 외에는 일절 더하지 않았습니다. 그래서 아래 사운드에는 게임 사운드의 재생 직전/직후의 노이즈가 포함돼 있습니다.

 

정리하면 PC의 리얼텍 내장 사운드 코덱에서 출력된 소리를 리니어로 증폭해서 쉽게 구분할 수 있게 한 뒤, 16bit/48kHz로 변환한 소리를 업로드한 것입니다.

 

트루오디오에서 씨프의 소리는 더욱 리얼해진다

아래 4개의 파일이 씨프의 실제 게임 사운드입니다. 

 

 

씨프를 시작한 직후. 왼쪽의 창문을 통해 바깥의 소리가 들리게 됩니다.

 

트루오디오를 사용하지 않을 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene1-TrueAudioOFF.wav
트루오디오를 사용할 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene1-TrueAudioON.wav

 

 

밖으로 나와서.

 

트루오디오를 사용하지 않을 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene2-TrueAudioOFF.wav

트루오디오를 사용할 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene2-TrueAudioON.wav

 

 

조금 더 진행해서 방 안으로.

 

트루오디오를 사용하지 않을 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene3-TrueAudioOFF.wav 

트루오디오를 사용할 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene3-TrueAudioON.wav 

 

 

캐릭터가 처음으로 등장하는 장면.

 

트루오디오를 사용하지 않을 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene4-TrueAudioOFF.wav 

트루오디오를 사용할 때 http://file.4gamer.net/hw/sound/2014/08/23/Scene4-TrueAudioON.wav

 

들어보면 알겠지만 컨볼루션 리버브를 쓰지 않고 출력하면 저주파와 고주파 대역이 모두 제대로 재생됩니다. 오디오로 이야기하자면 바로 그것이 Hi-Fi인 셈입니다. 그에 비해 트루오디오를 활성화하면 저주파와 고역이 모두 떨어지고 노이즈도 늘어납니다.

 

앞서 설명한대로 위에 링크한 사운드 파일은 모두 내장 사운드의 아날로그 2채널 출력을 녹음한 것입니다. 테스트 결과 2채널로 출력할 땐 입체감이 줄어들어 모노 비슷하게 되지만 5.1채널에선 서라운드를 유지한 채 둔해지게 됩니다. 다만 전체적으로 저주파와 높은 대역이 떨어지고 노이즈가 늘어난다는 경향 자체는 2채널이나 5.1채널 모두 마찬가지입니다.

여기서 알아둬야 할 것은 이렇게 늘어난 노이즈는 의도하지 않은 것이 아니라 컨볼루션 리버브에서 일부러 추가한 노이즈라는 것입니다. 무음실 같은 특수 공간이 아닌 이상 현실 세계에서 잔향이 존재하지 않는 공간은 없습니다. 무향실에서 울리는 소리와 잔향과 노이즈가 있는 소리 중 어느 쪽이 보다 현실적인 소리일까요?

 

음악 제작자인 글쓴이는 여기서 실제 경험을 이야기합니다. DTM 음원의 바이올린 소리를 재생할 때 잔향 소리를 넣기 위해 디지털 리버브를 추가하면 깨끗하게 들립니다. 그러나 헐리우드 영화 음악 등의 녹음에 사용되는 오케스트라용 대형 녹음 스테이지인 Scoring Stage나, 유럽의 오케스트라 연주회용 홀 등의 IR 데이터를 사용해서 컨볼루션 리버브를 적용하면 같은 바이올린 소리여도 분위기가 달라집니다.

 

한 마디로 음악을 제작할 때는 실제 소리와 같은 노이즈를 넣습니다. 물론 재생 디바이스 쪽은 이야기가 다릅니다. 최대한 HiFi일수록 좋습니다. HiFi 디바이스에서 실제 환경에 맞춰 노이즈가 들어간 소리를 재생하면 현실적인 소리가 나지만, 재생 능력이 떨어지는 기계에선 그저 음질이 나쁜 소리가 날 뿐이니까요.

그럼 실제 바이올린 소리를 사용한 데모를 들어 봅시다. 이것은 오스트리아 Vienna Symphonic Library의 Vienna Instruments:Orchestral Strings I를 이용한 바이올린 소리인데요. 리버브를 사용하지 않은 경우, 디지털 리버를 사용한 경우, 컨볼루션 리버브를 사용한 경우의 3가지를 준비했습니다.

 

좀 더 구체적으로 말하면 전용 호스트 어플리케이션 Vienne Ensemble Pro 5에서 Vienna Instrumens Pro의 Orchestral Strings I 라이브러리를 불러와 14명 편성된 바이올린을 특별한 처리 없이 바로 재생. 이것을 Pro Tools| HD 3 Accel 시스템으로 녹음했습니다.

1. 처리가 안 됐을 때

http://file.4gamer.net/hw/sound/2014/08/23/VI14-DRY.wav

 

2. Waves Audio의 룸 시뮬레이터 TrueVerb의 프리셋인 Large Concert II로 디지털 리버브 처리

http://file.4gamer.net/hw/sound/2014/08/23/VI14-TrueVerb.wav

 

3. Waves Audio의 컨볼루션 리버브 알고리즘 처리 도구인 IR-L에서 Philharmonic Hall의 16번째에 수록된 IR 데이터를 불러워 리버브 처리한 것

http://file.4gamer.net/hw/sound/2014/08/23/VI14-IR-L.wav

이렇게 3개입니다. 모두 16bit/48kHz의 비압축 PCM스테레오입니다. Viennea Instruments 라이브러리는 반향이 없는 공간에서 녹음한 것이라 리버브 처리를 적용했을 때의 차이를 알기 쉬운데, 이를 헤드폰으로 들어보면 어느 쪽이 더 깨끗하고 어느 쪽이 더 노이즈가 있으며 현실적인지를 판단할 수 있을 것입니다.

게임 사운드는 처음부터 하이파이를 지향하며 모든 대역에서 제대로 재생하도록 설계돼 있습니다. 이것이 컨볼루션 리버브를 거치면 완벽하진 않아도 현실감이 상당히 늘어납니다. 2채널 사운드여도 5.1채널 서라운드보다 현실감은 더 뛰어납니다.

 

이를 바탕으로 앞서 링크했던 4개의 녹음 파일을 보면 첫번째는 피리 소리가 틀어박혀 멀리서 울리는 느낌이 강해집니다. 두번째 녹음에선 환경에서 나오는 소리를 포함해 노이즈의 음량이 커지니 전체에 컨볼루션 리버브가 걸려있다는 것을 알 수 있습니다. 

 

 

독일 Steinberg의 소프트웨어인 WaveLab 8을 이용해서 녹음한 첫번째 웨이브 파형의 차이.

 

 

두번째 웨이브 파형. 왼쪽이 트루오디오를 사용하지 않을 때, 오른쪽이 사용하지 않을 때인데 트루오디오를 쓰면 진폭이 약해집니다.

 

 

WabeLab 8에서 가시화한 세번째 파일의 웨이브 파형.

 

세번째 녹음 파일에선 파형의 상하 진폭이 작은 부분-항상 재생되는 환경 소리 부분-이 트루오디오를 쓰면서 보다 작아지고 있습니다. 이것은 음량이 작은 오디오 신호인 환경 소리의 낮은 대역과 높은 대역이 IR 데이터에 맞춰 트루오디오 처리됨으로서 약화되기 때문입니다.

 

반향이 없는 무향실에서 녹음하면 모든 대역에서 소리가 고루 잘 나오는 하이파이 녹음이 가능하지만, 노이즈가 있는 곳에선 그 정도로 큰 본륨으로 녹음되지 않습니다. 그래서 실내 상황을 이용한 파형에서 두드러지게 나오는 것입니다.

 

파형은 모든 주파수 대역의 합산값(=세로축)을 시간의 흐름(가로축)에 따라 표시한 것이기에 신호 에너지가 큰 저주파가 줄어들면 파형의 진폭(합산값)은 줄어들게 됩니다. 

 

 

네번째 파일의 웨이브 파일.

 

네번째 녹음에서 주목해야 할 것은 진폭이 큰 곳의 파형이 투루오디오를 켰을 때나 껐을 때에 별 차이가 없다는 것입니다. 씨프에서 일반적인 대화는 컨볼루션 리버브가 적용되지 않았던 셈입니다. 이것은 용량 384KB의 SRAM과 라데온 R9 290X 기준 4GB의 비디오 메모리도 싱글 컨볼루션 리버브만 가능했기 때문입니다.

 

현재 음악 제작의 컨볼루션 리버브에는 싱글과 멀티가 있습니다. 싱글의 경우 특정 공간의 한 점에서 재생한 음원을 사용하는 반면, 멀티는 여러 지점에서 음원을 재생해 그 계측 결과가 다수인 IR 데이터를 사용하게 됩니다.

 

만약 10곳에서 음원 재생한 IR 데이터 10개를 멀티 컨볼루션 리버브로 사용했을 경우 그 데이터 용량은 싱글 컨볼루션 리버브의 10배가 됩니다. 실제로 음악 제작용 컨볼루션 리버브 알고리즘으로 판매중인 Vienna Orchestral Library의 MIR은 재생 장소의 수십곳에서 계측을 실시한 결과이며 몇 GB의 메모리 용량과 스토리지 캐시, 여기에 따르는 CPU 자원을 필요로 합니다.

 

만약 게임에서 쓰기 위해 줄였다 하더라도 싱글 컨볼루션 리버브에 비해 수십배의 CPU와 메모리 지원이 필요하다는 건 설명할 필요도 없습니다. 음악 제작 쪽에서 싱글과 멀티 중에 뭐를 골라야 하는지는 접어두고, 씨프의 첫 장면에서 컨볼루션 리버브의 활용은 낮습니다. 재생 기기에 따라선 차이점을 알 수 없을 수준일 것입니다. 가능하면 플레이 장소의 소음을 줄이고 볼륨을 높여야 환경 음향을 알아들을 수 있겠지요.

 

 

씨프의 프레임 레이트 개선 효과는 분명하지만 무시해도 되는 수준

지금까지 트루오디오의 효과를 봤습니다. 그런데 아까 씨프의 컨볼루션 리버브 설정에서 소프트웨어 처리를 선택 가능했던 것을 기억하고 계신가요? 사실 트루오디오나 소프트웨어 모두 컨볼루션 리버브의 효과는 같습니다. AMD도 트루오디오를 써서 컨볼루션 리버브를 처리하면 DSP의 오프로드와 앞으로 등장할 복잡한 오디오 스트리밍 지원이라고 답한 바 있습니다.

 

따라서 씨프에서 트루오디오를 사용할 때 생기는 장점은 CPU와 메모리 부하를 줄이는 것 뿐이라 볼 수 있겠는데요. 그럼 프레임 레이트는 얼마나 차이가 날까요. 위에서 소리를 재생했던 장면을 실제로 플레이해서 프레임 변화를 측정해 봤습니다. 100% 똑같은 장면이 반복되는 것은 아니나 첫 장면은 고정된 경로로 진행되는지라 별 문제는 아닐듯.

 

 

씨프의 컨볼루션 리버브 설정을 바꾸며 측정한 프레임 레이트의 변화

 

 

평균값의 집계. 차이는 거의 없습니다.

여기에 대해서는 AMD도 '씨퓨 자체가 CPU 자원을 크게 소모하는 타이틀이 아니라서, CPU에 의한 소프트웨어 처리와 트루오디오에서 처리하는 것의 결과는 크게 차이나지 않음'이라 말합니다. 요켠대 현존 PC에서 싱글 컨볼루션 리버브를 돌리는 수준의 부하는 따로 DSP에 넘길 수준까지도 아니라는 것입니다.

 

 

콘솔 게임기를 포함하는 장대한 계획. 트루오디오

지금까지 트루오디오와 씨프에서 컨볼루션 리버브가 어떤지를 살펴봤습니다. 사운드 처리에서 CPU와 메모리의 부하는 게임 개발을 할 때 매우 신경쓰이는 부분입니다. 이 때 트루오디오가 있다면 무거운 효과를 외부 dSP로 넘겨 부하를 줄이고 확실한 자원을 쓸 수 있다는 장점이 있습니다.

 

최종 사용자 입장에서 보면 그동안 하이파이 방면으로 향하던 게임 업계가 트루오디오와 컨볼루션 리버브를 계기로 잔향과 노이즈를 더해 현실감을 추구하는 영화 업계와 같은 방향으로 나아가, 현실감을 더하고 게임 몰입감을 한단계 더 높여줄 것으로 기대할만 합니다.

 

또 씨프가 컨볼루션 리버브를 쓴다고 해서 트루오디오가 컨볼루션 리버브 전용 기능인 것도 아닙니다. AMD는 컨볼루션 리버브가 어디까지나 1단계이며 다음에는 2채널 스테레오 헤드셋에서도 충분한 서라운드 체험을 할 수 있도록 하는 Spatialized Audio를 도입할 예정입니다. 장기적으로는 보다 많은 오디오 스트림을 게임에서 쓰도록 하는 것도 검토중이라네요. 참고로 Spatialized Audio는 예전부터 있었던 스테레오 강조 기술로 스테레오 음원의 좌우 분리감을 더욱 명확해지도록 하는 기술입니다.

 

이렇게 보면 많은 가능성을 보게 되는 트루오디오지만 이를 지원하는 제품이 매우 적다는 게 현 시점에서 가장 큰 문제입니다. 라데온과 A 시리즈 APU 중에도 지원하지 않는 제품이 많다는 건 시간이 흐르면 해결될 문제이나 경쟁사인 NVIDIA가 트루오디오를 지원할 가능성은 없습니다. 라데온과 APU에서만 트루오디오를 쓸 수 있다면 AMD가 아무리 잘해도 게임 개발자와 사용자 사이에서 보급되긴 힘들 것입니다.

또 앞서 이야기한대로 싱글 컨볼루션 리버브라면 현 세대의 CPU와 메인 메모리로도 충분하며 일부러 DSP로 넘길 이유가 없습니다. 그렇게 하지 않아도 소프트웨어 처리로 감당이 됩니다. 그럼 트루오디오를 위해서 라데온과 A 시리즈 APU를 일부러 고를 이유는 없는 셈입니다. 

 

 

PS4의 커스텀 APU가 트루오디오 기반 DSP를 통합할 것이라 밝히는 Dominic Mallinson(Vice President of Research and Development, Sony Computer Entertainment America) 

 

그럼 왜 트루오디오에 AMD가 이처럼 신경을 쓰고 있는 것일까요. 그건 바로 콘솔 게임기 때문입니다. PS4와 Xbox One의 메인 프로세서는 모두 AMD의 커스텀 APU를 씁니다. 그리고 PS4의 APU는 트루오디오 기반 DSP를 통합했다고 소니가 인정한 바 있습니다.

 

물론 API(Application Program Interface. 소프트웨어를 개발할 때 이용 가능한 명령이나 함수의 집합체)가 PC용과 다를 수 있으니 '트루오디오'가 아니라 '트루오디오 기반'이라고 표현했을 수도 있지만, API의 차이는 Wwise나 FMOD 같은 미들웨어가 흡수해 줄 것이니 트루오디오 그 자체라고 생각해도 큰 문제는 없을 것입니다.

 

또 공개된 정보가 별로 없는 Xbox One도 Tensilica의 DSP를 통합한 것으로 알려졌습니다. 그것이 맞는지는 확인하지 못했으나 만약 정말일 경우 그 DSP가 트루오디오와 전혀 연관이 없을 것이라 생각하기도 어렵습니다.

 

이렇게 보면 사정이 달라집니다. 라데온과 A 시리즈 APU를 탑재한 PC, PS4, Xbox One에서 트루오디오나 트루오디오 기능의 크로스 플랫폼 지원이 가능해지기 때문입니다. 게다가 현 세대의 콘솔 게임기의 경우 게임 PC와 비교하면 CPU 성능이 뒤떨어지기에 일부 오디오 처리를 트루오디오에서 할 수 있다면 이를 도입하는 게임 개발자도 늘어날 것입니다. 아마도 AMD는 그것이 이어져 PC 게임 시장에서 자사의 우위성을 구출할 것이라 생각하고 있는 거 아닐까요.

 

다른 부분에서 보면 트루오디오나 브로드웰처럼 오디오 DSP 채용이 거의 비슷한 시기에 일어나며 DSP 오프로드가 트렌드처럼 됐다는 것도 재밌는 일입니다. 트루오디오와 브로드웰은 같은 DSP 오프로드라 해도 CPU 부하를 줄이고 기능을 추가하는 것과 순수한 부하 감소라는 점에서 서로 목적이 다르지만 뭐든지 CPU로 처리하던 상황에서 벗어나 DSP를 쓴다는 건 눈여겨 볼만한 점입니다.

 

어쨌건 트루오디오는 지금 보이는 것 이상으로 가능성을 느낄 수 있습니다. AMD가 바라는 대로 쉽게 되지 않을지도 모르나 장기적으로 두고 볼만한 기술일 것입니다.