다이렉트 X 12와 벌칸을 비롯한 차세대 3D API 기반의 게임에선 테스트에 문제가 있습니다. 그건 프랩스(Fraps)로 프레임 측정이 불가능하다는 것. 그래서 인텔은 PresentMon을 개발해 윈도우 10에 포함된 이벤트 추적 기능을 사용, 3D 그래픽 렌더링에 걸리는 시간을 측정할 수 있게 했습니다. 허나 사용 방법이 불편하고 이를 실행하는 런처 프로그램도 썩 편하진 않다는 단점이 있는데요.
AMD는 라데온 소프트웨어 크림슨 리라이브 에디션과 함께, 오픈 소스 GPU 기반 애플리케이션 개발 지원 프레임워크인 GPUOpen 기반으로, 프레임을 측정하는 프로그램인 OCAT(Open Capture Analystics Tool)이란 툴을 발표했습니다. NVIDIA의 FCAT(Frame Capture Analysis Tool)을 염두에 둔 이름 같긴 한데, 과연 이건 어떨까요?
OCAT 는 PresentMon과 마찬가지로 Present 메소드를 사용하여 프레임 속도를 측정하는 툴입니다. 이번에 사용한 것은 버전 0.9.9.26451 베타이며, 실행하면 이런 설정 화면이 뜹니다. 각각의 타일을 눌러서 값을 바꾸며, 항목의 설명은 다음과 같습니다.
Recording Hotkey : 측정을 시작하는 단축키를 바꿉니다. 기본값은 F11. 펑션키와 다른 키의 조합은 불가능합니다.
Recording Time Period in Seconds : 측정 시간을 초 단위로 지정합니다. 기본값은 60초.
Capture All Applications / Capture Single Application : 측정할 애플리케이션을 지정합니다. 기본값은 Capture All Applications로 활성화된 애플리케이션을 측정합니다. Capture Single Application은 단일 애플리케이션만 측정하는 것으로 이를 선택하면 윈도우 표시가 약간 변화하며, 거기서 Select target executable을 클릭해 실행 파일을 지정하는 것이 가능합니다.
Write performance summary: 측정 결과의 요약입니다. 평균 프레임 속도와 평균 프레임 시간(1프레임을 렌더링하는데 필요한 평균 시간), 프레임 타임의 99%(최대값을 제외한 나머지 99%만 사용)을 가지고 데이터 파일로 출력합니다.
Write detail performance repor: 프리셋 방법에 대한 자세한 보고서를 파일로 출력합니다.
Record performance for all processes: 게임을 다수 실행할 경우 프로세스마다 따로 측정해 보고서 파일을 만듭니다. 비활성화하면 현재 포그라운드에 올라온 창만 측정합니다.
Start: 시작입니다. 화면 우측 상단에 프레임 속도와 시간이 표시됩니다.
Capture Single Application을 선택하고 실행 파일을 지정했습니다. Target executable에 지정한 실행 파일이 표시됩니다.
시작하면 이런 식으로 프레임 속도와 프레임 타임이 오버레이 표시됩니다.
여기에서 단축키를 누르면 Capture Started가 뜨면서 실제 측정을 시작합니다.
미리 정해둔 시간이 지나면 Capture Ended란 문구와 함께 측정 결과가 나옵니다. 이것은 OCAT Configuration에서 Write performance summary를 체크하면 만들어내는 요약 데이터지만, 일일이 파일을 열지 않아도 보여주니까 매우 편리합니다.
다만 지포스 그래픽카드에서 다이렉트 X 12 모드의 배틀필드 1은 프레임 속도/프레임 타임의 실시간 표시가 작동하지 않고, 유니버셜 윈도우 플랫폼 기반의 포르자 호라이즌 3에서는 지포스와 라데온 모두 오버레이 표시가 되지 않았습니다. 아직 베타 버전이니 개선이 많이 필요할 듯.
또 사용자 이름\OCAT\Recordings에 데이터가 기록되는데, 이렇게 만들어진 csv 파일은 PresentMon의 로그 파일과 같습니다. 그래서 PresentMonLauncher에 OCAT 보고서 파일을 불러오면 최소 프레임 속도를 산출하는 것도 가능합니다. 아직 OCAT에 최소 프레임 산출 기능은 없으니 이런 식으로 활용해도 괜찮을 것입니다.
그럼 OCAT 점수를 얼마나 신뢰할 수 있는지 테스트가 필요하겠지요. 지포스 GTX 1080, 지포스 GTX 1060 6GB, 지포스 GTX 1050 Ti, 라데온 R9 퓨리 X, 라데온 RX 480, 라데온 RX 460을 가지고 테스트했습니다. OCAT에서 평균/최소 프레임을 측정하고 그 점수를 PresentMonLauncher, FCAT의 점수와 비교해 신뢰도를 확인했습니다.
다른 환경은 코어 i7-6700K, Z170 메인보드, 16GB DDR4 메모리, 지포스 376.19 드라이버, 라데온 소프트웨어 크림슨 리라이브 에디션 16.12 드라이버를 사용했습니다.
테스트용 게임은 다이렉트 X 12 모드의 배틀필드 1, 벌칸 모드의 둠, 다이렉트 X 12의 포르자 호라이즌 3를 사용했습니다. 허나 FCAT는 벌칸을 지원하지 않아 제대로 된 비교는 배틀필드 1 뿐. 호환성에서는 OCAT가 낫다는 결론이 나올 법도 합니다.
그리고 이건 어디까지나 그래픽카드 사이의 성능을 비교하는 것이 아니라, 벤치마크 툴의 정확도를 비교하는 것이니 그래픽카드의 성능 비교용으로 쓰기엔 맞지 않는 데이터입니다.
그렇게 나온 게 위 결과입니다. 배틀필드 1에선 OCAT의 프레임이 낮고 FCAT가 높지만 대체로 평균 프레임이나 최소 프레임 모두 큰 차이가 나진 않았습니다.
최고 프리셋에서 1920x1080 해상도의 프레임 변화를 비교한 것입니다. 테스트 환경이 항상 같진 않지만 전체적으로 비슷한 편이며, FCAT에 비해 OCAT나 PresentMonLauncher의 결과가 더 안정적으로 보입니다.
이번엔 둠입니다. 여기에선 OCAT와 PresentMonLauncher만 비교했는데 여기에서도 큰 차이는 없으며 비슷한 결과를 기록했네요.
OCAT에서 측정한 포르자 호라이즌 3입니다. 유일하게 UWP 기반 게임에서 쓸 수 있다는 점은 높게 평가할 만 합니다.
이렇게 보면 OCAT의 신뢰성은 매우 높습니다. 아직 특정 애플리케이션이나 GPU 조합에 문제가 있으나, 오픈 소스이기도 하고 베타 버전이니 업데이트를 기다려 볼만 합니다.
아무개
임시닉네임
