물론, 저는 예전부터 완전한 이기종 명령어 집합 기반일 경우에는 그 명령어 집합이 지원하는 명령어의 태생적 차이도 있는 만큼 이 부분에 대해서는 크게 취급하지는 않았었습니다.
취급하여도, 보통은 더 복잡한 명령어 특성으로 이점도 패널티도 모두 가지던 AMD64를 더 가점을 주었으나, 공정의 이점과 ARM 명령어셋의 발전, 그리고 이를 지원하는 실제 결과물들도 AMD64에 비견될 수준의 설계를 하고 있음을 받아 들였죠.
그래서 지금은 1:1 대응 비교는 불가능 해도, 각각의 특성적 차이에 따라 성능상 우열의 여지는 분명히 있는 비견되는 수준이라 생각하고 있습니다.
그래서, 완전하게 신뢰할 수준은 아니라 생각하지만서도 어느정도 참고의 자료로서 크로스 플랫폼 벤치마크 성적도 나름 용인하려 하였습니다.
솔직한 심정으로는 개인적으로 ARM과 AMD64의 이기종 명령어의 성능 비교는 제한적인 상황이라지만 완전하게 통제된 macOS나 Linux 또는 Windows 11에서 진행해야 한다고 생각합니다.
당연하게 호환성 모드를 배제하고, 그저 순수하게 그 시스템이 구동되는 AP에 맞게 컴파일된 그 OS 전용 벤치마크로 다른 OS와의 비교 없이 그 OS에서의 성능만으로 비교를 하는 것이 맞다고 생각합니다.
물론, 이기종을 지원하면서 , 커널 계층부분부터 일반 API 영역까지 차이점이야 다르긴 하겠으나, 완전히 다른 OS에서 그 OS에 맞는 API를 호출하는 것과 그나마 거의 유사한 구조의 API를 공유하는 것 사이의 결과는 하늘과 땅 차이겠죠.
하지만, 이 부분은 시간이 지나면 지날 수록 더욱 괴리감이 커지는 것 같습니다.
그 이유는 벤치마크가 제공하는 벤치마크의 성적과 실제 경험과의 차이가 매우 크기 때문이라 생각합니다.
여러 이유가 있겠지만, 크로스 플랫폼들은 최대한 다양한 플랫폼에 벤치마크를 제공해야 하는 만큼, 그들이 내놓는 벤치마크는 항상 가장 최신 API를 기준으로 설계가 됩니다.
당연하게, 그들 입장에서 구형 API를 위해 추가적인 자원을 소모해 벤치마크를 개발하는 것은 자원의 낭비일 것이라 생각합니다.
무엇보다 플랫폼 홀더 입장에서도 굳이 구형 API로 최신 벤치마크와 동일하게 부하를 준다면 지금 현행 API로 부하를 줄 때보다 더 낮은 성능이 보일 것이 뻔하니 반대를 할 것이 보이죠.
(구형 API의 고질적 문제로 인해 탄생한 것이 최신 API이니까요.)
물론 구형 API를 지원하는 구형 벤치마크도 존재하지만, 이러한 구형 벤치마크는 예전에 출시된 낮은 성능 제품들을 기준점으로 설계가 되었기에 현시점의 제품들은 점수를 측정하는 것이 무의미하지요.
그러나 실제 돌아가는 앱을 확인하면, 이야기가 다릅니다.
그나마 애플의 경우는 자기들이 레거시를 칼 같이 쳐내는 것으로 유명한 기업이라 그런지 개발사들이 어쩔 수 없이 앱을 팔기 위해서는 강제적으로 신 API를 적용하거나 앱 개발을 중지해야합니다.
반대로 구글이 주도하는 안드로이드의 경우는 Vulkan이 표준으로 채택된 지금도 절대 다수는 OpenGL을 기반으로 나오거나 Angle 같은 라이브러리를 이용하여 OpenGL을 Vulkan으로 번역하는 꼼수를 부리고 있죠.
사실 이 이유는 Vulkan이 OpenGL보다 복잡하다는 이유도 있지만, 어쨌든 레거시를 끊을 필요가 당장 안보인다는 점도 무시 못한다 봅니다.
그리고 이 지점에서 서로 다른 API를 지원하는 크로스 플랫폼 (그것도 하나의 API로 단일화 되어 있지 않은 상황이라 실제 그 플랫폼을 사용할 때 그 API를 사용할지를 보장할 수 없는 환경) 사이의 벤치마크 비교가 정말 의미가 있는지 심히 의심이 들더군요.
벤치마크와 같은 결과를 얻으려면, 벤치마크는 아니지만 벤치마크처럼 최신 API를 정확하고 가장 성능을 극대화하는 방행으로 적극적인 사용을 해야 할 것이 전제 조건인데, 이러한 환경을 모든 플랫폼에서 동일하게 보장할 수 있는 앱이 존재하는지 조차 의문이니까요.
존재한다고 해도 여러 플랫폼에 적극적으로 지원할 수 있을지 조차 의문이고요.
당장, 애플에서 킬러앱이라 불리는 굿노트는 안드나 PC판은 그걸 할 자원이 없으니 웹앱으로 때웠죠.
이게 가능하게 하려면, 기기와 소프트웨어를 모두 한 회사가 만들고 매년 레거시를 지원을 끊으면서도 그걸 감당 가능한 점유율과 헌금 보유고가 있는 회사, 애플 외에는 없잖아요.