안투투는 종합벤치라 CPU와 GPU 발열이 장난 아니죠. A11이 HMP 지원이기도 하고 모든 코어 돌고 GPU도 쓰고 하면 쓰로틀링 장난 아닐겁니다. 아이폰은 이제 순간성능 위주로 올리고 지속성능은 포기한듯합니다. 마치 인텔 코어M CPU 처럼 펜리스 타입 같은 경우겠죠. 모바일폰이 지속성능이 필요없기도 하지만 긱벤치의 중간중간 쉬는텀이 있는 방식이면 점수가 엄청 부풀려 나올수밖에 없지싶습니다. 잠깐만 쉬어도 성능이 회복되는게 모바일 CPU니...

왜 긱벤치를 믿고 거르시는지 모르겠네요. 혹 x86과 비교하는거 얘기면 그럴 수 있다지만 적어도 모바일 벤치마크 중에 긱벤치 정도로 신뢰성 있는 벤치마크가 오히려 얼마 없죠. 저는 백서도 찾을 수 없는 안투투보다는 긱벤치를 더 신뢰합니다. 게다가 A11 이전의 CPU까지는 긱벤치를 반복해서 돌리는 테스트를 수행했을 때 아이폰의 스로틀링 특성은 항상 최상위권에 있었습니다.

다만 이번 A11의 경우 HMP로 얻어진 성능이 있다보니 해당 부분은 지속 사용시 떨어질 수 있다고 봅니다. 이건 테스트를 직접 해본 뒤 말씀드리는걸로 하겠습니다.

x86 비교는 영 이상한 수준인데, 그거조차도 개발자는 충분히 신뢰성 있으며 실제로 x86과도 점수로 직접 비교할 수 있다고 끝까지 주장한다는 점에서 한번 거르고,
계속 버전 바뀔때마다 점수 변하는 양상도 솔직히 좀 이상하거든요.

그리고 믿거긱은 그냥 제가 하는 소리가 아니라 예전부터 흔히 나오던 얘기니까요. 근데 언제부턴가 뜬금없이 신뢰되는 벤치가 됐더라구요? 물론 애초에 현재 모바일 벤치 중에 신뢰할 만한게 워낙 없으니 그럴지는 모르겠는데, 개인적으로는 긱벤치도 신뢰도 높게 못주는건 마찬가지에요.

확인이 늦었네요.

기본적으로 다른 명령어 셋 아키텍처를 가진 프로세서들 사이에서도 같은 코드를 각각의 컴파일러로 컴파일하고 해당 바이너리 파일의 실행 속도를 기준으로 성능을 분석할 수 있다는 것은 컴퓨터 공학에서 자명한 사실입니다. 긱벤치 개발자의 x86과 비교가 신뢰성이 있다는 이야기는 이런 이론적 배경을 두고 있고, 실제로 말도 안되는 이야기가 아닙니다.

물론 어떤 프로그램들을 돌려서 성능을 측정하는지에 따라 성능이 달라질 수 있습니다. 일반적으로 우리가 벤치마크에 사용하는 프로그램과 긱벤치 4의 시나리오들의 구성이 다르기 때문에 우리가 생각하는 것보다 x86의 성능이 과소평가되는 현상이 발생할 수는 있지요. 예를 들어 AVX 등의 벡터 연산을 사용하는 시나리오가 많이 포함되게 된다면 인텔 프로세서의 성능이 훨씬 더 높게 나오겠지요.

버전 바뀐다는 게 긱벤치 2에서 3, 3에서 4와 같은 메이저 버전업을 말씀하시는 거면, 데이터 셋이 달라지고 벤치마크 시나리오가 달라지는 점수가 바뀌는 게 당연합니다.

그리고 무엇보다 긱벤치는 자사의 벤치마크 시나리오에 대한 설명과 함께 어떤 컴파일러를 이용해 컴파일되었는지, 점수는 어떤 방식으로 산정되고 합산되는지에 대한 백서를 공개합니다. 반면 안투투는 이런 백서를 찾아볼 수가 없죠. 둘 중 어느 쪽이 더 믿음직스러운지는 자명하다고 보입니다. 그리고 긱벤치는 백서가 공개되어 있으니, 긱벤치가 신뢰성이 떨어진다고 말씀하시려면 해당 백서를 보고 어떤 면에서 긱벤치의 신뢰성이 떨어진다 정도로는 주장해 주셔야 될듯합니다.

애초에 안투투는 신뢰할만하다고 한 적이 없습니다. 그냥 제가 보기엔 신뢰를 못하겠다는 점에서 다 비슷한데, 결과가 이렇게 차이나니 더더욱 어느 한쪽을 보고 이렇다 할 상황이 못 되는 것 같다는 거죠.

그건 그렇고, 그게 자명하다는게 여기서 의미 있는건 아니죠. 당연히 같은 코드를 각 아키텍쳐에 맞는 컴파일러로 컴파일해서 실행속도 비교할 수 있지만, 애초에 아키텍쳐가 다르다는점에서, 언급하신 내용과 같은 맥락에서 그 '같은 코드'의 워크로드 자체가 특정 아키텍처에 더 최적화 되어있거나, 더 최적화 되기 쉬울 수 있고, 컴파일러도 각각의 아키텍쳐에 따라 최적화 수준이 어느정도 되는 바이너리를 만들어내는 걸 쓴건지에 따라 달라지는 거고, 뭐 이런 면에서 애초에 크로스플랫폼 벤치마크 자체가 어렵긴 합니다만, 여튼 긱벤치의 현재 결과를 그냥 무조건적으로 수용하는게 더 이상하다는 거죠.

근데 제가 '글쎄, 아직은 벤치마크 결과 그대로 받아들일 정도는 좀 아니지 않나'라고 생각하는데 있어서 굳이 그 백서 내용에 대해 일일이 어떤 부분에서 어떻게 신뢰성이 떨어진다는 얘기할 정도로 그걸 따져보는건 솔직히 말이 안되잖아요?
작정하고 따지려면 각 워크로드 및 특정 구현에 쓴 명령어셋 특성, 각 아키텍쳐 전반의 특성, 컴파일러 특성 등 전부 따져야될텐데, 이런거 전부 다 알기도 힘들고, 그냥 직접 벤치마크 디자인하는게 아니고서야 뭐하러 이런걸 작정하고 따지고 있겠어요?

백서 얘기하셨는데, 더 자세한 내용이 담긴게 따로 있다거나 논문이라도 있는지는 모르겠지만 그냥 검색한번으로 바로 나오는것만 봐선 그냥 이런 워크로드 썼고, 이런 컴파일러 썼고, 어떤 워크로드의 경우 이런 명령어셋 써서 구현했고, 점수 비율은 이렇고 그런 내용이 있을 뿐이지, '왜'라는건 딱히 나오지도 않고, 제대로 근거가 확실한것도 아닌데 이걸 신뢰할 만한다고 하는게 더 이상한거 같네요.

반대로 말하신듯....안투투는 종합벤치겸 지속성능 테스트고 긱벤치가 CPU,GPU 따로 테스트하는 순간성능 테스트 입니다. 긱벤치가 아이폰에 유리한 테스트죠.