M1 max 32코어 GPU에서 Tensorflow 벤치마크

Colorful https://gigglehd.com/gg/11150159

조회 수 5652 댓글 22

Extra Form
참고/링크	https://github.com/tlkh/tf-metal-experiments

신규 M1 칩들이 GPU 성능이 많이 좋아졌다고 해서 Tensorflow 성능은 어떨까 궁금했는데, 마침 따끈따끈한 벤치마크 자료가 있어서 찾아와 보았습니다.

테스트는 M1 MAX 32코어 GPU에서 Tensorflow Metal 버전으로 진행하였다고 합니다.

아래는 동일한 모델을 RTX 3090이 장착된 PC에서 돌렸을 때의 결과입니다. 혼합 정밀도와 JIT 컴파일로 추가적인 최적화가 들어가서 큰 차이를 보이는 듯 합니다.

같은 모델 중 ResNet50을 제 RTX 2080Ti PC에서도 돌려보았습니다. JIT 없이 초당 320장을 처리하는 것으로 나오네요.

----------------------

다른 유저가 같은 벤치마크 결과를 추가하였습니다.

각각 M1 7코어 GPU, RTX A100 40GB 입니다.

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '22'

?
1N9 2021.10.27 17:21

텐서플로우 성능은 별로 좋지 못하네요
Colorful 2021.10.27 17:23

Tensorflow Metal이 아직 베타버전이고, 텐서 코어 같은 하드웨어가 없으니 어쩔 수 없는 듯 합니다.

개인적으로는 너무 실망스러운 성능이네요..
Elsanna All hail the Queen of Snow! 2021.10.27 17:40

뉴럴엔진이 텐서코어같은 역할을 하긴 한다지만 문제는 이게 아직 텐서플로우에 오픈이 안되었다는거고 더큰문제는 그마저도 뉴럴엔진이 아이폰이던 M1이건 M1pro/max건 동일한 규모라는거겠죠
Colorful 2021.10.27 17:51

Tensorflow metal로 포크 되기 전에 뉴럴엔진으로 가속하는 MLCompute 버전도 있었는데 그렇게 높은 성능은 아니었던 걸로 기억합니다.

M1 Mac이 아직 수중에 있으니 시간날 때 동일한 벤치를 한번 돌려봐야겠네요
?
webos115 2021.10.27 18:01

뉴럴엔진 같은건 추론 위주라 최적화되더라도 큰 성능이 안나올 확률이 큽니다
?
1N9 2021.10.27 20:38

하긴 레이트레이싱 계산하기 위해 텐서코어를 역대급으로 박아놨으니 ㄷㄷ

이 부분은 전용하드웨어 추가 없이는 따라잡기 힘들겠네요
?
CyBerry 2021.10.27 18:18

모바일넷에서 유독 차이가 심한 건 신기하네요
?
NPU 2021.10.27 19:07

뉴럴엔진은 전성비 좋은 인퍼런스 용으로 달아놓은거라 성능은 그리 뛰어나지 않죠. 쓰이더라도 큰 차이는 없을듯…

생각보다 깡성능 대비 진짜 많이 낮긴 하네요. 텐서코어 차이가 크네요 허허..
슈베아츠 사람말을 할수 있는 흑우가 있다? 뿌슝빠슝 2021.10.27 19:07

거의 9배 차이네요. 다른 글카로 대입하면 어느정도려나요.
360ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2021.10.27 20:39

이게 돌린 샘플의 최적화마다 차이가 나긴 나는데, 저게 EPYC CPU랑도 견줄 정도로 낮은 성능이라 굳이 글카에 대입해야하나 싶긴 합니다. 전력소모 뺴고요
Colorful 2021.10.27 21:36

제가 다른 엔트리급 그래픽 카드가 있다면 비교를 해 보고 싶지만...
dmsdudwjs4 Into the Unknown, Show Yourself !! // ThunderVolt_45 2021.10.27 20:32

역대급으로 거대한 빅 ㅡ 뷰티 칩을 가져오고도 성능 차가 이 지경이니 애플이 암만 날고 기어봐야 엔비디아는 전혀 쫄지 않겠네요.
Colorful 2021.10.27 21:34

아직까지 이쪽 분야는 엔당이 꽉 쥐고있다고 봐야겠죠.
360ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2021.10.27 20:37

뭐... 엔당이 이 분야 괜히 꽉 쥐고 있는게 아니기도 했습니다. 옛날 초기 VEGA 칩으로 돌리다가 RTX 20 시리즈로 갈아타고 가장 놀란것은, FP 성능은 동치인데 tensorflow 성능은 기묘하게 20퍼 가량 차이가 났던거죠. 거기에 작업 편의성은 덤...
현재 텐서플로우를 M1 맥에서 네이티브로는 거의 돌리질 못하고 있는데, 간단한 작업 샘플 테스트만 하더라도 3080ti가 0.X 초 안에 작업을 끝내는데에 반해 M1이 샘플 테스트만 해도 수분이 걸립니다 ㅠ 사실상 쓰지 말란 수준...
Colorful 2021.10.27 21:34

저도 M1 맥을 가지고는 아주 간단한 테스트 모델 외에는 쓸 생각이 안 들더라구요.
?
아범테크 2021.10.27 21:15

성능 자체보다는 32, 64,기가 통합 메모리라서 배치사이즈 늘리는데 엄청나게 이득일 거 같던데요.
Colorful 2021.10.27 21:33

For all the cases here, increasing batch size does not seem to increase the throughput.

벤치마크를 진행한 원글 내용을 보면 배치 사이즈를 늘려도 스루풋이 증가하지는 않았다고 합니다.
?
아범테크 2021.10.28 06:54

참조 감사합니다. 굳이 속도가 아니여도 배차사이즈 늘리는게 선호되긴 하니깐요.
그나저나 밴치 감사합니다. 그나마 뽐을 줄일 수가 있게 되었네요.
ForGoTTen 결제중.... 2021.10.27 23:48

비교군으로 3090은 너무했네요. 이쪽은 이론 FLOPs만 35T가 넘는 물건이라...

거기에....엔당이 깔아놓은 이쪽 인프라가 엄청나서 tf-gpu(CUDA)는 cuDNN으로 최적화 거친 OP로 구성된 모델 + TF32데이터타입으로 Tensor Core 까지 사용한 결과일테니.... 그나마 이제야 구색맞춘 AMD의 ROCM 환경에서 MI100이 비슷한 수준을 내주더군요.
Colorful 2021.10.27 23:55

3090같은 괴물이랑 붙여놓은게 부당해 보이긴 하지만.. 제가 테스트해본 2080Ti는 FP32가 13T정도고 M1 Max는 10T정도이니 엔트리급 GPU가 아니라면 뭘 붙여도 차이는 커 보였지 않았을까 싶습니다.
ForGoTTen 결제중.... 2021.10.27 23:58

Inference에선 Conv랑 Attention만 최적화 해줘도 성능이 팍팍 오를텐데 말이죠.
Colorful 2021.10.28 00:00

클로즈드 소스로나마 찔끔찔끔 릴리즈하고 있는걸 보면 관심이 아주 없는건 아닌 것 같은데... 아직 갈 길은 아주 많이 멀어 보입니다. ㅜㅜ

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

No Image

갤럭시 S23에서도 ‘갤럭시 AI’ 기능 쓴다

삼성전자가 ‘갤럭시 S24 시리즈’에서 첫 선을 보인 ‘갤럭시 AI’ 기능을 갤럭시 S23 등 지난해 출시한 주요 모델에 지원한다 삼성전자는 3월 말부터 ‘갤럭시 S23 시리즈(S23·S23+·S23 울트라)...

Date2024.02.22 소식 By낄낄 Reply4 Views788

Read More
삼성전자, 피트니스 밴드 ‘갤럭시 핏3’ 공개

‘갤럭시 핏3’는 전작 대비 약 45% 커진 40mm 디스플레이를 탑재해 한눈에 보다 많은 정보를 확인할 수 있고, 알루미늄 바디를 적용해 내구성을 강화한 것이 특징이다. 또한 새롭게 적용된 원 클릭 밴드로 원하는 스타일의 워...

Date2024.02.22 소식 By낄낄 Reply23 Views1581

Read More
카카오톡, 삼성 스마트 스위치 통한 백업/복원 기능 지원 추가.

네... 드디어 마참내!!!! 일부긴 하지만 지원을 시작 했습니다.. 톡서랍의 필요성이 조금은 사라지겟군요.

Date2024.02.22 소식 By카토메구미 Reply8 Views986

Read More
ASUS 젠폰 11 울트라가 3월 14일에 출시

ASUS 젠폰 11 울트라가 3월 14일에 출시됩니다. 전체 이미지와 스펙이 이미 유출이 된 거라 설명은 안 하겠습니다.

Date2024.02.22 소식 By낄낄 Reply0 Views778

Read More
No Image

애플 신제품 소식 모음 (2/21)

애플이 아이메세지용 암호화 프로토콜인 PQ3를 발표했습니다. 정교한 양자 공격을 막아낼 수 있다고 합니다. https://security.apple.com/blog/imessage-pq3/ 아이폰 16은 iOS 18의 개선된 시리 기능을 위해 마이크가 업그레이드될 거라고...

Date2024.02.22 소식 By낄낄 Reply0 Views1127

Read More
2023년에 가장 많이 팔린 스마트폰은? 죄다 아이폰

2023년에 전세계에서 가장 많이 팔린 스마트폰입니다. 1위부터 7위까지 다 아이폰이고 나머지는 갤럭시네요. 아이폰 13, 14, 15 시리즈가 골고루 차지하고 있습니다. 아이폰 15는 출시 시점을 감안하면 정말 빠르게 판매량이 올랐다고 할 ...

Date2024.02.22 소식 By낄낄 Reply37 Views2240

Read More
No Image

애플: 젖은 아이폰을 쌀에 넣지 마시오

스마트폰이 젖었을 경우 쌀통에 넣으면 쌀이 수분을 흡수하면서 빠르게 복구할 수 있다고 알려져 있는데요. 애플은 아이폰이 젖어도 쌀 속에 넣지 말라고 권고합니다. 이유는 작은 쌀 알갱이가 아이폰의 충전 포트에 들어갈 수 있기 때문...

Date2024.02.22 소식 By낄낄 Reply7 Views1765

Read More
No Image

애플, 아이폰 15 시리즈의 배터리 수명 광고를 두배로 늘림

애플은 지금까지 아이폰 배터리가 500번 충/방전 후에도 원래 용량의 80%를 유지한다고 설명해 왔습니다. 그런데 최근 아이폰 15, 아이폰 15 플러스, 아이폰 15 프로, 아이폰 15 프로 맥스에서는 충전 사이클을 1000번으로 수정했다고 하...

Date2024.02.22 소식 By낄낄 Reply0 Views809

Read More
낫싱 폰(2a)의 이미지 유출

낫싱 폰(2a)에 케이스를 씌운 이미지가 유출됐습니다. 케이스에 달린 링은 중요하지 않으니 넘어가고, 카메라 레이아웃이나 글리프 LED 패턴을 확인할 수 있습니다. 다른 렌더링 이미지도 추가합니다. https://www.smartprix.com/bytes/ex...

Date2024.02.22 소식 By낄낄 Reply1 Views490

Read More
No Image

Arm Cortex-X5 성능 저하는 전력 사용량 때문?

Arm이 개발 중인 5세대 Cortex-X, 블랙호크가 기대에 비해 성능이 떨어진다는 소문이 있습니다. 전력 사용량을 낮추기 위해 성능을 줄일 경우, 디멘시티 9400의 긱벤치 6 멀티코어 점수가 9400점도 안 나온다고 하네요. 퀄컴 스냅드래곤 8...

Date2024.02.22 소식 By낄낄 Reply0 Views653

Read More
No Image

Arm 차세대 SoC, 삼성 2nm GAA 공정에 최적화

삼성전자 파운드리 사업부가 글로벌 반도체 설계 자산(IP, Intellectual Property) 회사 Arm의 차세대 SoC 설계 자산을 자사의 최첨단 GAA(Gate-All-Around) 공정에 최적화하여 양사간 협력을 강화한다. (중략) 생성형 AI는 새로운 소비자...

Date2024.02.22 소식 By낄낄 Reply0 Views600

Read More
MVNO 개통절차에 스캐너 도입에 관한 정보

이전 글에 올린 링크의 기사내용 중 알뜰폰 업계에서 오는 4월까지 신분증 스캐너를 도입, 신분증 위변조 여부 검증 등 본인 확인 절차를 까다롭게 하도록 했습니다. 라는 내용이 있었습니다. 조금 찾아보니, 작년 9월 공고내어, 10...

Date2024.02.21 일반 ByAKG-3 Reply3 Views684

Read More
No Image

삼성디스플레이 7인치대 폴더블 패널, 미국 '밀스펙' 획득

삼성디스플레이는 7인치대 폴더블 패널이 미국 국방부가 인정하는 군사 표준규격 'MIL-STD 810G' 테스트를 통과했다고 19일 밝혔다. 미국 '밀리터리 스펙'(밀스펙)으로 불리는 이 표준은 극한 사용환경과 스트레스 상황에...

Date2024.02.21 소식 By낄낄 Reply1 Views708

Read More
No Image

스냅드래곤 8s Gen3가 긱벤치에 등록

스냅드래곤 8s Gen3가 긱벤치에 등록됐습니다. 코드네임 SM8635, 프라임 코어 3.01GHz 1개, 고성능 코어 2.61GHz 4개, 효율 코어 1.84Ghz 3개로 구성됩니다. GPU는 Adrneo 735 900Mhz, TSMC 4nm 공정 제조입니다. 긱벤치 6.2에서 싱글코어...

Date2024.02.21 소식 By낄낄 Reply2 Views916

Read More
비보 X 폴드 3의 유출 사진

비보 X 폴드 3의 사진이 유출됐습니다.

Date2024.02.21 소식 By낄낄 Reply6 Views830

Read More