M1 max 32코어 GPU에서 Tensorflow 벤치마크

Colorful https://gigglehd.com/gg/11150159

조회 수 5652 댓글 22

Extra Form
참고/링크	https://github.com/tlkh/tf-metal-experiments

신규 M1 칩들이 GPU 성능이 많이 좋아졌다고 해서 Tensorflow 성능은 어떨까 궁금했는데, 마침 따끈따끈한 벤치마크 자료가 있어서 찾아와 보았습니다.

테스트는 M1 MAX 32코어 GPU에서 Tensorflow Metal 버전으로 진행하였다고 합니다.

아래는 동일한 모델을 RTX 3090이 장착된 PC에서 돌렸을 때의 결과입니다. 혼합 정밀도와 JIT 컴파일로 추가적인 최적화가 들어가서 큰 차이를 보이는 듯 합니다.

같은 모델 중 ResNet50을 제 RTX 2080Ti PC에서도 돌려보았습니다. JIT 없이 초당 320장을 처리하는 것으로 나오네요.

----------------------

다른 유저가 같은 벤치마크 결과를 추가하였습니다.

각각 M1 7코어 GPU, RTX A100 40GB 입니다.

삭제 요청

Prev 퀄컴 스냅드래곤 778G+ 5G, 695 5G, 680 4G, 480+ 5G 발표

퀄컴 스냅드래곤 778G+ 5G, 695 5G, 680 4G, 480+ 5G 발표 2021.10.27by 낄낄 신형 맥북프로 썬더볼트 버스는 3개 Next

신형 맥북프로 썬더볼트 버스는 3개 2021.10.27by NPU

목록 스크랩

위로 아래로 댓글로 가기

Comments '22'

?
1N9 2021.10.27 17:21

텐서플로우 성능은 별로 좋지 못하네요
Colorful 2021.10.27 17:23

Tensorflow Metal이 아직 베타버전이고, 텐서 코어 같은 하드웨어가 없으니 어쩔 수 없는 듯 합니다.

개인적으로는 너무 실망스러운 성능이네요..
Elsanna All hail the Queen of Snow! 2021.10.27 17:40

뉴럴엔진이 텐서코어같은 역할을 하긴 한다지만 문제는 이게 아직 텐서플로우에 오픈이 안되었다는거고 더큰문제는 그마저도 뉴럴엔진이 아이폰이던 M1이건 M1pro/max건 동일한 규모라는거겠죠
Colorful 2021.10.27 17:51

Tensorflow metal로 포크 되기 전에 뉴럴엔진으로 가속하는 MLCompute 버전도 있었는데 그렇게 높은 성능은 아니었던 걸로 기억합니다.

M1 Mac이 아직 수중에 있으니 시간날 때 동일한 벤치를 한번 돌려봐야겠네요
?
webos115 2021.10.27 18:01

뉴럴엔진 같은건 추론 위주라 최적화되더라도 큰 성능이 안나올 확률이 큽니다
?
1N9 2021.10.27 20:38

하긴 레이트레이싱 계산하기 위해 텐서코어를 역대급으로 박아놨으니 ㄷㄷ

이 부분은 전용하드웨어 추가 없이는 따라잡기 힘들겠네요
?
CyBerry 2021.10.27 18:18

모바일넷에서 유독 차이가 심한 건 신기하네요
?
NPU 2021.10.27 19:07

뉴럴엔진은 전성비 좋은 인퍼런스 용으로 달아놓은거라 성능은 그리 뛰어나지 않죠. 쓰이더라도 큰 차이는 없을듯…

생각보다 깡성능 대비 진짜 많이 낮긴 하네요. 텐서코어 차이가 크네요 허허..
슈베아츠 사람말을 할수 있는 흑우가 있다? 뿌슝빠슝 2021.10.27 19:07

거의 9배 차이네요. 다른 글카로 대입하면 어느정도려나요.
360ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2021.10.27 20:39

이게 돌린 샘플의 최적화마다 차이가 나긴 나는데, 저게 EPYC CPU랑도 견줄 정도로 낮은 성능이라 굳이 글카에 대입해야하나 싶긴 합니다. 전력소모 뺴고요
Colorful 2021.10.27 21:36

제가 다른 엔트리급 그래픽 카드가 있다면 비교를 해 보고 싶지만...
dmsdudwjs4 Into the Unknown, Show Yourself !! // ThunderVolt_45 2021.10.27 20:32

역대급으로 거대한 빅 ㅡ 뷰티 칩을 가져오고도 성능 차가 이 지경이니 애플이 암만 날고 기어봐야 엔비디아는 전혀 쫄지 않겠네요.
Colorful 2021.10.27 21:34

아직까지 이쪽 분야는 엔당이 꽉 쥐고있다고 봐야겠죠.
360ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2021.10.27 20:37

뭐... 엔당이 이 분야 괜히 꽉 쥐고 있는게 아니기도 했습니다. 옛날 초기 VEGA 칩으로 돌리다가 RTX 20 시리즈로 갈아타고 가장 놀란것은, FP 성능은 동치인데 tensorflow 성능은 기묘하게 20퍼 가량 차이가 났던거죠. 거기에 작업 편의성은 덤...
현재 텐서플로우를 M1 맥에서 네이티브로는 거의 돌리질 못하고 있는데, 간단한 작업 샘플 테스트만 하더라도 3080ti가 0.X 초 안에 작업을 끝내는데에 반해 M1이 샘플 테스트만 해도 수분이 걸립니다 ㅠ 사실상 쓰지 말란 수준...
Colorful 2021.10.27 21:34

저도 M1 맥을 가지고는 아주 간단한 테스트 모델 외에는 쓸 생각이 안 들더라구요.
?
아범테크 2021.10.27 21:15

성능 자체보다는 32, 64,기가 통합 메모리라서 배치사이즈 늘리는데 엄청나게 이득일 거 같던데요.
Colorful 2021.10.27 21:33

For all the cases here, increasing batch size does not seem to increase the throughput.

벤치마크를 진행한 원글 내용을 보면 배치 사이즈를 늘려도 스루풋이 증가하지는 않았다고 합니다.
?
아범테크 2021.10.28 06:54

참조 감사합니다. 굳이 속도가 아니여도 배차사이즈 늘리는게 선호되긴 하니깐요.
그나저나 밴치 감사합니다. 그나마 뽐을 줄일 수가 있게 되었네요.
ForGoTTen 결제중.... 2021.10.27 23:48

비교군으로 3090은 너무했네요. 이쪽은 이론 FLOPs만 35T가 넘는 물건이라...

거기에....엔당이 깔아놓은 이쪽 인프라가 엄청나서 tf-gpu(CUDA)는 cuDNN으로 최적화 거친 OP로 구성된 모델 + TF32데이터타입으로 Tensor Core 까지 사용한 결과일테니.... 그나마 이제야 구색맞춘 AMD의 ROCM 환경에서 MI100이 비슷한 수준을 내주더군요.
Colorful 2021.10.27 23:55

3090같은 괴물이랑 붙여놓은게 부당해 보이긴 하지만.. 제가 테스트해본 2080Ti는 FP32가 13T정도고 M1 Max는 10T정도이니 엔트리급 GPU가 아니라면 뭘 붙여도 차이는 커 보였지 않았을까 싶습니다.
ForGoTTen 결제중.... 2021.10.27 23:58

Inference에선 Conv랑 Attention만 최적화 해줘도 성능이 팍팍 오를텐데 말이죠.
Colorful 2021.10.28 00:00

클로즈드 소스로나마 찔끔찔끔 릴리즈하고 있는걸 보면 관심이 아주 없는건 아닌 것 같은데... 아직 갈 길은 아주 많이 멀어 보입니다. ㅜㅜ

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

No Image

아이폰 SE 플러스가 내년에 출시?

애플이 2022년에 4.7인치 스크린의 아이폰 SE 플러스를 출시할 거라고 합니다. 여기에선 5G 네트워크도 지원합니다. 2024년에는 더 큰 화면의 아이폰 SE 3가 나옵니다. 5.7~6.1인치 화면을 씁니다.

Date2021.10.28 소식 By낄낄 Reply3 Views855

Read More
No Image

삼성 지원 페이지에 갤럭시 S21 FE가 등록

아일랜드의 삼성 지원 페이지에 갤럭시 S21 FE가 등록됐습니다. 이 스마트폰이 취소됐다 연기됐다 등등 말이 많은데, 취소까진 안 하나 봅니다.

Date2021.10.28 소식 By낄낄 Reply1 Views624

Read More
No Image

MS, 교육 시장을 공략할 새 서피스를 개발 중

마이크로소프트가 교육 시장을 위한 11.6인치 서피스 노트북을 개발하고 있습니다. 코드네임 텐진, 셀러론 N4120 쿼드코어, 8GB 램, 11.6인치 1366x768 해상도, 풀사이즈 키보드, 트랙패드, USB-A/USB-C, 3.5mm 잭, AC 전원 포트 등이 탑...

Date2021.10.28 소식 By낄낄 Reply3 Views609

Read More
No Image

레노버 p11에 쓸 usb C to 3.5mm잭 젠더 추천부탁드려요

제목대로 c-3.5젠더가 필요한데 뭘 사는게 좋을까요? 이어폰에 사용할예정이고 크게 출력이나 hifi hi res는 필요없어요. 애플껄 살지 삼성껄 살지... 2만원대 이하로 다른 제품도 괜찮습니다.

Date2021.10.27 질문 BySOCOM Reply9 Views1784

Read More
퀄컴 스냅드래곤 778G+ 5G, 695 5G, 680 4G, 480+ 5G 발표

퀄컴이 스냅드래곤 778G+ 5G, 695 5G, 680 4G, 480+ 5G 프로세서를 발표했습니다. 올해 4분기부터 출시될 예정입니다. 스냅드래곤 778+ 5G는 778G에서 클럭을 올렸습니다. Kryo 670 프라임 코어가 2.4GHz에서 2.5GHz로, Adreno 642L GPU...

Date2021.10.27 소식 By낄낄 Reply3 Views2652

Read More
M1 max 32코어 GPU에서 Tensorflow 벤치마크

신규 M1 칩들이 GPU 성능이 많이 좋아졌다고 해서 Tensorflow 성능은 어떨까 궁금했는데, 마침 따끈따끈한 벤치마크 자료가 있어서 찾아와 보았습니다. 테스트는 M1 MAX 32코어 GPU에서 Tensorflow Metal 버전으로 진행하였다고 합니다....

Date2021.10.27 일반 ByColorful Reply22 Views5652

Read More
신형 맥북프로 썬더볼트 버스는 3개

기존 인텔 맥북 프로의 경우 썬더볼트 단자는 4개지만 썬더볼트 버스는 2개로, 2개의 단자가 하나의 버스를 공유했습니다. 따라서 한쪽에 두개의 썬더볼트 단자를 동시에 사용할 때 대역폭이 제한되었습니다. 그러나 이번 신형 ...

Date2021.10.27 소식 ByNPU Reply5 Views1436

Read More
M1 Max 엑스코드 벤치마크에서 인텔맥에 소폭 뒤쳐져

Xcode 13.0에서 돌아간 컴파일 벤치마크에서 M1 Max가 97초의 빌드 타임을 기록하며 90초를 기록한 인텔 맥프로에 소폭 뒤쳐지는 결과를 냈습니다.

Date2021.10.27 소식 ByNPU Reply10 Views2981

Read More
No Image

ONE UI 4 공식 소개 영상

삼성 개발자 컨퍼런스 2021에서 공개한 ONE UI 4.0 소개 영상이 유튜브에 올라왔습니다.

Date2021.10.27 소식 ByDecAF Reply1 Views1083

Read More
애플, 워치 프로 브랜드를 고려했었음

애플 워치의 데모 유닛에 담겨진 파일에 '워치 프로'라는 로고가 발견됐습니다. 2015년 2월에 이 로고가 있었다고 하네요. 지금은 워치 프로라는 브랜드를 쓰는 걸 포기한 듯 하지만, 이게 진행됐다면 애플 워치에서도 프로 라인...

Date2021.10.27 소식 By낄낄 Reply9 Views1264

Read More
No Image

픽셀 6 프로의 4배 망원 카메라, 갤럭시 S20 울트라와 같은 거

픽셀 6 프로에 탑재된 4배 줌 망원 카메라는 갤럭시 S20 울트라에서 썼던 것과 똑같다고 합니다. 4800만 화소, 조리개 f/3.5, 센서 크기 1/2인치, 23.5도 시야각, 픽셀 피치 0.8 ㎛, OIS 지원 등입니다. 삼성은 갤럭시 S21 울트라에서 3배...

Date2021.10.27 소식 By낄낄 Reply3 Views1070

Read More
프로토타입 오리지널 아이팟의 사진

프로토타입 오리지널 아이팟의 사진입니다. 이건 비교를 위해 아이팟을 위에 올려둔 거고요. 이게 아이팟입니다. 어떤 디자인으로 만드는지 숨기기 위해, 혹은 디자인이 아직 정해지지 않았기에 기능 테스트만 가능한 저런 형태로 만든 것...

Date2021.10.27 소식 By낄낄 Reply5 Views1121

Read More
구글: 너의 구형 폰 회사가 사업을 접으면 최고의 폰으로 바꾸세요

구글이 픽셀 스마트폰으로 바꿔야 할 113가지 이유라는 동영상을 공개했습니다. 여기에서 '당신의 오래된 핸드폰 제조사가 생산을 멈췄다면 최고의 핸드폰으로 바꿀 때다'라는 문구가 나옵니다. LG ㅂㄷㅂㄷ

Date2021.10.27 소식 By낄낄 Reply7 Views2051

Read More
Oneplus 9RT, 원신 콜라보

Oneplus 9RT 5G 제품과 원신 콜라보 상품이 공개되었습니다. 전용 케이스, 쿨러, 테마 등 다양한 굿즈와 인게임 재화를 받을 수 있는 쿠폰이 함께 제공됩니다.

Date2021.10.26 소식 ByDecAF Reply5 Views1236

Read More
M1 Max GPU 어피니티 벤치에서 역대 최고 점수 갱신

맥용 이미지 편집 프로그램 어피니티 포토의 리드 개발자 Andy Somerfield는 m1 max의 어피니티 포토 단일 GPU 점수가 자신들이 측정한것 중 가장 높은 W6900X를 넘어섰다고 밝혔습니다. AMD W6900X는 32GB VRAM을 탑재하고 2...

Date2021.10.26 소식 ByNPU Reply4 Views976

Read More