지포스 RTX 4090 7대를 장착한 시스템의 성능

조회 수 4584 댓글 7

Extra Form
참고/링크	https://www.pugetsystems.com/labs/articl...u-scaling/

1-7x-NVIDIA-GeForce-RTX-4090-GPUs-on-table-1536x864.png

지포스 RTX 4090 7대를 장착한 시스템의 성능을 테스트한 글입니다.

퓨젯 시스템에서 이 시스템을 팔 생각은 없다고 합니다. 테스트만 한 거라네요. 여기에선 최대 2대의 4090을 장착한 시스템까지만 판매하며, 그 이상은 미국의 전력 표준을 넘어설 거라고 합니다.

스레드리퍼 프로 5995WX에 WRX80 메인보드, DDR4-3200 128GB 등으로 구성된 시스템이며, 파운더스 에디션 4장, PNY 2장, ASUS 1장으로 구성됐고 파워는 슈퍼플라워 1600W 플래티넘 4개를 썼습니다.

전력 사용량은 아주 정직하게 늘어나는데 비해 실제 성능은 5~6장에서 큰 변화가 없거나, 7장으로 늘린 만큼 향상되는 항목도 있습니다. 결국 테스트 프로그램에 따라서 다르다고 봐야겠네요.

Distance-photo-of-1-7x-NVIDIA-GeForce-RTX-4090-in-mining-rack.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Idle-and-Load-Power-Draw-1024x654.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-DaVinci-Resolve-Studio.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-RedShift.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-VRay-Benchmark.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-OctaneBench.png

삭제 요청

TAG •

지포스,
4090,

목록 스크랩

위로 아래로 댓글로 가기

Comments '7'

하뉴 루이 2022.11.13 22:12

카드 놀이 한거군요(?)
ForGoTTen 결제중.... 2022.11.13 23:39

원래도 strong scalability를 보여주는건 힘들죠. DNN같은 작업이야 batch단위로 data parallel을 적용하기 쉬우니....무조건 GPU가 많을수록 좋지만요.
82TFlops x 7의 연산량은 부럽군요. 모델 train 한 번 걸어보고 싶....
?
국밥맨 2022.11.15 23:34

인공신경망 학습할 때도 GPU가 많다고 완전 좋진 않습니다. 이미지 관련 학습이야 DP 수준으로도 충분한데 자연어처리나 신호처리같은 작업을 할 땐 DDP도 그리 효율적으로 돌진 않아서 따로 Apex나 DeepSpeed를 사용해야 어느정도 효율적으로 돌아요. 사실 그래서 gpu + cpu 1:1이 가장 좋은데, 그런 시스템을 구축하는 건 grace-h100이 아닌 이상 불가능하니 어느정도의 비효율을 감수하고서라도 gpu 여러대를 쓰는 것이라고 알고 있습니다. 다만 다른 작업에 비해 gpu 추가시 성능 향상이 어느정도 보장된게 차이라면 차이...
ForGoTTen 결제중.... 2022.11.19 02:11

Time series나 자연어 처리 중 RNN이나 트랜스머 디코더 기반 모델들은 dependence가 있으니 어쩔 수 없죠. 그건 어떤 가속기 할아버지가 와도 모델의 구조 상 불가한 부분입니다.

APEX의 mixed precision이나 DeepSpeed 도, 그리고 언급하신 grace-h100도 본질적으로 VRAM이 부족해서 사용하는 겁니다. 어차피 DDP로 부족할 정도 크기 모델을 돌리려면 3D parallel기법을 모두 적용해야 하는데 Nvidia가 Megatron 페이퍼를 통해 꾸준히 말 하고 있는게 통신 오버헤드가 추가되기 때문에 nvlink같은 인터커넥트 없이는 너무 비싸진다 이기에....효율을 생각하면 지포스 라인으로 논하는 것 자체가 어불성설 이기는 합니다. 다만, 데이터센터용 GPU를 풍족히 쓸 수 있는 연구환경은 흔치 않습니다. 당장 딥러닝 시장 전체로 봤을 때, 구형 모델인 V100이나 A100을, 그리고 nvLink까지 갖춰진 환경을 써 본 적이 있는 연구자가 얼마나 있을지 모르겠습니다 (...)

1:1은 어디서 나오는 말인지 모르겠군요. 혹시 레퍼런스가 있으신가요 ? CPU : GPU가 1 : 1이 아니라, 인터커넥션 네트워크 (nvlink던 rdma던) : GPU가 1 : 1 이라는 의미라면 수긍이 갑니다만, DeepSpeed에서 CPU가 관여하는 작업인 CPU오프로딩이나 weights업데이트 부분은 일단 DeepSpeed주장에 따르면 파이프라이닝으로 충분히 레이턴시 하이딩 가능하다....라서요.
?
국밥맨 2022.11.19 02:51

Apex의 경우 amp를 말씀드린 건 아니고, apex에서 제공하는 DDP를 말씀드린 것입니다. 근데 말씀드리고 나서 확인해보니 apex ddp가 이제 완전히 파이토치에 이식됐네요. 어쩐지 전보다 좀 효율적으로 도는 것 같다 싶더니... 그와는 별개로 amp는 conformer등 신호처리 관련 모델을 돌릴 때 학습 성능을 극적으로 떨어트리는 문제가 있어서 잘 쓰진 않습니다. 원인이 뭔지는 잘 모르겠는데, 엔비디아쪽에서도 신호처리 모델 돌릴 때 + batch size를 16 이상 돌릴 때는 amp 쓰지 말라고 하더군요.

1:1 부분은 선임분들께서 말씀하신 걸 그대로 옮긴 것입니다. 그런데 DGX나 nvlink 생각해보면 CPU : GPU 1:1 문제가 아니라 인터커넥트 대역폭 문제일 수 있겠네요. 지금 연구소에 있는 gpu 워크스테이션은 지포스 라인업을 사용하고 있고 nvlink는 언감생심이니...
슬렌네터 Human is just the biological boot loader for A.I. 2022.11.13 23:40

파워가 대단하군요
이유제 2022.11.15 21:02

솔리드웍스 렌더링같은거 실험은 더이상 안하나보네요 쩝..
퓨젯은 그런거보러만 들어갓엇는데

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

인텔, Cryo 쿨링 기술 개발 중단

인텔이 2023년 7월 1일부로 Cryo 쿨링 기술의 개발을 중단했다고 합니다. CPU를 0도까지 냉각할 수 있는 기술로 10세대 코어 프로세서부터 13세대 코어 프로세서까지 지원했으나 14세대부터는 지원하지 않습니다. 그리고 이 쿨러를 적극적...

Date2023.11.09 소식 By낄낄 Reply6 Views1485

Read More
No Image

라이젠 8000G, 피닉스 데스크탑 프로세서의 소문

피닉스의 데스크탑 APU 버전은 라이젠 8000G 시리즈로 출시될 거라고 합니다. 여기에는 라이젠 3 8300G, 라이젠 5 8500G, 라이젠 5 8600G, 라이젠 7 8700G가 포함됩니다. 8300G와 8500G는 피닉스 2 코어를 사용해 젠4+젠4c 조합입니다. 대...

Date2023.11.09 소식 By낄낄 Reply5 Views1362

Read More
삼성 T5 EVO 외장형 SSD 유출

삼성 T5 EVO 외장형 SSD 이미지가 유출됐습니다. 크기 17x95x40mm, 무게 102g, 2m 높이에서 낙하 가능, 3년 보증, 2TB 189.99달러 , 4TB 349.99달러, 8TB 655.99달러. 성능은 순차 액세스 460MB/s로 그리 높진 않습니다.

Date2023.11.09 소식 By낄낄 Reply3 Views908

Read More
다나와 CPU 판매량, AMD가 인텔 역전

10월부로 AMD CPU 판매량이 인텔을 넘어섰다는 다나와 리서치의 조사입니다. 뭐 다나와 말고 다른 경로로도 나가는 시스템도 많겠지만, 최소한 조립 시장에서는 역전했다고 봐도 되지 않을까요. 출처에서 언급한대로 7500F와 7800X3D의 선...

Date2023.11.08 소식 By낄낄 Reply12 Views1570

Read More
안녕하세요... DDR5 램 질문이 있어서요....

DDR5 부터너느 대역폭 증가로 듀얼채널 구성시 쿼드채널로 X4로 인식된다고 알고 있는데요.. 근데 저는 채널에 X2가 찍혀요... 램은 이상 없는거 같습니다.... 애초에 방금 온 램이라.. 메인보드가 므시 X670X 카본 보드인데 해당 ...

Date2023.11.08 질문 By캐주얼레이드 Reply15 Views1240

Read More
No Image

Razer DeathAdder V2 Pro는 전원이 계속 꺼지는 경우가 존재

[참고] 관련 글 제목 및 링크 첨부 생략 DeathAdder V2 Pro는 꽤 최신 제품입니다. 전원을 켰는데 계속 켜졌다 꺼졌다를 반복하는 문제를 호소하는 사용자가 있으며, 국내 사례도 1건 있습니다. https://gall.dcinside.com/m/razer/3364...

Date2023.11.08 소식 By임시닉네임 Reply2 Views549

Read More
시게이트 SRS 서비스 결말 2부

지난글 https://gigglehd.com/gg/hard/14927989 에서 이어집니다. 근데 마무리는 아니네요. 9월말에 데이터 복구가 되었고, 10월 5일에 RMA절차를 진행한다고 Seagate에서 친절히 알람을 준건 좋은데... 그이후 답이 없더라구요? ...

Date2023.11.08 일반 ByAKG-3 Reply2 Views599

Read More
No Image

m3맥북 국내 판매는 언제쯤 될까요?

해외는 현재 픽업도 가능 하던데, 한국은 언제쯤 가능할지.. 사고싶은데 소식이 영 없네요 ㅠㅠ

Date2023.11.08 질문 By방황하는물고기 Reply2 Views563

Read More
No Image

케플러 지포스 드라이버 보안 업데이트 474.64

https://www.nvidia.co.kr/download/driverResults.aspx/214144/kr 23년 10월 31일에 출시된 보안 취약점 패치 드라이버입니다. 지원종료는 24년 9월까지입니다. 이걸 여태 게임용으로 쓰는분은 없으시겠죠

Date2023.11.08 일반 By아이들링 Reply5 Views549

Read More
M3 벤치마크 나왔습니다.

결론 - 여기선 단점과 나쁜점만 씁니다 + 덤으로 메탈값도 뺐습니다. * 램값 미쳤음 * 노치는 별로임 * 가격 미쳤냐?! 이 애플놈들아! - Ugly

Date2023.11.08 소식 By책읽는달팽 Reply5 Views2344

Read More
No Image

애플 실리콘을 쓴 27인치 아이맥은 계획 없음

애플은 2022년에 인텔 기반 27인치 아이맥과 아이맥 프로를 단종하고 후속작을 출시하지 않았습니다. 앞으로도 27인치 아이맥을 만들 계획은 없다고 합니다. 소문에 의하면 32인치 모델을 개발 중이라고 하네요.

Date2023.11.08 소식 By낄낄 Reply0 Views492

Read More
녹투아 NH-D9L/NH-L9x65 블랙 모델 추가

녹투아의 92mm 쿨링팬 탑재 쿨러인 NH-D9L/NH-L9x65에 블랙 모델이 추가됐습니다. 대충 보고 신제품이겠거니 해서 업로드했는데 그냥 색만 바꾼거라 김이 좀 새네요..

Date2023.11.08 소식 By낄낄 Reply0 Views584

Read More
No Image

AMD, 6개의 3세대 에픽 프로세서를 2026년까지 출시

AMD가 3세대 에픽 프로세서인 코드네임 밀란, 에픽 7003 시리즈에 6개의 새 모델을 추가하며 이들 제품을 2026년까지 출시한다고 밝혔습니다. 추가 소식 자체는 전에 나온건데 2026년으로 확장한다는 게 이번에 나온 주요 소식 되겠습니다...

Date2023.11.08 소식 By낄낄 Reply1 Views457

Read More
NVIDIA CMP 50HX 채굴 카드의 게임 성능

NVIDIA CMP 50HX 채굴 카드의 게임 성능입니다. TU102 GPU, 3584 쿠다 코어로 구성됐는데 지포스 RTX 2080 Ti의 4352 코어보다는 스펙이 좀 낮습니다. 그리고 디스플레이포트가 없고 블로워 쿨러가 달려 있으며 드라이버를 수정해야만 쓸...

Date2023.11.08 소식 By낄낄 Reply0 Views641

Read More
ASUS도 피닉스 지원 베타 바이오스 출시

ASUS도 X670 메인보드 베타 바이오스에 AGESA 1.1.0.0 코드를 적용, 라이젠 7000 APU 코드네임 피닉스 지원을 추가했습니다.

Date2023.11.08 소식 By낄낄 Reply1 Views350

Read More