지포스 RTX 4090 7대를 장착한 시스템의 성능

조회 수 4585 댓글 7

Extra Form
참고/링크	https://www.pugetsystems.com/labs/articl...u-scaling/

1-7x-NVIDIA-GeForce-RTX-4090-GPUs-on-table-1536x864.png

지포스 RTX 4090 7대를 장착한 시스템의 성능을 테스트한 글입니다.

퓨젯 시스템에서 이 시스템을 팔 생각은 없다고 합니다. 테스트만 한 거라네요. 여기에선 최대 2대의 4090을 장착한 시스템까지만 판매하며, 그 이상은 미국의 전력 표준을 넘어설 거라고 합니다.

스레드리퍼 프로 5995WX에 WRX80 메인보드, DDR4-3200 128GB 등으로 구성된 시스템이며, 파운더스 에디션 4장, PNY 2장, ASUS 1장으로 구성됐고 파워는 슈퍼플라워 1600W 플래티넘 4개를 썼습니다.

전력 사용량은 아주 정직하게 늘어나는데 비해 실제 성능은 5~6장에서 큰 변화가 없거나, 7장으로 늘린 만큼 향상되는 항목도 있습니다. 결국 테스트 프로그램에 따라서 다르다고 봐야겠네요.

Distance-photo-of-1-7x-NVIDIA-GeForce-RTX-4090-in-mining-rack.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Idle-and-Load-Power-Draw-1024x654.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-DaVinci-Resolve-Studio.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-RedShift.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-VRay-Benchmark.png

1-7x-NVIDIA-GeForce-RTX-4090-GPU-Scaling-Performance-in-OctaneBench.png

삭제 요청

TAG •

지포스,
4090,

목록 스크랩

위로 아래로 댓글로 가기

Comments '7'

하뉴 루이 2022.11.13 22:12

카드 놀이 한거군요(?)
ForGoTTen 결제중.... 2022.11.13 23:39

원래도 strong scalability를 보여주는건 힘들죠. DNN같은 작업이야 batch단위로 data parallel을 적용하기 쉬우니....무조건 GPU가 많을수록 좋지만요.
82TFlops x 7의 연산량은 부럽군요. 모델 train 한 번 걸어보고 싶....
?
국밥맨 2022.11.15 23:34

인공신경망 학습할 때도 GPU가 많다고 완전 좋진 않습니다. 이미지 관련 학습이야 DP 수준으로도 충분한데 자연어처리나 신호처리같은 작업을 할 땐 DDP도 그리 효율적으로 돌진 않아서 따로 Apex나 DeepSpeed를 사용해야 어느정도 효율적으로 돌아요. 사실 그래서 gpu + cpu 1:1이 가장 좋은데, 그런 시스템을 구축하는 건 grace-h100이 아닌 이상 불가능하니 어느정도의 비효율을 감수하고서라도 gpu 여러대를 쓰는 것이라고 알고 있습니다. 다만 다른 작업에 비해 gpu 추가시 성능 향상이 어느정도 보장된게 차이라면 차이...
ForGoTTen 결제중.... 2022.11.19 02:11

Time series나 자연어 처리 중 RNN이나 트랜스머 디코더 기반 모델들은 dependence가 있으니 어쩔 수 없죠. 그건 어떤 가속기 할아버지가 와도 모델의 구조 상 불가한 부분입니다.

APEX의 mixed precision이나 DeepSpeed 도, 그리고 언급하신 grace-h100도 본질적으로 VRAM이 부족해서 사용하는 겁니다. 어차피 DDP로 부족할 정도 크기 모델을 돌리려면 3D parallel기법을 모두 적용해야 하는데 Nvidia가 Megatron 페이퍼를 통해 꾸준히 말 하고 있는게 통신 오버헤드가 추가되기 때문에 nvlink같은 인터커넥트 없이는 너무 비싸진다 이기에....효율을 생각하면 지포스 라인으로 논하는 것 자체가 어불성설 이기는 합니다. 다만, 데이터센터용 GPU를 풍족히 쓸 수 있는 연구환경은 흔치 않습니다. 당장 딥러닝 시장 전체로 봤을 때, 구형 모델인 V100이나 A100을, 그리고 nvLink까지 갖춰진 환경을 써 본 적이 있는 연구자가 얼마나 있을지 모르겠습니다 (...)

1:1은 어디서 나오는 말인지 모르겠군요. 혹시 레퍼런스가 있으신가요 ? CPU : GPU가 1 : 1이 아니라, 인터커넥션 네트워크 (nvlink던 rdma던) : GPU가 1 : 1 이라는 의미라면 수긍이 갑니다만, DeepSpeed에서 CPU가 관여하는 작업인 CPU오프로딩이나 weights업데이트 부분은 일단 DeepSpeed주장에 따르면 파이프라이닝으로 충분히 레이턴시 하이딩 가능하다....라서요.
?
국밥맨 2022.11.19 02:51

Apex의 경우 amp를 말씀드린 건 아니고, apex에서 제공하는 DDP를 말씀드린 것입니다. 근데 말씀드리고 나서 확인해보니 apex ddp가 이제 완전히 파이토치에 이식됐네요. 어쩐지 전보다 좀 효율적으로 도는 것 같다 싶더니... 그와는 별개로 amp는 conformer등 신호처리 관련 모델을 돌릴 때 학습 성능을 극적으로 떨어트리는 문제가 있어서 잘 쓰진 않습니다. 원인이 뭔지는 잘 모르겠는데, 엔비디아쪽에서도 신호처리 모델 돌릴 때 + batch size를 16 이상 돌릴 때는 amp 쓰지 말라고 하더군요.

1:1 부분은 선임분들께서 말씀하신 걸 그대로 옮긴 것입니다. 그런데 DGX나 nvlink 생각해보면 CPU : GPU 1:1 문제가 아니라 인터커넥트 대역폭 문제일 수 있겠네요. 지금 연구소에 있는 gpu 워크스테이션은 지포스 라인업을 사용하고 있고 nvlink는 언감생심이니...
슬렌네터 Human is just the biological boot loader for A.I. 2022.11.13 23:40

파워가 대단하군요
이유제 2022.11.15 21:02

솔리드웍스 렌더링같은거 실험은 더이상 안하나보네요 쩝..
퓨젯은 그런거보러만 들어갓엇는데

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

케이스 전면패널 개조하기(2)

저번엔 USB 포트를 바꿨죠. 오늘은 고장난 전원버튼입니다. 작업을 하기 위해 전면패널을 밖으로 가지고 왔습니다. 마침 분리수거 날이라 쓰레기장에서 박스를 주워서 찢어 깔아놨습니다. 오늘의 연장(1) 보쉬 전동드릴입니다. 10년전...

Date2024.01.19 일반 By린네 Reply3 Views588

Read More
기가바이트 지포스 RTX 4070 슈퍼 어로스 마스터, TDP 350W로 설정

기가바이트 지포스 RTX 4070 슈퍼 어로스 마스터 그래픽카드입니다. 4070 슈퍼의 기본 TDP는 220W인데 이 모델은 350W로 설정됐다고 합니다. 그래서 오버클럭 마진이 높고 성능이 높고 전력 사용량 역시 높습니다. 스위트 스팟하고는 거...

Date2024.01.18 소식 By낄낄 Reply5 Views997

Read More
No Image

인텔, 2023년에 반도체 매출 1위 탈환

2023년 인텔 매출은 487억 달러로 삼성의 399억 달러보다 훨씬 높았습니다. TSMC 같은 곳이야 자체 제품을 만들지 않으니 여기에서 제외하고, 인텔은 다양한 제품을 대량 생산하는 다각화 전략으로 1위를 다시 찾았습니다. 삼성은 작년에 ...

Date2024.01.18 소식 By낄낄 Reply2 Views865

Read More
중국의 공격적인 팹 확장이 가격 전쟁으로 이어질 수도 있음

중국에 수십개의 팹이 건설되고 앞으로 몇 년에 걸쳐 가동을 시작하면 중국이 반도체 가격 전쟁에 나설 수 있습니다. 중국에는 44개의 웨이퍼 공장이 가동 중입니다. 25개는 300mm, 5개는 200mm, 4개는 150mm 웨이퍼를 사용합니다. 2024년...

Date2024.01.18 소식 By낄낄 Reply7 Views1076

Read More
No Image

LeftoverLocals 취약점, 주요 GPU의 LLM 보안 위협

AMD, 퀄컴, 애플을 포함한 여러 GPU 모델에서 LeftoverLocals라는 취약점이 발견됐습니다. 이를 악용하면 그래픽 메모리에서 대량의 데이터를 탈취할 수 있습니다. CPU나 데이터센터 GPU는 데이터 유출을 대비해 여러 보안 장치가 되어 있...

Date2024.01.18 소식 By낄낄 Reply8 Views488

Read More
No Image

AMD, 자일링스 CPLD 칩을 단종

AMD가 자일링스 쿨러너 1과 쿨러너 2 CPLD, 스파르탄 2와 스파르탄 3 FPGA를 비롯해 다수의 FPGA 제품을 단종시켰다고 발표했습니다. 자일링스는 FPGA가 주력이었지만 쿨러너 시리즈 CPLD 제품도 만들어 왔습니다. AMD가 자일링스를 인수...

Date2024.01.18 소식 By낄낄 Reply5 Views1042

Read More
AMD, 주가가 8% 오르며 52주 최고가 기록

AMD가 미국 현지 시각으로 화요일에 8%가 올라 52주 최고가인 158.74달러를 찍었습니다. AI 수요가 늘어나고 애널리스트들이 목표가를 상향 조절하면서 주가가 올랐습니다. AMD의 사상 최고가는 2021년 11월의 164.46달러였습니다. AI 칩...

Date2024.01.18 소식 By낄낄 Reply4 Views1110

Read More
시게이트 모자이크 3+ 플랫폼, 30TB 이상의 용량

시게이트가 HAMR 열 보조 기록 기술을 사용한 신형 플랫폼인 모자이크3+를 소개했습니다. 플래터당 3TB의 용량을 저장하며 앞으로 몇 년 안에 5TB 이상까지 용량을 늘릴 예정입니다. 이 플랫폼은 엑소스 30TB 이상 모델에 우선 사용하며 ...

Date2024.01.18 소식 By낄낄 Reply2 Views788

Read More
바이오스타 A68N-2100K 2.0. AMD E1-6010 탑재 메인보드

바이오스타 A68N-2100K 2.0입니다. 미니 ITX 폼펙터에 AMD E1-6010 프로세서가 탑재됐습니다. 소형 쿨링팬, 라데온 R2 내장 그래픽, DDR3/DDR3L-1300 x2 16GB, SATA 6Gbps x2, PCie 2.0 x4(슬롯은 x16), 리얼텍 RTL8111H 기가비트 랜, 리...

Date2024.01.18 소식 By낄낄 Reply10 Views546

Read More
커세어 A115 듀얼팬 트윈타워 CPU 쿨러

커세어 A115 사이드 플로우 CPU 쿨러입니다. 트윈 타워 사이에 2개의 AF140 엘리트 팬을 장착했습니다. TDP 270W, 구리 베이스 플레이트, 6mm 히트파이프 6개, 90장의 방열 핀, XTM70 써멀 페이스트 도포, 회전 속도 400~1600rpm, 소음 5~...

Date2024.01.18 소식 By낄낄 Reply0 Views419

Read More
스파클의 인텔 아크 Lp 타입 그래픽카드

스파클의 인텔 아크 Lp 타입 그래픽카드입니다. A310 에코는 싱글 팬에 1슬롯, 소비 전력 50W, 클럭 1000MHz, 메모리는 GDDR6 4GB https://www.aiuto-jp.co.jp/products/product_4896.php A380 지니는 듀얼 팬에 2슬롯, 길이 145mm, 클럭 ...

Date2024.01.18 소식 By낄낄 Reply2 Views625

Read More
인텔 300 프로세서의 성능 테스트. 가장 느린 랩터레이크

인텔 300 프로세서의 성능 테스트입니다. 펜티엄 골드 G7400의 후속작으로 2코어 4스레드를 유지하면서 클럭이 3.9GHz로 올랐습니다. TDP는 46W, 6MB L3 캐시 탑재, UHD 710 그래픽이 있습니다. 시네벤치에서 인텔 300은 코어 i3-1400보...

Date2024.01.18 테스트 By낄낄 Reply5 Views932

Read More
No Image

라데온 RX 7900 XT, 가격 인하

라데온 RX 7900 XT와 7900 GRE의 판매 가격이 떨어지고 있습니다. RX 7900 XT는 13개월 전에 899달러로 나왔는데 4개월 후에 100달러 인하해 799달러로 팔렸고, 중간에 이벤트성 가격인 699달러를 찍었다가 오늘 749달러로 공식 인하했습...

Date2024.01.18 소식 By낄낄 Reply2 Views563

Read More
Titan Army P32A6V - 4K , 144Hz , 양자 닷 IPS, 최대 휘도 1000nits 32인치 모니터

회사이름 보자마자 아~~~ 중국산 모니터 군 !. Titan Army P32A6V는 해상도가 3840x2160인 4K 해상도로 화면 크기가 32인치인 LCD 모니터입니다. 액정 패널 타입은 논글레어(비광택)로 발색이나 시야각이 뛰어난 IPS 액정 패널, ...

Date2024.01.18 일반 ByZ80 Reply0 Views293

Read More
확실히 메테오레이크는 아키텍처 레벨에서의 개선은 거의 없나 보군요.

메테오레이크의 핵심은 LPE 코어는 컴퓨트 타일과는 다른 SOC 타일에 있기에, 완전히 따로 놉니다. 얼마나 따로 노냐면 얘네는 컴퓨트 다이에 접근하질 않아요. LPE 코어의 L2에 데이터가 없으면, 컴퓨트 타일에 있는 L3에 접근하는 게 ...

Date2024.01.17 일반 By류오동 Reply5 Views883

Read More