컴퓨터 / 하드웨어
:
컴퓨터와 하드웨어, 주변기기에 관련된 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.
-
Read More
NVIDIA H200, AI 벤치마크에서 최고의 성능 차지
NVIDIA는 AI 처리 성능 벤치마크인 MLPerf Inference v4.0에서 NVIDIA H200의 점수를 공개했습니다. 이전 세대인 H100보다 추론 성능이 1.45배가 올랐습니다. H200은 호퍼 아키텍처에 HBM3e 메모리 조합으로 4.8TB/s 대역폭에 141GB 메모... -
Read More
인텔 가우디 2, 스테이블 디퓨전에서 NVIDIA H100보다 55% 높은 성능
스테이빌리티 AI가 NVIDIA H100 호퍼 80GB, A100 암페어 80GB, 인텔 가우디 2 96GB에서 스테이블 디퓨전 3의 성능을 비교했습니다. NVIDIA H100은 슈퍼 스칼라 쿠다 프로세서에 텐서 코어를 조합했지만 가운디 2는 생성 AI와 LLM 가속을 ... -
Read MoreNo Image
메타, 연말까지 35만개의 NVIDIA H100을 구입하고 인스팅트 Mi300도 추가
메타가 AI와 AI에 사용할 하드웨어에 대한 업데이트를 발표했습니다. 올해 연말까지 NVIDIA H100 60만 개에 해당되는 하드웨어를 확보하는데, 이게 다 H100으로 채운 건 아닙니다. H100은 35만개를 구입합니다. 2023년에는 15만개의 NVIDI... -
Read More
NVIDIA H100의 전체 전력 사용량이 작은 나라 수준
NVIDIA H100 GPU의 최대 전력 사용량은 700W입니다. 연 활용도를 61%로 가정하면 미국 평균 가구(1가구당 2.51명)의 전력 사용량과 비슷합니다. 연 사용률 61%로 가정해서 H100은 3740kWh의 전기를 사용합니다. 2023년에 150만개를 판매하... -
Read More
AMD: H100이 MI300X보다 성능이 높다는 건 거짓이다
NVIDIA, H100이 AMD MI300X보다 2배 빠르다고 주장 https://gigglehd.com/gg/15299956 이걸 AMD가 다시 반박했습니다. 우선 AMD는 NVIDIA가 추론 워크로드 세트를 선별해서 사용했으며, 오픈 소스이자 보급율이 높은 vLLM 대신 H100에 최... -
Read More
NVIDIA, H100이 AMD MI300X보다 2배 빠르다고 주장
AMD는 인스팅트 MI300X를 발표하면서 NVIDIA H100보다 추론 성능이 뒤어나다고 발표했습니다. 하지만 NVIDIA는 DGX H100 시스템에 최적화된 소프트웨어를 쓰지 않았기에 그런 결과가 나왔다면서, CUDA에 최적화된 프레잌워크와 알고리즘을... -
Read More
NVIDIA, 지난 분기에 900톤의 H100을 판매했다고 추정
NVIDIA가 2023년 2분기에 900톤에 달하는 H100 GPU를 출하했다고 추정됩니다. H100은 3가지 폼팩터가 있습니다. H100 PCIe 카드는 1.2kg, SXM 모듈의 무게는 알려지지 않았고, SXM은 최대 2kg입니다. 900톤이라면 30만 개 이상이 나갔다고... -
Read MoreNo Image
NVIDIA H100의 수익율은 1000%
NVIDIA가 H100을 만드는 데 필요한 비용은 3320달러입니다. HBM까지 포함해서 모든 구성 요소를 더해서 말이죠. 하지만 고객에게 판매하는 가격은 25,000~30,000달러입니다. 바꿔 말하면 NVIDIA가 H100 한 대를 팔 때마다 이익을 1000%씩 ... -
Read MoreNo Image
클라우드 회사가 NVIDIA H100을 담보로 23억 달러를 빌림
클라우드 서비스 제공업체인 CoreWeave가 NVIDIA H100 연산 카드를 담보로 잡고 23억 달러를 빌렸습니다. 이걸로 더 많은 시스템을 확보하고 인력을 고용할 거라고 합니다. 이 회사는 미국 텍사스에 16억 달러 규모의 데이터센서를 건설하... -
Read More
Comino, NVIDIA H100 PCIe 가속기 카드용 워터 블럭 출시
Comino가 NVIDIA H100 PCIe 가속기 카드를 위한 워터 블럭을 출시했습니다. 코어 블럭에 구리, 프레임과 백플레이트에 알루미늄, 일부 스테일리스 스틸과 플라스틱 사용. 20도의 냉각수 온도로 칩 온도는 30~40도. 0.1mm의 얇은 구리 핀 ... -
Read More
NVIDIA H100 호퍼, 94GB와 64GB 모델이 추가?
NVIDIA가 H100 호퍼, 데이터센터 가속기에 94GB와 64GB 모델을 추가할 것 같습니다. PCI-ID 디바이스 목록에 해당 모델이 등록됐네요. H100은 80GB와 96GB가 있는데 버전이 참 다양하게 늘어나는군요. 용량 차이는 크지 않으니 성능보다... -
Read More
NVIDIA H100 호퍼의 게임 성능, AMD 내장 그래픽 수준
NVIDIA의 데이터센터용 GPGPU/AI 가속기인 H100에서 게임을 실행하면 어떨게 될까요? 쿨링팬이 없기에(원래는 서버 랙에 달린 팬에서 나오는 바람을 활용) 블로워 팬을 달았고, 디스플레이 출력 포트가 없기에 이를 보조할 그래픽카드도 ... -
Read More
GPT 대규모 언어 모델 훈련에서 NVIDIA H100과 A100의 비교
GPT 대규모 언어 모델 훈련에서 NVIDIA H100과 A100의 성능 비교입니다. H100은 속도가 2.2~3.3배 가량 빨랐으나, 클라우드 서비스 가격 역시 2.2배 비쌉니다. 그래도 비싼만큼 빨리 작업을 끝낼 수 있기에 결과적으론 이득이란 결론이 나... -
Read MoreNo Image
NVIDIA, 중국 시장을 위한 H800 GPU의 수출 준비 중
작년에 미국의 정부 규제 부문은 NVIDIA가 H100과 A100 GPU를 중국 회사에 수출하지 못하도록 제한했습니다. 보다 정확히 말하면 인터커넥트 속도가 일정 이상인 칩을 팔지 못하도록 한 것이죠. NVIDIA는 양방향 인터커넥트 속도를 원래의... -
Read More
NVIDIA 호퍼, 암페어, AI 학습에서 벤치마크 신기록
NVIDIA 호퍼, 암페어 GPU갸 AI 학습에서 벤치마크 신기록을 세웠습니다. H100은 MLPerf의 8가지 훈련 모델에서 모두 세계 신기록을 세웠습니다. 기존 모델과 비교해서 최대 6.7배 높은 성능을 냅니다. A100도 소프트웨어가 발전하면서 처... -
Read More
NVIDIA, 호퍼 H100의 성능을 상향 조절
NVIDIA가 호퍼 H100 데이터센터 GPU의 성능을 조절했습니다. 원래 FP64는 30TFLOPS였는데 이제는 34TFLOPS, FP32는60TFLOPS에서 67TFLOPS가 됐습니다. 코어 수는 유지하면서 클럭을 1775MHz가 아닌 1982MHz로 높여서 성능이 오른 듯 합니다. -
Read More
120GB HBM2e 메모리가 탑재된 NVIDIA H100이 있음?
NVIDIA H100 120GB, 지포스 RTX 에이다 러브에이스 ES, 지포스 RTX 3090 Ti, A100 80GB가 함께 작동 중인 스크린샷입니다. H100은 현재 80GB 메모리가 탑재된 확장 카드가 나와 있습니다. 거기에서 메모리 용량을 40GB 더 늘린 버전이 나... -
Read MoreNo Image
NVIDIA, 중국 공급을 위해 H100/A100의 생산량 증가
미국 정부는 NVIDIA가 중국과 러시아에 고성능 AI 연산 프로세서를 판매하지 못하도록 제한한다고 발표했습니다. 다만 지금 당장 금지시키는 건 아니고 1년 정도의 여유 기간을 두는데요. 그 동안 열심히 공급하기 위해서 암페어 A100과 ... -
Read More
NVIDIA H100과 에픽 밀란-X의 MLPerf 벤치마크 성능
NVIDIA의 호퍼 H100 GPU는 MLPerf AI 벤치마크에서 암페어 A100보다 4.5배 향상된 성능을 기록했습니다. https://wccftech.com/nvidia-clean-sweeps-mlperf-ai-benchmarks-with-hopper-h100-gpu-up-to-4-5x-performance-uplift-over-ampe... -
Read More
NVIDIA 호퍼 H100 GPU, 4세대 텐서 코어로 최대 2배 빠른 속도
NVIDIA 핫 칩스 34 컨퍼런스에서 호퍼 H100 GPU의 상세 정보를 공개했습니다. 호퍼는 모놀리식 디자인(1개의 대형 다이)을 사용합니다. NVIDIA에 최적화된 TSMC 4N 공정으로 만든 가장 큰 GPU지요. HBM3 메모리와 800억개의 트랜지스터, ...
