GPU 서버 구축 관련 질문

조회 수 1150 댓글 7

안녕하세요

4-5명 정도 규모의 팀이 사용할 GPU 8개 달 수 있는 서버를 구축하려고 하는데요, 처음 구축해봐서 의견을 듣고 싶어서 글을 남깁니다.

예산이 2500만원이라 먼저 GPU를 제외한 서버를 구축한 후에, 추후에 VRAM 48GB 또는 80GB 짜리를 한 두개씩 구매해서 채워 넣으려고 하는데요, GPU 제외한 부분 관련해서 의견을 듣고 싶습니다.

아래와 같은 스펙으로 구축하려고 하는데

ASUS GPU Server ESC8000A-E12

2 X Genoa 9354

512GB DDR5 Registered ECC PC4 4800 (64GB x8)

Samsung Enterprise NVMe PM9A3 7.68TB (2.5in NVMe U.2)

6 X WesternDigital UltraStar SATA (3.5", 18TB, SATA, 7200, 512M)

8 Disk RAID

이렇게 해서 NVMe에는 OS올리고 HDD에는 데이터저장용으로 사용하고자 합니다.

혹시 이렇게 진행했을 때 괜찮을지 혹은 더 추천하시는 구성이 있을지 궁금합니다.

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '7'

360Ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2023.10.27 23:26

현재 사용하시고 싶으신 모델 단일로는 8개는 어려울겁니다. SSD를 다 뽑던 해야하는걸로.. 차라리 1S 모델인 웍스를 여러개 구축하시는걸 추천 드리며, 그럼에도 불구 단일 모델을 원하고 반대역만 사용하셔도 되는 상황이시라면 태클 걸진 않겠으나 GPU 서버를 구축하시는 입장이시라면....

개인적으론 GPU 서버 쪽은 돈이 너무 많이 깨지더라도 하드를 추천하고 싶진 않습니다. 보통 GPU 서버를 구축하시는 분들은 딥러닝 때문에 자료 쌓느라 어쩔 수 없이 사용하시는 편이 많으신데, 하드에서 데이터를 로드하면 하드의 데이터 전송 속도 문제로 매우 낮은 그래픽 로드율을 보이기 쉽습니다.

vnc 콘솔 환경으로 넘어가게 된다면 콘솔 쪽 네트워크 때문에라도 어지간하면 PCIe 레인은 더 여유를 놓고 계산하시는걸 추천합니다.
ForGoTTen 결제중.... 2023.10.28 01:14

GPU서버를 단일노드로 하셔야 하는 이유가 있으신가요 ? 일단 저희는 4 GPU구성의 노드 수십대로 클러스터를 구성했습니다. 어차피 인원이 많아지면 따로 스토리지 노드를 빼서 lustre나 NFS라도 써야하는 상황이 올겁니다.

GPU를 한 번에 구매하지 않으면 더더욱 그렇습니다. 서로 다른 GPU가 장착된 클러스터라도 한 노드 내에서는 GPU 기종이 통일되어있으면 그럭저럭 나눠서 쓸 수 있지만, 한 노드(서버)에 서로다른 GPU가 섞여 있으면 매우 골치아파지기에....

그리고 딥러닝 서버에서 CPU의 역활은 생각보다 크지 않습니다. 딥스피드의 ZeRO-Infinity같이 옵티마이저의 파라미터 업데이트를 CPU로 로프로드 하는 방법이 아니면 CPU는 GPU동작기(?) 일 뿐이라고 생각하시면 됩니다.
Plasma 꿈과 낭만 2023.10.28 23:23

정보 감사합니다.
?
바라기 2023.10.28 16:55

스토리지 병목현상 있을듯한데 문제없으실까요?
hdd 다빼고 u.2 30tb tlc 까지 나오니깐 u.2 구축 추천 드리구요.
레이드카드 없이 마운트해서 쓰시는걸 추천드립니다.
해당서버에 이구성으로 가면 m.2 1슬롯 u.4 4베이 나올겁니다.
나중에는 서버장비 늘어나면 스토리지 서버 따로 구축 추천드립니다.
rdma 로 연결하고 규모에따라 10g 100g 등 갖추면 됩니다.
위에 말씀주신것처럼 8gpu 서버라면 8개 모두 동일한 gpu 구성 추천드립니다.
그리구 저는 8gpu 추천드리구요.
클러스터 구성해보면 동일 gpu 수 일때 노드 수 적고 plx 칩셋 없는 구조의 서버가 가장 효율 좋았습니다.
그리구 해당서버는 전용 gpu 연결 직결 케이블을 쓰고 l40 h100 6000ada 등은 따로 케이블 주문해야합니다. 받기까지 오래걸리기에 서버 구매시 같이 구매주문 넣으셔야합니다
Plasma 꿈과 낭만 2023.10.28 23:39

제가 서버 관리같은건 잘 모르나.. 쓰고있는 연구실 서버는 a6000 6개씩 8개 클러스터링 한거였나 했는데, 본문처럼 SSD랑 하드 , 그리고 스토리지 서버가 따로 있어요. SSD 쓸수 있으면 쓰는것도 나쁘지 않다고 봅니다. 자주 쓰는건 ssd 올려두는게 편하니까요.
빠르고 좋아요. 당연히 용량 때문에 하드도 있으면 좋은데.. 레인 남으면 둘다 하시는건 어떨까요..
Plasma 꿈과 낭만 2023.10.28 23:59

근데 가성비가 중요하면 4090 류는 어떨까요??
VRAM 많이 안 쓰시면, 소규모에서는 4090이 가성비 좋은것 같더군요..

4090 전력제한 해서 쓰는거죠.
?
butz 2023.10.30 13:39

저 구성으로 사용하셔도 문제없습니다. GPU는 H100 8개까지 문제없이 실증된 제품입니다.

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

더 많은 블로워 타입 4090이 중국에서 발견

중국에서 지포스 RTX 4090을 블로워 타입으로 바꿔 AI 가속용으로 활용하고 있습니다. 더 많은 사진이 나오고 있네요. 미국의 수출 제한 때문에 4090은 다 중국으로 몰려라고 있나 봅니다.

Date2023.11.28 소식 By낄낄 Reply3 Views910

Read More
라이젠 8000G, 8000H/HS/U 시리즈 라인업?

라이젠 8000G, 8000H/HS/U 시리즈 라인업이라고 합니다. 피닉스(제품명, TDP, 코어/스레드, 클럭으로 보입니다) 성능입니다. 호크 포인트

Date2023.11.28 소식 By낄낄 Reply8 Views1110

Read More
에메랄드 래피드, 5세대 제온 스케일러블 플래티넘 8558P, 8551C의 긱벤치

5세대 제온 스케일러블 프로세서인 에메랄드 래피드 기반 제온 플래티넘 8558P, 8551C가 긱벤치에 등록됐습니다. 모두 48코어 96스레드지만 캐시 구성은 다릅니다. https://twitter.com/BenchLeaks/status/1728257136453402860 https://tw...

Date2023.11.28 소식 By낄낄 Reply1 Views423

Read More
NVIDIA, TSMC와 인텔을 제치고 반도체 업계 매출 1위

NVIDIA가 2023년 3분기에 TSMC와 인텔을 제치고 반도체 업계 매출 1위를 차지했다고 합니다. 3분기 실적 보고를 토대로 집계한 거라고 하네요. AI 매출이 정말 대단한가 봅니다. Company Q3 2023 revenue Q3 2023 profit Nvidia $18.12B $...

Date2023.11.28 소식 By낄낄 Reply4 Views1143

Read More
NVIDIA의 중국 시장 전용 H20 GPU, 내년 초로 출시 연기

NVIDIA의 중국 시장 전용 H20 GPU가 내년 초로 출시 연기됐습니다. 11월 초에 미국 정부의 새로운 수출 규정이 정해지자마자 발표된 이 GPU는 ㅊ성능 밀도를 유지하면서 전체 성능을 낮췄습니다. 급하게 준비하다보니 출시까지 시간이 걸...

Date2023.11.28 소식 By낄낄 Reply1 Views531

Read More
MSI MS-4489 PCIe 카드. USB4 지원, 100W 충전

MSI Z790 카본 맥스 WiFi 메인보드에 번들 제공되는 MSI MS-4489 PCIe 카드입니다. 썬더볼트 3을 통해 USB4를 지원하고 100W 전원 공급이 가능합니다. DP Alt 모드 출력도 지원합니다. ASMedia ASM4242 메인 컨트롤러, ASM2464PD와 ASM24...

Date2023.11.28 소식 By낄낄 Reply0 Views451

Read More
인텔 애로우레이크-S에 Xe-LPG+ 탑재

인텔 애로우레이크-S에 Xe-LPG+ 내장 그래픽이 들어갑니다. Xe-LPG는 메테오레이크의 내장 그래픽이었습니다. 분리된 칩렛 형태로 탑재됐지요. 애로우레이크-S에는 +가 붙었으니 더 개선된 버전이 들어가나 봅니다. 특수한 연산을 처리하...

Date2023.11.28 소식 By낄낄 Reply0 Views549

Read More
컬러풀, 라이젠 6900HX, 라데온 6850M XT 탑재 일체형 게이밍 PC

컬러풀 G-ONE 플러스 일체형 게이밍 PC입니다. 이전 모델은 코어 12900H/12700H/12500H, 지포스 RTX 3060 조합이었는데 새 모델은 라이젠 9 6900HX와 라데온 RX 6850M XT로 업그레이드됐습니다. 27인치 4K 디스플레이, 16/32/64GB 메모리,...

Date2023.11.28 소식 By낄낄 Reply2 Views424

Read More
중국 선웨이 프로 CPU, 성능이 4배 향상됨

중국 국립 슈퍼컴퓨팅 센터에는 384코어가 탑재된 선웨이 SW26010 프로 프로세서를 사용하는 슈퍼컴퓨터가 있습니다. 이 프로세서는 기존 제품보다 더 많은 코어를 탑재하고 아키텍처를 개선해 FP64 성능이 4배 이상 향상됐습니다. CPU Co...

Date2023.11.28 소식 By낄낄 Reply0 Views630

Read More
흐음... 아크?

부가세 없는 아크..? 배대지나 11마존 통해야하는데 11마존 쿠폰 1분컷이네요. 요즘 제 라데온이 영상재생시에 가끔 오버레이 띠우면서 색이 이상해져서 일단 임시로 오버레이랑 단축키 싹다 껐습니다. 덕분에 바람피고싶네요 리뷰를 ...

Date2023.11.28 일반 ByM16 Reply0 Views570

Read More
No Image

넘패드 질문

제가 얼마전 8bitdo 키보드를 구매했습니다 얘가 텐키리스라 넘패드 키보드를 별도 구매했습니다 아래 URL인데요 문제는 배송을 받았는데 키캡이 없습니다 지금 너무 당황스러워서 멘붕이 왔는데요 키캡 없이도 키보드를 파나요? 혹시 ...

Date2023.11.27 질문 Bydmy01 Reply5 Views358

Read More
No Image

gosu님들 글카 두 개 끼워넣기에 가장 컴팩트한 케이스가 뭘까요

이상한 조건입니다 1. 발열 신경 X 2. PCIE 16 두 개(1번 , 4번) 달린 M-ATX 보드 (대역폭 신경 X) 3. 2.5슬롯(51mm), 길이 280mm 글카 두 개) 4. 파워 규격 상관 X (SFX여도 됩니다..?) 정말 순수하게 듀얼 글카를 우겨넣고 싶습니다...

Date2023.11.27 질문 By폴짝쥐 Reply9 Views411

Read More
14mm짜리 원형 푸쉬버튼을 찾읍니다

제 PC 케이스의 전원 택트스위치가 맛이 가버려서, 땜질하기는 또 귀찮은 관계로 이런 푸쉬버튼류를 사볼까 생각중인데... 알리에서 찾으니 다 저렇게 12mm 16 19 22mm짜리 버튼밖에 안나오더라구요. 근데 문제는 제 케이스 ...

Date2023.11.26 질문 By린네 Reply21 Views1178

Read More
AMD 스레드리퍼는 3DV 캐시 지원을 준비하고 있....다?

ASUS Pro WS TRX50-Sage WiFi의 최신자 바이오스에서 발견된 항목입니다. 캐시 활성화 옵션이 있으며 이 항목을 통해 3DV 캐시를 아예 비활성화하고 노말 CCD로 굴리는 것이 가능합니다. 사실 이건 밀라노 X부터 존재하는 옵션...

Date2023.11.26 일반 By류오동 Reply9 Views1300

Read More
No Image

AMD 모바일 라인업 GPU

AMD는 2024년에 하이엔드용 모델인 드래곤 레인지와 프리미엄 모델인 스트릭스 포인트, 메인스트림 겨냥 램브란트 리프레시와 바르셀로 리프레시, 저전력 시장 타겟의 멘도시노를 내놓을 예정이다. 라고 검색이 되네요. 알려진 로드맵으...

Date2023.11.26 질문 By투명드래곤 Reply9 Views1251

Read More