하나의 워크스테이션에서 70B Llama 2 모델을 실행

조회 수 751 댓글 1

Extra Form
참고/링크	https://www.tomshardware.com/pc-componen...t-gtc-2024

파이슨이 GTC 2024에서 전시한 시스템입니다. 4개의 GPU가 장착된 하나의 워크스테이션인데, 시스템 메모리와 SSD를 조합해 이 한대로 700억 매개변수의 Llama 2 모델을 실행할 수 있다고 합니다.

NVIDIA RTX 6000 Ada A100 GPU 4대를 탑재하고, 제온 W7-3435X 프로세서, DDR5-5600 512GB 메모리, 파이슨 2TB SSD 2개로 구성했습니다. 여기에 파이슨의 aiDaptiv+ 솔루션을 사용해 AI 모델 레이어를 분할해서 사용도가 떨어지는 걸 시스템 메모리로 보내고, 시스템 메모리에 남아 있는 데이터는 SSD로 보냅니다. 반대로 자주 쓰는 걸 다시 GPU로 보내기도 합니다.

파이슨은 이 정도 크기의 AI 모델을 실행하려면 일반적으로 6개의 서버와 24개의 AI GPU, 1.4TB의 비디오 메모리가 필요하다고 설명합니다. 그리고 이 미들웨어는 파이토치/텐서플로우 레이어 아래에서 실행되기에 AI 앱을 수정할 필요가 없습니다.

삭제 요청

TAG •

파이슨,
ssd,

목록 스크랩

위로 아래로 댓글로 가기

Comments '1'

360Ghz case kill mark: BQ SB 802 white, CM H500m qube 500 FP, 3r L600/700/900/... 2024.03.28 11:31

탐스는 대체 무슨 글카를 말하고 싶었던걸까요... A100이 말하고 싶은건지 H100이 말하고 싶은건지 6000 ada가 말하고 싶은건지...

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

Onda의 라데온 RX 6600 LE가 중국에서 출시

Onda의 라데온 RX 6600 LE가 중국에서 출시됐습니다. 라데온 RX 6600 LE는 작년 12월에 레노버가 독점해서 중국 시장에 출시한 것인데, 다른 제조사도 이 칩을 받았나 봅니다. LE라고는 해도 스펙은 일반 6600과 같습니다. 1792개의 스트...

Date2024.04.27 소식 By낄낄 Reply5 Views233

Read More
써멀 그리스를 균일하게 발라주는 스텐실

이고르 랩에서 써멀 그리스를 균일하게 발라주는 스텐실인 X-Apply를 테스트했습니다. 평범하게 바르는 것보다 온도가 4도 가량 떨어질 수 있다고 설명합니다.

Date2024.04.27 소식 By낄낄 Reply4 Views870

Read More
No Image

SK하이닉스, 2024년 1분기 경영실적 발표

· 매출 12조 4,296억 원, 영업이익 2조 8,860억 원, 순이익 1조 9,170억 원 · 1분기 기준 사상 최대 매출, 영업이익도 역대 1분기 중 두 번째 높은 실적 · eSSD 판매 확대 및 제품가 상승으로 낸드도 흑자 전환 성공...

Date2024.04.27 소식 By낄낄 Reply0 Views177

Read More
레노버 씽크북 TGX 외장 그래픽 박스

레노버 씽크북 TGX 외장 그래픽 박스입니다. OCulink 64Gbps 커넥터로 연결해 썬더볼트 4의 40Gbps보다 더 빠른 속도로 전송이 가능합니다. 그래픽카드는 두께 72mm, 길이 358mm까지 장착 가능하며 전용 파워는 다로 달아야 합니다. 가격...

Date2024.04.26 소식 By낄낄 Reply5 Views1202

Read More
AMD 스트릭스 포인트, 스트릭스 헤일로의 스펙 유출

AMD 라이젠 9050 시리즈인 코드네임 스트릭스 포인트, 스트릭스 헤일로의 스펙이 유출됐습니다. 스트릭스 포인트는 젠5 12코어 24스레드, 12MB L2, 24MB L3, RDNA 3.5 아키텍처의 8 WGP 16 CU 그래픽. 피닉스/호크 포인트가 젠4 8코어에 R...

Date2024.04.26 소식 By낄낄 Reply7 Views1220

Read More
No Image

애즈락과 바이오스타도 AM5 메인보드에서 차세대 CPU 지원

애즈락과 바이오스타도 AGESA PI 1.1.7.0 패치 A 마이크로코드를 사용한 바이오스로 업데이트하면, AM5 메인보드에서 차세대 CPU를 지원한다고 발표했습니다. 애즈락 https://www.techpowerup.com/321879/asrock-am5-motherboards-ready-t...

Date2024.04.26 소식 By낄낄 Reply2 Views556

Read More
TSMC A16 공정 발표, 2026년 하반기에 도입

TSMC는 2026년 후반기에 1.6nm 공정 기술인 A16을 도입합니다. https://www.anandtech.com/show/21369/tsmcs-16nm-technology-announced-for-late-2026-a16-with-super-power-rail-bspdn TSMC는 원래 N2P에서 후면 전력 전달 네트워크 기...

Date2024.04.26 소식 By낄낄 Reply3 Views1323

Read More
AMD, 'RYZEN-AI(라이젠-AI)' 말고 'Radeon-AI(라데온-AI)'가 더 있다?

RYZEN-AI(라이젠-AI) Radeon-AI(라데온-AI) ※ 이 내용은 어디까지나 사견임을 알려드립니다.(다소 부정확할 수 있음) ▶ AMD, 'RYZEN-AI(라이젠-AI)'의 발표 변천사 1. 2023년 1월(AMD, CES 2023 컨퍼런스 발표) : RYZEN-AI(라이젠-AI...

Date2024.04.26 일반 By블레이더영혼 Reply3 Views843

Read More
No Image

a to c ㄱ자 usb케이블 추천부탁드립니다.

사용용도 : 포터블 모니터 보조전력 및 터치 신호 전달, ssd인클루저 연결 형태 : a to c (C타입 부분이 ㄱ자로 꺽겨있는 형태) (C타입 주변이 너무 두꺼우면안됨) 길이 : 최소 1m 속도 : 최소 usb3.0 전력 : 상관없음 심리적 가격 마지노...

Date2024.04.25 질문 By스와마망 Reply2 Views293

Read More
WOB Crush80 공제 소식 (Rainy75 TKL 버전?)

Rainy75 제작사인 WOB 에서 TKL 키보드인 Crush80 공제 계획을 올렸습니다. 5월말 공제 들어간다고 합니다. 자세한 내용은 아래 링크 참고하세요. https://www.zfrontier.com/app/flow/qnby5xkRK5NR

Date2024.04.25 소식 By세라프 Reply2 Views579

Read More
XBOX 게임패드 분해했는데 이것만 청소해주면 씹히는 증상 없어질까요??

안녕하세요 게임하다가 X 버튼이 안먹을때가 자주 있어가지고.. 답답해서 까보니까 이물질이 이렇게 있네요.. 그 좁은 틈새로 어떻게 들어온건지.. ㅠ저의 손때인지... 고무패드 이물질 알콜솜으로 닦아주면 원상태로 돌아올까요??...

Date2024.04.25 질문 Bymbtiinfp Reply3 Views685

Read More
MSI, 래피드 VA 패널을 쓴 27인치 커브드 게이밍 모니터 2개를 발표

MSI가 래피드 VA 패널을 사용해 GTG 0.5ms의 응답 속도를 실현한 27인치 커브드 게이밍 모니터 2개를 발표했습니다. 곡률 1500R, 밝기 250니트, 3000:1 명암비, 주사율 180Hz, 어도비 RGB 78%/DCI-P3 73%/SRGB 93% 색영역, 10억 7천만 컬...

Date2024.04.25 소식 By낄낄 Reply1 Views291

Read More
No Image

EKWB, 임금 체불 맞음, 인종 차별도 있음

EKWB의 CEO는 회사의 잘못을 인정하고, 직원과 공급업체에 돈을 제대로 지불하며 회사 내 커뮤니케이션을 개선하겠다고 발표했습니다. 지금까지 폭로된 임금 체불, 결제 지연 등이 모두 사실이라는 소리 되겠습니다. https://www.ekwb.com...

Date2024.04.25 소식 By낄낄 Reply2 Views621

Read More
No Image

TSMC, 대만 여진, 미국에서 대만식으로 운영해 반발

월요일과 화요일에 대만에서는 규모 4 이상의 지진이 103번 발생했습니다. 화요일 오전에는 규모 6.0과 6.3도 있었습니다. 이번 지진은 4월 3일의 진도 7.2 지진의 여진이라고 합니다. TSMC는 클린룸에 근무하는 직원을 대피했으나 생산에...

Date2024.04.25 소식 By낄낄 Reply1 Views835

Read More
No Image

중국에서 여전히 NVIDIA GPU를 구입, RISC-V 사용 조사

중국의 기업/연구기관들이 2024년 2월 28일까지는 NVIDIA GPU를 입수할 수 있었다고 합니다. 10개의 중국 기업이 2023년 11월 20일부터 2024년 2월 28일 사이에 NVIDIA의 고성능 칩이 탑재된 델, 기가바이트, 슈퍼마이크로 서버를 주문했...

Date2024.04.25 소식 By낄낄 Reply0 Views497

Read More