Skip to content

기글하드웨어기글하드웨어

사진 게시판 : 직접 찍은 사진을 올릴 수 있는 게시판입니다. 그림이나 스크린샷은 안됩니다. 사진의 비중이 적은 글은 다른 게시판을 사용해 주시고 사진엔 최소한의 설명을 달아 주세요. 2016년 7월 이전의 글은 다음 링크를 참조하세요. 구 사진 게시판 바로가기

시스템, 아이템
2019.08.12 12:12

Titan V to RTX 업그레이드

조회 수 458 댓글 9

포럼에 올릴만한 물건은 아니라고 생각되어서 사진게시판으로 갑니다. 어렵네요 @_@

 

오래간만에 유지보수 작업을 합니다.

아래 4U 케이스는 제가 4U 랙 케이스 중에서 개인적으로 좋아하는 씨엠코포레이션의 ZACR EYE-4860B 모델입니다.

아쉬운게 있다면 최대 장착 가능 GPU 3개가 최대라는 정도?

 

슈마와 같이 메인보드 레이아웃까지 짜져서 나오는 쪽이 훨씬 효율적이긴 하지만.. 기본 가격에 대한 선입견 및 슈마보드에 대한 안좋은 경험이 있어서 잘 안쓰고 있습니다. 아무것도 없이 4U 케이스와 상용 제품을 사서 조립하기에는 이 케이스가 그나마 가장 좋았었습니다. 혹시 더 좋은 녀석이 있다면 알려주시면 감사하겠습니다..

 

IMG_0817.jpg

 

보드는 아수스 프라임 X299에 CPU는 Core i9-7960X입니다. 16C 32T를 제공하는 녀석이죠. 쿨러는 해당 소켓을 지원하는 쿨마의 라인업 중에서 가장 저렴한 쪽으로 선택되었던걸로 기억합니다. 인입공기의 온도가 상대적으로 낮은 편이라, idle에서 29도~30도를 보여줍니다. 물론 high에서는 꽤 높겠지만, 온도 때문에 스로틀링을 관측해본 적은 없으니 괜찮습니다. 메인보드를 들어내는 작업은 몹시 귀찮아서, 나중에 정말 할 일 없을 때 교체해볼까 합니다.

 

 

IMG_0818.jpg

 

교체 가능한 타입의 120mm 팬 3개를 중간에 넣고 있어, 4U 사이즈 중에서 깊이가 꽤 깊은 편에 속합니다. 3pin 팬을 교체 가능하게 만들어놨기 때문에, 유지보수도 나쁘지 않습니다.

 

IMG_0819.jpg

 

120mm 쿨러는 Y.S.TECH의 것이고, 아.. 모델명은 깜빡했네요. 풍량도 괜찮고, 번들 쿨러도 먼지가 크지 않은 공간에서 굴렸을 때 4~5년 가까이 그럭저럭 잘 버텨줍니다. 소음은 좀 있는 편이나, 4U나 2U 사이즈에 들어가는 고RPM 팬에 비하면 매우 순진하다고 여겨지는 정도입니다.

 

1~2년 사이 DL 쪽에서는 큰 사이즈의 VRAM을 요구하는 경향이 짙어졌습니다. interconnect 속도가 주요한 요인이겠지만, 병렬성은 여전히 Data parallelism에 의존하고 있습니다. 많은 여유의 VRAM은 피딩할 수 있는 배치의 크기를 키울 수 있고, 성능도 일반적으로 배치가 크면 클 수록 일종의 정규화 효과를 받을 수 있어, GPU 세대간 속도의 증가는 크게 없지만, VRAM 확대로도 할 수 있냐 없냐가 바뀌는 경우가 있어서 작업을 하기로 합니다.

 

그래서 오늘 하는 작업은 Titan V(12GB HBM2)에서 RTX (24GB GDDR6)로 옮겨가는 작업입니다.

 

IMG_0823.jpg

 

오늘 작업한 놈입니다. 3-slot NVLINK bridge와 RTX 2장입니다. 집에서도 이렇게 쓸 수 있으면 얼마나 좋을까요... 라고 하고 싶지만 집에서는 불필요한 녀석입니다. 오히려 집에서는 i5-4960에 채굴노동자 버전 RX580을 메인으로 쓰고 있습니다.

 

IMG_0824.jpg

 

얼굴이 반사되지는 않았으면 좋겠네요. 적출된 Titan V는 더 저렴한 GPU를 사용하는 다른 호스트의 업그레이드로 사용됩니다.

 

IMG_0825.jpg

 

타이탄 V는 주 사용 타겟(?)과 다르게 NVLINK 브릿지를 연결하는 것을 포기시키기 위해 백플레이트를 90년대 양아치 스타일로 colar를 올리듯이 끝까지 올려놓았습니다. 뭐 소프트웨어로도 막아놨겠지만요. 아쉽고 꼬우면 V100 사라고 합니다. 쳇..

 

IMG_0826.jpg

 

 

이제 장착할 오늘의 주인공 RTX입니다. 튜링 세대의 레퍼런스 스타일로 황동 가스레인지 두개가 올라갑니다. 2-slot으로 타이트하게 장착하면, 위쪽의 GPU는 90도를 순식간에 찍어대는 불덩이가 됩니다. 타이트할 때는, 차라리 Titan V처럼 시스템 쿨러로 인입공기를 밀어주면 카드의 끝에 뚫려있는 부분으로 쉽게 들어갈 수 있기 때문에, 이 때는 블로워팬 디자인이 좀 더 나은 온도를 보여줬었습니다. 하지만 이건 뭐다? 3-slot 갭이 있으니 괜찮습니다.

 

IMG_0829.jpg

 

이제 브릿지를 끼워줄 차례입니다. 이 삐삐삐-들이 V에는 안주더니 RTX에서는 NVLINK Bridge를 같이 팝니다. 뒤집어서 찍은 것도 있지만 시리얼 번호 등을 처리하기가 귀찮아서 생략합니다. 어쨌건 장착 완료.

 

IMG_0831.jpg

 

그리고 뭐 전용처럼 판매하는데, 생긴건 튜링 2080Ti에 달린거, 그리고 조텍 등에서 판매하는 2080Ti용 브릿지랑 모양이 같고, 장착 호환성도 그대로 존재합니다. 저 놈 말고 게이밍용이라고 LED 빤딱빤딱하게 들어오는 브릿지를 받아서 처음에 걱정했다가, 대충 각 보고 끼우고 테스트 해봤더니 이상 없더라구요.

 

암튼, 브릿지의 사용 여부는 순수하게 수치만 따지면 꽤 큰 차이가 납니다.

 

CUDA 샘플에 포함되어 있는 p2pBandwidthLatencyTest를 좀 볼까요? 스크린 샷은 안된다고 하셔서, 텍스트로 일부만 옮깁니다. 동일 보드, 동일 CPU에 Titan V / RTX간 차이만 한번 볼께요. 동종 GPU간 비교는 아니라서, 참고만 하시길 바랍니다.

 

Titan V to V, 브릿지 없을 경우, Unidirectional P2P=Enabled Bandwidth Matrix (GB/s) : 0 -> 1 : 1.82GB/s , (1->0) : 1.84GB/s

Titan V to V, 브릿지 없을 경우, Bi-directional P2P=Enabled Bandwidth Matrix (GB/s) : 0->1: 10.78GB/s, 1->0 : 10.79GB/s

 

사실 브릿지가 없을 때는 P2P disabled가 bandwidth는 잘 나옵니다. 하지만 latency는 P2P enabled시 7.37us, disabled 16.19us가 나옵니다.

 

Titan RTX to RTX, NVLink HB 브릿지, Unidirectional P2P=Enabled Bandwidth Matrix (GB/s) : 0->1: 46.95 GB/s, 1->0: 46.94GB/s

Titn RTX to RTX, NVLink HB 브릿지, Bidirectional P2P=Enabled Bandwidth Matrix (GB/s), 0->1: 93.52GB/s, 1->0: 93.56GB/s

Latency는 P2p Enabled시 1.77us가 나옵니다. 그런데, CUDA 10에서는 GPU와 CPU를 거치는 latency가 따로 나오네요. CUDA 9에서는 안보이던 녀석인데..

 

이와 같이 브릿지를 달고 안달고는 꽤 큰(!) 차이가 납니다만, 학습된 모델로 inference할 때는 당연히 차이가 안나고, 학습 때는, Data parallism을 사용하는 병렬화 방법을 사용하고, 2장이니 Synchoronus 하게 weight를 머징할겁니다. 동기화 주기를 늘리는 방식으로 동기화에 들어가는 비용을 줄이면 브릿지의 유무로 벌어지는 성능 갭을 좁힐 수 있습니다.

 

물론 있으면 기본적으로 나아지긴 합니다. 주로 쓰고 있는 모델에서 생각없이 사용하면 대충 잘 쳐줘서 5~10% 미만 정도 쯤 될 듯 합니다. 이걸로 특별히 수치화하고 싶지는 않아, 느낌적으로 추산한거지만... 아무리 생각해도 브릿지 구매 비용(약 15만원?)을 들여서 얻을 수 있는 게인 치고는 크지 않는 것 같아요.

 



  • profile
    화수분 2019.08.12 12:36
    역시 신형 타이탄다운 성능이네요.
    이전 세대랑 다르게 nvlink를 달면 비램이 두배로 뻥튀기되는 장점은 없나요?
  • ?
    달가락 2019.08.12 12:47
    안타깝게도 단일 gpu처럼 다뤄지는 방식은 (최소한 제 도메인에서는) 없없습니다. Cuda 프로그래밍에 대한 조예가 있다면 unified memory라던가 이것저것 해볼 수 있겠지만, 잘 알려진 dl 프레임웍에서 그렇게 vram을 다루는 것은 경험해보지 못했네요.
  • profile
    낄낄 2019.08.12 14:51
    우왕... 신기하게 생긴 물건이다
  • ?
    달가락 2019.08.12 15:15
    음... 4U 케이스 중에서 저렇게 시스템 쿨러를 쉽게 교체 가능한 인터페이스를 갖고 있는 놈은 처음이었습니다. 다만 단점이라면 반대방향으로 결착하기가 상대적으로 여러워서, 두께가 더 두꺼운 쿨러를 넣기가 부담스럽다는 단점이 있습니다. 이걸 살짝 손대본 서버가 있긴 한데.. 그것도 유지보수하는 시간에 여유가 되면 한번 찍어보도록 할까봐요. 서버실 가면 기가 빨리는 것 같아 자주는 안갑니다. ㅠ
  • ?
    MUSCLE 2019.08.13 11:07
    역시 성능은 타이탄이네요.. NVLINK 는 게임에선 정상적으로 지원못하지않나요?? 게임용은아니지만요..ㅎㅎ

    타이탄V는 확실히 블로워타입이라그런가.. 다들 불만들이많으시더라구요... ; 여러장특히묶으면.. 온도감당이어렵다고..
  • ?
    달가락 2019.08.13 11:22
    안타깝게도 게임용으로 써본 일이 없어서 어떤 차이가 있을지는 모르겠습니다만, 2080ti도 같은 브릿지를 쓰기 때문에 보드가 SLI를 지원하면 게임에도 쓸 수 있을 것 같습니다.

    경험적으로 4u 랙 케이스를 쓸 때 시스템 쿨링이 (패시브 쿨링처럼 카드의 모서리 방향에서 인입공기를 밀어주는 경우처럼) 받쳐준다면, 슬롯 빈 공간 없이 카드를 빽빽하게 넣고도 버티는데는 블로워가 좋더라구요. 메인보드 레이아웃 때문에 Rtx를 겹쳐서 넣은 서버가 있는데, 카드가 땅에서 똑바로 서있는 것과 같은 형태라 케이스 상부에 머무는 열기를 빨아들이는 것과 같아서 온도는 더 높게 나왔었습니다. 카드간 갭이 없으면 사실 수냉이 답이겠지만요.

    그래서 지금은 어쩔 수 없이 저렇게 3slot 갭을 유지하려고 레이아웃을 미리 고려하고 있어요.
  • profile
    title: AMDInduky      자타공인 암드사랑 정회원입니다 (_ _) 2019.08.13 11:09
    어맛... 무서운 물건을 쓰시는군요 ㄷㄷㄷ
  • ?
    포인트 팡팡! 2019.08.13 11:09
    Induky님 축하합니다.
    팡팡!에 당첨되어 5포인트를 보너스로 받으셨습니다.
  • ?
    달가락 2019.08.13 11:28
    한푼이라도 아낄려고 이러지만 사실 델이나 hp불러다가 편하게 구성했으면 하는 마음이 더 크긴 합니다 ㅠㅠ


  1. 수냉쿨러,4TB하드 지름

    쓰레빠2950X를 4.25ghz오버해서 쓰는데 딥쿨 프라이젠으로는 정말 제 라이젠이 ...
    Date2019.08.12 지름, 득템 Bytitle: 17세뚜까뚜까 Reply8 Views282 file
    Read More
  2. Titan V to RTX 업그레...

    포럼에 올릴만한 물건은 아니라고 생각되어서 사진게시판으로 갑니다. 어렵네요 @...
    Date2019.08.12 시스템, 아이템 By달가락 Reply9 Views458 file
    Read More
  3. 새 컴퓨터 사진입니다.

    링크 듀얼시스템 포기하고 있었다가, 링크 글로 인해 다시 시스텝 조립해서 완성...
    Date2019.08.11 시스템, 아이템 By하루살이 Reply6 Views394 file
    Read More
  4. USB9핀 허브 날라와서 ...

    고민이 생겼습니다,,           케이스 USB 2.0 전면단자 ...AC 9260 BT5.0연결용...
    Date2019.08.11 지름, 득템 Bypoin_:D Reply1 Views361 file
    Read More
  5. 주말 점심

    제가 키우고있는 바질 입니다.   점심재료로 사용할만큼 뜯어왔습니다.   팬에 ...
    Date2019.08.11 고기(음식) Bytitle: 명사수가네샤 Reply14 Views245 file
    Read More
  6. PUBG 네이션스 컵 직관

    이 무더운 여름날 예전 선풍적인 인기를 끌었던 그 게임 대회를 보러갔다왔습니다...
    Date2019.08.11 일반 Bytitle: RGB양파구름 Reply8 Views318 file
    Read More
  7. 나눔받은 1400 + X370 ...

    생각해보니까 화수분님은 장착 인증샷까지 올려놓으셨던데 저만 택배 개봉기만 ...
    Date2019.08.11 지름, 득템 Bytitle: 고기눈팅만4년째 Reply9 Views264 file
    Read More
  8. 오래전에 썼던 DV캠코더

    오래 전에 사용했던 DV 캠코더입니다. 드디어 충전기를 찾아서 켜볼수 있게 되었...
    Date2019.08.11 시스템, 아이템 Bytitle: 명사수Veritas Reply9 Views313 file
    Read More
  9. 갤럭시 노트10 보고 왔...

                      노트 10이 나왔다고 하길래 한번 구경해봤습니다. 아우라 글...
    Date2019.08.10 일반 ByPixel Reply10 Views566 file
    Read More
  10. 깍지님 나눔해주신 카...

    안녕하세요~   며칠전 깍지님께서 헤어커트만 하면 멋잇어 질수 있는 사람 손들라...
    Date2019.08.10 지름, 득템 ByTheJeDi Reply2 Views117 file
    Read More
  11. 이케아 침대 수리

    저는 이케아의 브림네스 침대를 6개월 정도 사용중인데 어제밤 잠을 자려고 눕는...
    Date2019.08.10 일반 Bytitle: 명사수가네샤 Reply8 Views250 file
    Read More
  12. 시골집 다녀왔습니다

        지나가는 길에 댕댕이 혼자 있길래 사진 찍어봤습니다.    오랜만에 내려가니...
    Date2019.08.10 풍경, 여행 Bytitle: 저사양애플쿠키 Reply8 Views194 file
    Read More
  13. 우에노 시노바즈 연못...

        사진에 보이는 목재 건축물은 벤텐도입니다.     이렇게 생겼어요.
    Date2019.08.10 풍경, 여행 By갑충 Reply4 Views174 file
    Read More
  14. 한밤중의 야옹이

    집에 들어앉은 고양이 한마리가 야옹야옹야옹팥빙수야옹야옹야옹야옹빙수빙수야옹...
    Date2019.08.10 동물, 식물 By낄낄 Reply7 Views283 file
    Read More
  15. 2019.08_제주도 여행 3...

    3일차 말고기-섭지코지-월정리 해변-제주공항   1. 말고기 벌써 여행 마지막 날입...
    Date2019.08.09 일반 Bytitle: 명사수가네샤 Reply11 Views156 file
    Read More
  16. 2019.08_제주도 여행 2...

    2일차 마라도-카트-갈치구이-바베큐   전날 열심히 돌아다녀서 그런가 거의 기절...
    Date2019.08.09 풍경, 여행 Bytitle: 명사수가네샤 Reply11 Views104 file
    Read More
  17. 2019.08_제주도 여행 1...

    1일차 김포공항-넥슨 컴퓨터 박물관-고기국수-이오테우 해변-술박물관-동문시장  ...
    Date2019.08.09 풍경, 여행 Bytitle: 명사수가네샤 Reply2 Views107 file
    Read More
  18. 냐옹이 냐옹이!

      뚝섬역 서울숲 가는 길목에 어느 카페 벤치에 포즈를 잡고 있는 고양이... 이 ...
    Date2019.08.08 동물, 식물 By뚜찌`zXie Reply12 Views473 file
    Read More
목록
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 168 Next
/ 168

최근 코멘트 30개

MSI 코리아
와사비망고
쓰리알시스템

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소