Skip to content

기글하드웨어기글하드웨어

인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

profile
조회 수 1790 댓글 18
Extra Form

두머리 장터를 꽤나 자주 보시는 분이라면 40Gbps를 보면 아시다시피 멜라녹스 카드입니다. 기록을 좀 뒤져보니 구입한지 2년이 된 것 같습니다. 구입한지 나름 오래되었는데 이래저래 사정이 있어서 서버를 한 반년 넘게 동작시키지 못하는 경우도 좀 있어서 실질적으로 사용 시간은 1년 조금 넘은 것 같네요. 드디어 계획했던 스펙과 함께 잘 작동하는 모습을 보게되었습니다. 삽질의 연속에서 드디어 해방되었어요.

 

---------------

 

하드웨어적인 부분은 다음과 같습니다.

 

칩셋은 전부 MCX354A-FCBT의 이더넷 모드이고 QSFP+ DAC 케이블로 연결되어있습니다. 대략적인 구성은 OPNsense에 MCX354A-FCBT 3개, GPU 서버, Proxmox 서버, Synology NAS(PCIE 3.0 8배속 슬롯이지만 실질적으로는 4배속)에 각 1개씩 장착되어있으며, MCX354A-FCBT는 PCIE3.0 x8 대역폭 + 어짜피 저장장치 특성상 전체 대역폭을 사용할 수 없기에 2포트 카드이지만 1포트만 사용했습니다.

 

이런 상태로 그냥 사용하다가 이전에 커뮤니티 잡담에서 힌트를 얻었던 글입니다. [외부망과의 연결이 방해가 되는 경우가 있으며 MTU 값을 적절하게 수정해야한다.] 가 골자입니다.

https://gigglehd.com/gg/bbs/16679448

 

기존의 경우 LAN이 1Gbps 포트와 40Gbps 포트를 전부 브릿지로 묶어놨습니다. 여기서 40Gbps 포트만 따로 브릿지로 묶어서 내부망을 설정하고 별도의 ip 대역을 줬습니다. 처음에는 ping 자체가 안가서 보니까 Firewall Rule를 설정 안해놔서 그렇더군요. 설정하니까 제대로 되었습니다.

 

그리고 iperf3 로 테스트해보니까 10Gbps 밖에 안되더군요. 그래서 각 서버와 OPNsense 브릿지에 MTU 값을 9000으로 주니까 18~24Gbps가 나왔습니다. 어짜피 이 대역폭도 저장장치의 한계로 다 못쓰기에 이 정도만 해도 만족스러웠지만 원래부터 대충은 가능했던 대역폭인지라 어떻게하면 더 올릴 수 있을까 테스트를 더 진행했습니다. 그렇게 Proxmox 서버에 iperf3 서버 2개 올리고 GPU 서버에서 연결하고 Synology NAS에서 연결해보자는 생각이 들더군요.

 

그리고는 

 

Monosnap Chrome 원격 데스크톱 - MSI-GP73 2025-01-09 03-17-16.jpg

 

iperf3 서버 하나당 약 20Gbps씩 오버헤드 고려하면 제대로 나옵니다? 설정 자체는 제대로 되었다는건데 왜 서버를 여러개 열어서 테스트해야하는건지를 이해하지 못했죠. 그리고 다른 포럼에 결과가 이렇다고 올렸더니 iperf3가 멀티스레드를 잘 활용하지 못해서 3.16 버전 이상으로 가야 제대로 측정이 가능하다고 하더군요. 그래서 iperf3의 버전을 확인했더니 그보다 아래라서 직접 빌드해서 3.18 버전으로 테스트해봤습니다.

 
Monosnap Chrome 원격 데스크톱 - MSI-GP73 2025-01-09 04-26-58.jpg

 

양방향도 잘되네요. 다만 OPNsense 서버쪽이 힘들어하는게 느껴집니다. CPU 사용량이 많이 올라가서 관리하는 원격 컴퓨터 연결과 VPN도 불안정해지네요.
 
---------------
 
사실 위에서도 언급했지만 이 정도의 대역폭을 사용할 저장 장치가 없기에 제대로 이 대역폭을 사용하진 못하겠지만 일단은 사용 가능하게끔 준비해놔야한다고 생각했습니다. 제 시스템에서는 영영 불가능할 줄 알았던 부분이 해결되어서 굉장히 기쁘네요.


  • ?
    ery 2025.01.09 17:07
    https://mikrotik.com/product/crs510_8xs_2xq_in

    한번 보시지요 ..
  • profile
    title: 정상화ExpBox      허허허 2025.01.09 18:10
    멋지네요. 꽤나 먼 이야기이지만 나중에는 미크로틱 계열로 전부 기변하려고 생각중입니다.

    처음부터 미크로틱 계열로 갔으면 됐지 않았느냐 할 수는 있겠지만 기기에 익숙해지는 과정이 어렵다고 들었습니다. 그때도 그렇고 지금도 아직 네트워크에 대한 이해가 그리 높다고 생각하지 않아서 그런 것도 있구요. 또한 서버 구축 당시에 멜라녹스 카드가 꽤나 저렴하게 풀린 것도 한 몫합니다. 미크로틱 계열 기기가 그리 낮은 가격은 아니니까요.

    그리고 지금 제 서버 상황에서는 40Gbps도 과한 대역폭입니다 ㅎㅎ; 진짜 이번달까지만 해보고 안되면 싹다 저렴하게 내놓고 인텔 10Gbps SFP 카드로 전부 바꾸려고 했어요.
  • profile
    title: 병약한토키 2025.01.09 18:36
    전 응애라 내부망이 2.5Gbps가 끝인데..
  • profile
    title: 정상화ExpBox      허허허 2025.01.09 20:23
    저도 기본 내부망은 1Gbps입니다 ㅎㅎ; 저쪽만 특이한거에요
  • profile
    리나인버스 2025.01.10 04:23
    헌데 기본 아이들 소비전력은 얼마나 되나요?

    10 Gbps 라우터 구상중이라서 궁금한 부분이라서요.
  • profile
    title: 정상화ExpBox      허허허 2025.01.10 13:04
    따로 측정하고있지는 않습니다. IPMI가 있긴한데 접속이 안되네요 ㅡㅡ; 일단 OPNsense 서버가 i7 5960X 하스웰인걸 고려하시면 될 것 같습니다. 스루풋에 따라서 다르겠지만요.
  • profile
    title: 정상화ExpBox      허허허 2025.01.12 22:37
    어찌저찌 IPMI 접속하게끔 설정 다시 해두고 확인해보니까 파워서플라이랑 호환이 안되는건지(해외 포럼에서는 SMbus가 없어서 그럴 수 있다고합니다.) 따로 소비전력을 확인할 수가 없네요. 저도 궁금했는데 말이죠. 쩝..
  • profile
    리나인버스 2025.01.13 01:58
    ^^

    아쉽지만 기회가 있겠지요~~
  • ?
    므시므시      닉네임만 이렇지 MSI와 별다른 관계는 없습니다(핳핳) 2025.01.10 09:05
    40Gbps... ㄷㄷ....
    연결은 광케이블을 쓰나요?
  • profile
    title: 정상화ExpBox      허허허 2025.01.10 13:06
    QSFP+ DAC 3미터짜리 케이블 사용합니다. 광케이블 제작도 어렵고 굳이 거기까지 갈 필요를 못느껴서요.
  • profile
    리나인버스 2025.01.11 01:22
    감사합니다.

    패치코드 만들어져 있는 놈을 사용하시면 되요...헌데 40g 정도 되면 광케이블 가격도 만만치 않겠네요.
  • profile
    title: 정상화ExpBox      허허허 2025.01.11 03:10
    그래서 그냥 상대적으로 저렴하고 호환성에서도 크게 문제 없는 DAC를 얌전히 사용하는거로..
  • profile
    title: 정상화Induky      자타공인 암드사랑 정회원입니다 (_ _) 2025.01.10 09:23
    10G도 잘 없는데 무려 40G라니 ㄷㄷㄷ
  • profile
    title: 정상화ExpBox      허허허 2025.01.10 13:40
    그래서 저도 10기가하려다가 어쩌다보니 이렇게 된걸까요..
  • profile
    캐츄미      5700g, 5800x, 5950x 2025.01.10 13:26
    10G도 써보니 남던데 40G는 상상이 안되네요
  • profile
    title: 정상화ExpBox      허허허 2025.01.10 13:42
    저장장치의 한계로 저 대역폭을 못쓰는게 아쉬울뿐입니다 ㅠ
  • ?
    ProRes 2025.01.16 17:13
    축하드립니다. 이제 100GbE로 넘어오시면 됩니다.
  • profile
    title: 정상화ExpBox      허허허 2025.01.16 21:12
    이러지마세요 실러요 하지마세요

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.


  1. 리눅스 재단, 크로미움 기반 브라우저 지원 시작

    리눅스 재단이 크로미움 기반 브라우저의 지원을 시작합니다. 크로미움 생태계의 프로젝트를 강화해서 오픈소스의 지원을 늘리고 지속 가능성을 보장하는 것이 목표입니다. 구글, 메타, 마이크로소프트, 오페라 등이 여기에 지원을 약속하...
    Date2025.01.13 소식 By낄낄 Reply3 Views892 file
    Read More
  2. No Image

    리누스 토발즈, 기타 페달 만들 거리가 필요함

    리눅스 커널 6.13-rc7 릴리즈 입니다.   휴일날 심심하니까 레고 조립하는데(크리스마스와 생일날), 거진 비슷하니까, 이번엔 기타 페달 킷을 조립하기로 했답니다. 기타를 좋아하기도 하고, 대충 5분동안 555개의 LED가 반짝거리지도 않...
    Date2025.01.13 소식 Bytitle: 민트초코책읽는달팽 Reply1 Views1039
    Read More
  3. Lossless Scaling 3 출시, 20배 프레임 생성 가능

    Lossless Scaling 3이 발표됐습니다. 최신 버전에서는 10배나 20배의 프레임 생성이 가능합니다. 1080p에서 최소 30fps, 권장은 60fps 프레임 이상이 필요하며 이전 버전보다 지연 시간이 24% 가량 줄어들기도 했습니다. 여기에 테스트 영...
    Date2025.01.13 소식 By낄낄 Reply6 Views1364 file
    Read More
  4. 다음, 로고 변경

    이용자가 콘텐츠에 더 집중할 수 있도록 전체적으로 불필요한 색상을 줄이고 화면구성을 깔끔하고 보기 좋게 개선했습니다. 이와 함께, 다음 로고도 변화했습니다. 기존에 마주한 다음 로고는 네 가지 색상이 섞여있고, 높낮이가 다른 형...
    Date2025.01.13 소식 By낄낄 Reply25 Views3353 file
    Read More
  5. No Image

    혹시 Apple 기기 프로그램으로 업데이트나 DFU 잘 되는 분 계실까요?

    ios 18 올라가서 나서부터 얘로 업데이트나 DFU하려고 하면 무조건 1109 에러가 뜨던데 혹시 잘 되시는 분 있을까요? 애플이랑 통신을 못해서 생기는 오류라고 하는데 iTunes 쓸 땐 iOS 18에서도 잘 되다가 Apple 기기 앱으로 넘어오니 이...
    Date2025.01.10 질문 ByPARK_SU Reply6 Views1127
    Read More
  6. No Image

    리눅스 재단, 크로미움 스폰서로 올라가

    리눅스 재단이 크로미움 프로젝트에 서포터(Supporters of Chromium-Based Bowsers)로 참여하게 되었습니다.   리눅스 재단에 따르면 크로미움은 "투명성, 포용성, 커뮤니티 중심 개발"을 기반으로 하는 다른 재단 이니셔티브(리눅스, K8s...
    Date2025.01.10 소식 Bytitle: 민트초코책읽는달팽 Reply3 Views961
    Read More
  7. [장문] 내부망 40Gbps 마참내 끝..

    두머리 장터를 꽤나 자주 보시는 분이라면 40Gbps를 보면 아시다시피 멜라녹스 카드입니다. 기록을 좀 뒤져보니 구입한지 2년이 된 것 같습니다. 구입한지 나름 오래되었는데 이래저래 사정이 있어서 서버를 한 반년 넘게 동작시키지 못하...
    Date2025.01.09 일반 Bytitle: 정상화ExpBox Reply18 Views1790 file
    Read More
  8. Bing, Google을 검색했을 때 가짜 Google을 표시

         Microsoft가 사용자를 Bing으로 유도하기 위해 Google과 유사한 검색 UI를 표시하고 있습니다.    로그인하지 않은 상태에서 Bing에 검색어 'google'을 입력하면 다른 검색어에서는 표시되지 않는 특별한 UI가 표시됩니다. 구글과 ...
    Date2025.01.08 소식 By모노타입 Reply8 Views1415 file
    Read More
  9. No Image

    Pornhub의 나이 확인 절차 추가 후 VPN 사용량이 급증

    플로리다주에서 성인 컨텐츠를 호스팅하는 웹사이트가 공식적인 신분증을 사용해 성인인지를 확인해야 한다는 규정을 시행한 후, Pornhub는 플로리다주에서 접근을 차단했습니다. 그 결과 VPN의 관심이 1150%가 늘었다고 합니다. 플로리다...
    Date2025.01.07 소식 By낄낄 Reply3 Views1181
    Read More
  10. No Image

    일론 머스크, Grok3가 곧 나온다고 예고

    일론 머스크는 자신의 X 계정에서 Grok3가 곧 나온다고 예고 했습니다. Grok3 LLM은 10만 개의 NVIDIA H100이 포함된 콜로서스 슈퍼클러스터에서 학습됐습니다. Grok2보다 10배 더 많은 컴퓨팅 자원을 사용한 것입니다.
    Date2025.01.07 소식 By낄낄 Reply3 Views928
    Read More
  11. 인터넷이 안됩니다 :( - 그냥 해결 되었습니다

    오늘 컴터를 켜고 기글을 하려 했는데 갑자기 인터넷이 안되더라구요 구성은 이런식입니다   인터넷    │    ▼ TP LINK 공유기 (KT에서 줌)    │    ├── 방1    │      └── 컴퓨터    └── 거실           └── TV + 무선 공유기   컴퓨터 ...
    Date2025.01.07 질문 Bydmy01 Reply2 Views580 file
    Read More
  12. u+ 유선렌 교체간 발생한 경험 공유와 푸념.

    통신사 이동간 저와 같은 문제를 겪으실까 이렇게 글로 공유해봅니다.   저는 기존 kt를 3년 가까이 사용하다 지난 9월 u+로 넘어간 상태입니다.   유선 선로구성을 설명 해 드리자면   기존 kt의 경우에는 바로 wan 으로 들어와 굳이 광...
    Date2025.01.07 일반 By가지 Reply4 Views838 file
    Read More
  13. No Image

    GS리테일 해킹으로 9만명 개인정보 유출

    이름,성별,생년월일,연락처,주소,아이디,이메일 등이 털린 것으로  추정된답니다.   근데 역시나 공식홈페이지 공지에도 관련 사과나 공지는 안보이는군요.
    Date2025.01.06 소식 Bytitle: 가난한AKG-3 Reply3 Views1090
    Read More
  14. No Image

    DSM 7.2.2에서 S.M.A.R.T. 값을 편하게 확인할 수 있는 방법이 있을까요?

    [질의]   DSM 7.1.1, 7.2.2 기반 시스템을 각 1개씩 운용하고 있습니다. 7.1.1 시스템에서는 OS 자체 기능으로 S.M.A.R.T. 확인이 가능하나, 7.2.2 기반 시스템에서는 불가능하여 찾아보니 DSM 7.2 업데이트 때 확인 기능을 뺐다고 하더라...
    Date2025.01.06 질문 Bytitle: 저사양임시닉네임 Reply8 Views661
    Read More
  15. DSM 7.2.2에서 Video Station 사용하기

    [잡담]   Synology가 자사 NAS에 사용하는 DSM OS 용으로 개발한 Video Station이라는 프로그램이 있는데, 7.2.2 이후에 이 프로그램을 설치할 수가 없습니다.  설치를 위해서는 편법을 써야 하는데, ssh 접속 후 sudo -i 명령어로 root ...
    Date2025.01.06 일반 Bytitle: 저사양임시닉네임 Reply0 Views601 file
    Read More
목록
Board Pagination Prev 1 ... 3 4 5 6 7 8 9 10 11 12 ... 634 Next
/ 634

앱코
MSI 코리아
AMD
더함
한미마이크로닉스

공지사항        사이트 약관        개인정보취급방침       신고와 건의


기글하드웨어는 2006년 6월 28일에 개설된 컴퓨터, 하드웨어, 모바일, 스마트폰, 게임, 소프트웨어, 디지털 카메라 관련 뉴스와 정보, 사용기를 공유하는 커뮤니티 사이트입니다.
개인 정보 보호, 개인 및 단체의 권리 침해, 사이트 운영, 관리, 제휴와 광고 관련 문의는 이메일로 보내주세요. 관리자 이메일

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소