커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

잡담

2023.03.07 15:23

삽질의 결과물이 드디어 마무리 되었네요.

ExpBox https://gigglehd.com/gg/13864487

허허허

조회 수 680 댓글 26

사실 포럼에 쓸만한 잡담인데 포럼에 써도 별다른 답을 해주시는 분들이 없어서 그냥 짧게 잡담으로 ㅎㅎ;

https://gigglehd.com/gg/soft/13808353

https://gigglehd.com/gg/bbs/13852515

https://gigglehd.com/gg/hard/13859246

대충 내부망 40G를 달성하기 위해서 멜라녹스 칩셋 MCX354A로 삽질하는 내용입니다. 기존에 OPNsense를 쓰다보니 Proxmox에 패스스루 후 그쪽으로 브릿지를 통해서 연결하는 것이 최종 목표였는데 드디어 끝이 났네요.

다만 조금 아쉬운건 대체 어떻게 된건지 iperf3 상으로는 어떻게 해도 최대 20G까지만 나오는거? 그 정도입니다.

어짜피 DS1821+에 SSD SATA 레이드 5로 싹다 박아도 초당 2기가를 찍을까 싶기도해서 여기서 그냥 그만 하는거로..

조금이라도 알면 빨리 끝났을텐데 아무것도 모르는 백지에서 시작하다보니 거진 1주 정도 걸린 것 같네요 따흐흑..

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '26'

파인만 2023.03.07 15:35

와.. 속도 엄창나네요
쿤달리니 2023.03.07 15:41

안됩니다 회원님
?
hjk9860 2023.03.07 15:49

요새 10G, 40G 장비들이 퇴역하는지 한국에서도 많이 풀리고 있으니 주워가시죠
40G까지는 일반인도 도전할만한 난이도입니다.
까마귀 잠을 미루는 건 내일이 오지 않길 바래서야. 2023.03.07 15:51

두머리에 싸긴 하더라구요...
ExpBox 허허허 2023.03.07 23:00

저도 원래 10G 목표였는데 갑자기 거진 반값으로 매물이 나와서 급하게 구매했습니다. ㅎㅎ.. 저는 광까지는 필요 없어서 QSFP+ DAC(구리선)를 구입했는데 요새는 이거도 나름 저렴하더군요. 어짜피 1M도 안되는 근거리로만 쓸거라 수량으로 구매했더니 선뜻 배송비나 개당 가격을 조절해주시는 분도 계셔서 더 저렴해졌습니다.

라고 써보니 뭔가 광고하는 것 같아보이긴 하는데 아무튼 좋은 기회에 좋은 삽질(?) 해본 경험 생겼으니 된?거 아닐까요
디렉터즈컷 2023.03.07 15:51

유투브로 만들었으면 떡상했을 창대한 스토리에여 이건.
..
ExpBox 허허허 2023.03.07 23:03

그 정도는 아니고 제가 너무 못찾거나 검색어를 제대로 하지 못한게 크겠죠. 하도 안나와서 ChatGPT 한테도 물어봤습니다. ㅋㅋㅋ 물론 직접적으로 도움된건 없지만..
디렉터즈컷 2023.03.07 23:43

솔직히 진지합니다 ㅋㅋㅋ 인터넷에서 지나간 떡밥들 대충 정리하면서 나름 피씨테크유투브라고 구독자수 쌓아올리는 근본없는 경우들도 많아요.

이런 훌륭한 시행착오는 후학들에게 큰 도움이 됩니다. 물론 정보를 정리하고 전달하는 것 자체가 큰 일이긴 하지만요.
ExpBox 허허허 2023.03.08 00:03

올리는건 아마 다른 커뮤니티에 올릴 것 같긴한데 이런 가이드같은게 한국어로 되어있는게 없기도하고 사실 제가 또 까먹을까봐 써놓긴 할겁니다 ㅎㅎ..
?
hjk9860 2023.03.07 15:52

사실 시놀로지 쓰는 사람도 많지 않을껀데, 기글에서 거기에 40GbE은 정말 논외의 영역일겁니다.
그래서 답변달아주실분도 없었을거고요
그러니 나중에 저도 삽질할텐데 그때 조언좀 부탁드립니다.
ExpBox 허허허 2023.03.07 23:06

삽질이라기에는 다 하고보니 너무나도 간단한 내용입니다. 멜라녹스 칩이 인피니밴드 모드인지 이더넷 모드인지 확인을 꼼꼼히 하고 가급적이면 크로스 플래시를 통해서 펌웨어를 동일하게 맞추는 정도 입니다. 그 외에는 OPNsense 브릿지 만드는 것 정도인데 이거는 공식 사이트에 방법이 다 나와있어요
?
hjk9860 2023.03.07 23:14

시놀로지가 은근히 까탈스러워서 나중에 영 우려되네요
ExpBox 허허허 2023.03.07 23:23

다행스럽게도 드라이버의 경우 같은 드라이버를 쓰는 칩셋이 지원 목록에 있다면 딱히 설정을 따로 안하더라도 잘 잡더라구요.

제가 사용하는 DS1821+의 경우에 이래저래 찾아보니 멜라녹스 X4까지는 무난하게 되는 것 같더라구요. X4 드라이버가 X6까지 지원하는거로 알고있는데 아마 그쪽까지 쓰셔도 될듯.. 하지만 PCIE 대역폭이 시망이라 풀 스피드는 못뽑겠지만요
?
milsa 2023.03.07 16:12

보통 대역폭 다 안 나오는 건 pcie 대역폭 문제더군요. 버전 문제이건 레인 개수 부족이건...
Otter 2023.03.07 20:29

스토리지 성능이나 대역폭 문제가 아니라면 CPU가 감당하지 못하는 걸지도요..?!
ExpBox 허허허 2023.03.07 23:16

그건 아닐겁니다. Ubuntu 코어가 48코어(2CPU)이고 iperf3 서버를 열었거든요. 시놀로지를 클라이언트로 테스트했는데 시놀로지와 Ubuntu(htop) CPU 사용량이 그리 높지는 않았습니다.
ExpBox 허허허 2023.03.07 23:13

그것도 맞을 수도 있는데 잘 모르겠습니다. DS1821+의 PCIE 레인은 3.0버전 8레인의 탈을 쓴 4레인입니다. 킹스톤 공홈에 따르면 초당 4GB(32Gbps)인데 적어도 25Gbps 정도는 나와야하는게 아닌가 싶은거죠. 정말 딱 20G이상으로 안올라갑니다..

그리고 OPNsense와 Ubuntu 컴퓨터로도 시험했는데 이거도 20G 이상이 안뜹니다. 아마 OPNsense의 패스스루에 문제가 있는 것이라 예상하고는 있습니다. 아마 인피니밴드 모드로 시놀로지와 우분투를 직결해서 쓴다면 조금 다르겠죠..?
?
milsa 2023.03.08 01:18

제가 MCX354A를 써보지는 않아서 모르겠습니다만, 이더넷 카드들은 pcie 버전 미달이하거나 레인 개수가 부족하면 성능 제약이 걸리는 경우가 있습니다. 이 경우, pcie 슬롯이 제공하는 대역폭보다 크게 낮은 네트워크 전송 성능이 나옵니다. 예를 들자면, 인텔 x520/x540의 경우에는 pcie 2.0 레인 8개가 기본 스펙인데 레인을 4 개만 할당할 시 포트 두 개가 링크 되어있을 경우 양 포트 총합 대역폭은 14Gbps를 넘길 수 없습니다.
ExpBox 허허허 2023.03.08 02:37

아마 레인 문제는 아닐 것 같고 Proxmox쪽 문제가 아닐까 조심스럽게 예상해봅니다. OPNsense가 Proxmox에서 VM으로 존재하고 아무리 MCX354A를 패스스루 했다지만 성능 저하가 있을 것이라 생각합니다. 거기서 나온 문제가 아닐까 싶어요. 위쪽에 댓글에서도 OPNsense와 Ubuntu 간의 속도 측정(둘다 PCIE 3.0 x8)에서도 20G를 넘지 못하기 떄문에 DS1821+의 PCIE 3.0가 4레인인 것이 본질적인 원인은 아닐 것 같다는 것이죠. 확인해보니 정상적으로 X8로 잡혀있는 것 까지 확인했구요.

메인보드는 둘다 https://www.supermicro.com/en/products/motherboard/X10DRi 입니다.
?
milsa 2023.03.08 05:52

iperf3은 옵션 넣고 실행해도 성능이 안 나오는 것이죠? -P 같은 거요. 이리되면 양쪽 모두 우분투만 깔고 실행해서 하드웨어가 올바로 작동하는지 확인해보면 확실해지곘네요. MCX354A로 검색해보니 20Gbps 언저리에서 성능이 안 나오는 문제가 흔한 것 같네요. proxmox가 아니라 다른 vm 환경에서 성능이 안 나온다는 호소도 보이고...
파란화면 2023.03.07 16:14

앗! iSCSI, NVMe보다 빠르다!
ExpBox 허허허 2023.03.07 23:17

정 말 빠 릅 니 다

그래봤자 저가형 NVMe가 아닐까 싶습니다만.. 아마 풀 스피드 뽑았으면 그 문구를 제가 게시글에 쓰지 않았을까 싶습니다.
?
포인트 팡팡! 2023.03.07 23:17

ExpBox님 축하합니다.
팡팡!에 당첨되어 10포인트를 보너스로 받으셨습니다.

수정 삭제
벨드록 2023.03.07 17:41

1Gb도 겨우 쓰는데......;
ExpBox 허허허 2023.03.07 23:18

가끔 더 빠른 속도가 필요할때가 있더라구요. 지금은 SATA를 사용하지만 Ubuntu 컴퓨터 쪽에 PCIE SSD같은걸 끼워서 시놀로지에서 빠르게 엑세스하는 등의 유기적인 사용 방법도 계획중입니다 ㅎㅎ..
디렉터즈컷 2023.03.07 23:49

영상쪽이나 제품 사진들 찍어내는 소규모 스튜디오들은 태고적부터 공유폴더 쓰고 기가망 깔고 그랬죠. 10기가 스위치가 싸네 비싸네 2.5기가로 타협하는 게 맞네 틀리네 요즘 한참 말들이 많은데요. 무려 40기가 도달이라니 가슴이 웅장해지는 것을 넘어 상업적 활용에도 의미가 있는 일입니다.

이 정도 속도면 4k 대형 푸티지를 굳이 로컬로 가지고 오지 않고 네트워크 스토리지에 두고서도 편집이 매우 원활히 가능한 수준이죠. 방송국에서도 보기 힘든 속도입니다.

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

List of Articles
번호	분류	제목	글쓴이	날짜	조회 수
72542	잡담	어지러워요 8	Retribute	2023.03.30	368
72541	잡담	확실히 물은 답을 알고 있는것이었습니다. 9	RuBisCO	2023.03.30	574
72540	잡담	블로워 달린 GA102 칩! VRAM 10기가! 4	360Ghz	2023.03.30	605
72539	잡담	충동구매의 위험성 3	유에	2023.03.30	436
72538	잡담	만년필 33자루 도착했습니다. 10	유니	2023.03.30	863
72537	퍼온글	[볼거리] 105번 버스의 폭주 2	임시닉네임	2023.03.30	677
72536	퍼온글	[볼거리] 대한민국 자생종 근황 6	임시닉네임	2023.03.30	672
72535	퍼온글	[보도자료] 삼성전자, 부산엑스포 유치 기원 행사...	임시닉네임	2023.03.30	452
72534	장터	라즈베리파이 4B 8기가 팝니다 2	by츠라라	2023.03.30	962
72533	잡담	빙챗 아무래도 사람이 치는게 맞습니다 13	360Ghz	2023.03.30	5444
72532	잡담	오.. 황회장 왠일이야..?! 7	포도맛계란	2023.03.30	629
72531	잡담	마소의 해지 방어 5	Koasing	2023.03.30	721
72530	잡담	점심 나가서 먹을 것 같아요 3	Marigold	2023.03.30	335
72529	잡담	Github Copilot X 대단하네요 3	Marigold	2023.03.30	1610
72528	잡담	아래 절도 당한 창문 이거라네요 28	카토메구미	2023.03.30	2191
72527	퍼온글	지하철 기물을 긴빠이친 철덕 16	유니	2023.03.30	1259
72526	잡담	삼성 tablet's' 딜이라고 해서 눌렀더니 3	고자되기	2023.03.30	805
72525	잡담	정부 사업은 알다가도 모르겠습니다. 4	Marigold	2023.03.30	653
72524	퍼온글	[볼거리] 연 169회 채용 진행 편의점 9	임시닉네임	2023.03.30	707
72523	장터	게이밍(?)컴퓨터 팝니다. 4	파란진주	2023.03.30	955
72522	잡담	케이스 뭘로바꿀지 고민이네요. 23	TundraMC	2023.03.30	448
72521	퍼온글	교수님께 실수한 새내기 18	뚜찌`zXie	2023.03.30	1098
72520	잡담	아직도 팔리니 신기한 잡지 13	유니	2023.03.30	873
72519	잡담	업그레이드 부품이 왔습니다 12	아라	2023.03.30	642
72518	잡담	Rustdesk가 꽤 괜찮은거 같네요. 7	mnchild	2023.03.29	1703
72517	잡담	이번에 여는 서울모터쇼 참가업체를 봤는데 20	류오동	2023.03.29	627
72516	잡담	생각보다 까다로왔던 예전 D4보드 4슬롯 풀뱅크 ... 11	가우스군	2023.03.29	1029
72515	잡담	이걸 본 순간 키니나리마스 해집니다. 21	TundraMC	2023.03.29	636
72514	잡담	역시 램은 이젠 하이닉스 A다이가 최고군요 8	RuBisCO	2023.03.29	2047
72513	잡담	생각보다 까다로운 램 듀얼채널... 14	Normie	2023.03.29	752

2016년 7월 이전글 링크: 커뮤니티 게시판 / 공지사항 게시판

로그인

삽질의 결과물이 드디어 마무리 되었네요.

나눔글꼴 설치 안내

이 PC에는 나눔글꼴이 설치되어 있지 않습니다.