커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

잡담

2023.03.05 17:10

괜히 어려운 길을 가고 있는 것 같습니다.

ExpBox https://gigglehd.com/gg/13852515

허허허

조회 수 1017 댓글 14

내부망 40G 달성을 위해서 Mellanox MCX354A 를 몇 개 샀단 말이죠? OPNsense에 올려서 사용하려는데 문제가 많은 것 같습니다. 드라이버도 정상적으로 불러와서 되는 것 같긴한데 브릿지로 묶어놓고 재부팅하면 멜라녹스가 인식이 안되서 브릿지가 깨집니다; 어찌저찌 연결했다 쳐도 기존 1G쪽으로만 연결되고 40G쪽으로는 연결이 안되고..

레퍼런스도 없어서 이래저래 뒤져보고는 있는데 역시 네트워크는 건드리는게 아닌 것 같습니다. 발열 있어도 그냥 얌전히 적당한 RJ45 포트쓰는 인텔 네트워크 카드써서 10G로 만족할걸 그랬네요. ㅠ

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '14'

파팟파파팟 슈슉슈슈슉이 아닙니다. 파팟파파팟 이죠. 2023.03.05 17:27

RJ45 연결이 제일 편하긴 해요... 네트워크는 이론적으론 되야하는데 호환성 때문에 잘 안되는 경우가 흔한거 같아요..
파팟파파팟 슈슉슈슈슉이 아닙니다. 파팟파파팟 이죠. 2023.03.05 17:28

근데 멜라녹스 40G 라면 인피니밴드 아닌가요?? 인피니밴드는 TCP/IP 연결은 호환하는 정도라 네트워크 처럼 쓰려면 조금 쉽지 않다고 들은거 같아서요..
ExpBox 허허허 2023.03.05 17:53

그러고보니 인피니밴드랑 이더넷과는 다르다고했는걸 이 댓글을 통해서 다시금 깨닫고 검색해보니 이더넷 모드가 따로 있다고 하네요. 일단 이더넷 모드로 되어있는지 한번 확인해봐야겠군요.

참고로 OPNsense에 브릿지로 연결하니 OPNsense와 시놀로지 간의 iperf3 테스트 속도 정상적으로 나왔고 DHCP로 IP까지 잘 뜨긴 한거로 봐서는 OPNsense에서 이더넷 드라이버로 정상로드 되긴 한 것 같긴 한데 뭐가 어떻게 된건지 모르겠네요.
ExpBox 허허허 2023.03.05 18:04

근데 사실 그것보다 문제인건 OPNsense를 재부팅하면 멜라녹스가 인식이 안되서 관련 설정이 모두 초기화되면서 브릿지가 깨지기 때문에 다시 설정해야하는거죠. 이건 뭐가 문제인지 감도 안잡힙니다. 좀만 더 건드려보고 인텔 10G RJ45 이더넷 카드 한번 알아보려구요 ㅠ
?
nsys 2023.03.05 23:02

모듈 자동 로딩 안되는거 아닌가요?
ExpBox 허허허 2023.03.06 03:39

OPNsense의 Tunable 항목에서 mlx4en_load 값을 생성하고 이 값을 YES로 맞춰두고 재부팅하면 멜라녹스 ConnectX3의 드라이버를 로드할 수 있습니다.
Otter 2023.03.06 07:33

40Gb는 호환성 이슈가 많은 모양이군요..
저는 10Gb로 구축해서 미크로틱 허브, 에뮬렉스 랜카드, 중고 광모듈 제일 싼거 구해다 쓰고 있는데 딱히 호환성 문제로 골 썩어본 적은 없네요
ExpBox 허허허 2023.03.06 14:39

좀 찾아보니 휴먼 에러가 여럿 발견되네요. 설정 다시하고 초기화하다보니 점점 되어가는 것 같습니다.
Otter 2023.03.07 07:45

작동 모드 관련 이슈였나요?
ExpBox 허허허 2023.03.07 13:56

네 처음에는 MCX354A가 이더넷 모드인지 확인했어야했는데 안하고 그냥 막 진행했습니다. 당연히 인피니밴드 모드이니 안될 수 밖에 없었습니다. 그 이유 때문에 OPNsense에서 인터페이스로 등록해도 재부팅하면 설정이 풀려버리는 것이었죠. 그렇기 때문에 브릿지도 깨지는 것이구요.

시놀로지 DSM에 접속 안되는 문제도 있었는데 이것도 브릿지 생성하면서 OPNsense에 Tunable로 따로 설정해줘야하는게 있었는데 이걸 안해줬더라구요. 계속 해왔는데 계속된 문제에 지쳐버렸는지 설정을 안해버렸더라구요. 지금은 잘 작동합니다.

다만 Proxmox로 VM을 만들어서 그런건지 아니면 뭐가 문제인지 모르겠는데 20G까지밖에 속도가 안나오더군요. 코어도 넉넉하게 12코어에 16기가램으로 할당했는데.. 적어도 30G까지는 생각하고 있었는데 iperf가 문제인지 어떤게 문제인지 모르겠습니다.
?
hjk9860 2023.03.06 11:32

편하기는 진짜 RJ45가 제일 편하긴 하죠
호환성이 복불복이라 꼽아보기 전까지는 모르는 광에 비하면
RJ45는 신경쓸게 랜케이블만 처음에 잘 포설해서 꼽아주면 그만이고 발열만 신경써주면 되니까요

뭐 그래도 기왕 사신거 그냥 극복해서 쓰는게 낫지않을까 싶습니다만.....
ExpBox 허허허 2023.03.06 14:41

지금 조금씩 극복해나가고 있습니다. 이더넷 모드로 바꾸고 브릿지가 깨지지 않게끔 조치가 완료되었고 이제 시놀로지에서 기존 1G 네트워크에서 40G 네트워크로 DSM이 접속만 되면 됩니다 ㅎㅎ

우분투에서도 정상 이더넷으로 나오는거 확인했구요.
?
hjk9860 2023.03.06 20:35

저도 DS1819+랑 데스크탑에 MCX354A 붙여봤는데 MCX354A가 시놀로지에서는 좀 까다로운 모양인가보더군요
MCX354A를 붙여놓고 컴퓨터와 NAS를 1:1로 연결했을때
링크속도가 40Gbps로 표시되나 실제는 iperf3으로 날려보면 10Gbps에서 딱 걸립니다.
이건 뭐.... PCIE 3.0 x4로 연결된 한계일 가능성이 있으니 그럴수도 있다고 치는데....

그런데 골때리는건 DS1819+에서 MCX354A의 2포트 전부다 사용하면 인식이 안됩니다.
1포트를 사용할때만 인식이 되더군요 좀 황당했습니다.

일단 탐색전 목적으로 잠깐 설치한거였고 당장 실사용할것은 아니라서 랜카드/광모듈/광케이블등 전부다 탈거해서 창고로 보내놨긴합니다.
탐색전을 해보니 나중에 실사용할때 최초 설정때 골치아플게 눈에 훤하더군요.
시놀로지는 2포트를 쓰면 불딱이 되어버리는 기본도 안되어 있는 문제가 있는데
그렇다면 40GbE을 선택한 이유중 하나인 PSM4 채널분리로 40G*1를 10G*4로 쓰는 게 제대로 될지 의문이더군요
ExpBox 허허허 2023.03.06 20:46

어제 이더넷 모드로 변경 후 이것저것 하다보니 20G까지는 올라가는거 확인했습니다. 아마 정식 지원이 10/25G 라서 그런 것 같습니다. 물론DS1821+의 PCIE는 3.0에 4레인(을 8레인으로 늘려놨습니다.)이라 더 올라갈 여지는 있지만 OPNsense의 CPU, DS1821+의 CPU 상황을 보아하니 20G로도 서로 CPU 사용량이 70~80% 찍기 때문에 아마 그 이상으로는 안될 것 같습니다. OPNsense 쪽 CPU를 더 높은 체급으로 올려야할 것 같긴합니다. 4C8T라서..

iperf3의 경우 -P 10 옵션으로 연결을 10개 이상으로 해야 10G를 넘더라구요. 물론 처음에는 안그랬는데 지금은 안정적으로 1포트로도 20G 정도 뽑아줍니다. 다만 DSM으로 연결이 안되는 것만 빼면.. 언제쯤 연결이 될지 모르겠습니다.

참고로 저는 2포트 본딩해서 써봤는데 나쁘진 않았습니다. 속도가 드라마틱하게 올라가지는 않더라구요. 지금은 20G까지 잘 뽑아주기 때문에 굳이 할 필요까지는 없지만..

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

List of Articles
번호	분류	제목	글쓴이	날짜	조회 수
72482	잡담	테스트짱과 알아보는 AI그림 i2i (스압주의) 7	스와마망	2023.03.29	2125
72481	잡담	그...kt에 m...읍읍 없어졌나요? 11	360Ghz	2023.03.29	944
72480	잡담	갑자기 생각나서 듣는 노래들 3	DontCut	2023.03.29	308
72479	잡담	울트라가 왔습니다. 4	아라	2023.03.29	491
72478	잡담	a620 보드...를 보면서 느끼는게... 13	360Ghz	2023.03.28	516
72477	잡담	스팀 이것들은 보안관리가 왜 항상 이따구일까요? 12	리온미첼	2023.03.28	626
72476	퍼온글	[볼거리] 그린라이츠 세레나데 2	임시닉네임	2023.03.28	362
72475	퍼온글	[볼거리] xkcd 353 - Python 13	임시닉네임	2023.03.28	509
72474	퍼온글	[볼거리] "어이가 없어 실소하게 만드는 이... 1	임시닉네임	2023.03.28	612
72473	퍼온글	원조도 호다닭 베낀 이 상품은?? 23	고자되기	2023.03.28	953
72472	잡담	취향의 차(茶) 8	AKG-3	2023.03.28	513
72471	잡담	요 근래 제일 잘 만든 카드 28	까마귀	2023.03.28	22859
72470	잡담	제로음료가 은근 중독성 있네요. 11	먀먀먀	2023.03.28	457
72469	잡담	수면의 질이 심하게 나쁘고 불규칙하던 제가 잘자... 4	고자되기	2023.03.28	537
72468	잡담	Samsung Q1 Ultra 구매 16	veritas	2023.03.28	900
72467	잡담	KiCad 7.0 나왔네요 2	이수용	2023.03.28	639
72466	잡담	하루 5시간 이하로 자는 분에게 추천하는 습관 7	유니	2023.03.28	925
72465	퍼온글	KF-21 무장 시험 성공 6	공탱이	2023.03.28	700
72464	잡담	기글 아이돌 테스트쨩을 AI그림으로 돌려봤습니다... 10	하뉴	2023.03.28	630
72463	퍼온글	2023 KBO 시범경기 요약 10	AZUSA	2023.03.28	429
72462	잡담	코스트코 콩카페 커피 판매 3	까르르	2023.03.28	490
72461	잡담	시피유 도착해 바꿔줬습니다. 3	리온미첼	2023.03.28	383
72460	퍼온글	타이어 밟고 3미터 이상 튀어올라 전복된 쏘울... 10	DontCut	2023.03.28	790
72459	잡담	어이가 없어 실소하게 만드는 이직 헤드헌터메일 10	타미타키	2023.03.28	850
72458	잡담	엔비디아당했네요 26	TundraMC	2023.03.28	12710
72457	잡담	잘 날고 있네요... 3	책읽는달팽	2023.03.28	401
72456	잡담	교수님 출장 덕에 시간이 남아 아메리카노 시키니... 1	360Ghz	2023.03.28	513
72455	퍼온글	[언론 보도] 수의사 아닌 챗GPT가 반려견 살렸다 5	임시닉네임	2023.03.28	1163
72454	잡담	유지보수비가 쎄군요 9	rnlcksk	2023.03.28	659
72453	잡담	40대 인기 이모티콘 구매했습니다. 14	Loliconite	2023.03.28	734