100G, 40G 네트워크 구축 관련 문의

   조회 532   추천 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다 

안녕하세요. 항상 QnA 보면서 많이 배우고 있습니다.

다름이 아니라 내부망으로 40Gb, 100Gb 네트워크를 구축하려는데 server -> windows만 대역폭이 잘 나오지 않아 질문 올립니다.


40Gb/s, 100Gb/s 가 잘 나오는 경우

server -> server 

windows -> server

위 두가지 상황에서는 iperf test를 했을 때 bandwidth가 40Gb/s, 100Gb/s가 잘나옵니다.


하지만 server -> windows로 iperf test를 할 경우 maximum bandwidth가 12Gb/s에서 머무릅니다..


방화벽 설정, MTU, QoS 패킷 대역폭 제한 설정 변경 등 여러가지를 해보았지만 해결이 안됩니다 ㅠㅠ


어떤 부분을 봐야할지 조언 부탁드립니다.

Windows 컴퓨터의 사양은

Intel(R) Core(TM) i9-14900K

RAM 64GB

Windows 11 Pro 입니다.


윈도우즈 시스템의 랜카드는 ConnectX-4 EDR + 100GbE (CX455A)를 설치하였습니다.

마더보드와 랜카드 사이에는 PCI-E 8.0 GT/s * 16 으로 연결되어 있습니다. (현재 40Gb 케이블을 사용중입니다.)






 

네트워크 망도는 다음과 같습니다. switch와 랜카드를 40GB로 바꾸었을 때도 windows의 최대 대역폭은 12Gb/s 였습니다.



안녕해
짧은글 일수록 신중하게.
박문형 07-10
윈도우즈 시스템에 어떤 모델의 랜카드를 설치하였으며 마더보드와 랜카드 사이에는 PCIe 몇 Gen 몇배속으로 연결되어 있나요??

그리고 어떤 모델의 스위치를 몇대나 어떻게 연결하였나요?? (전체적인 네트워크 망도가 있으면 좋습니다..)
     
안녕해요 07-10
윈도우즈 시스템의 랜카드는 ConnectX-4 EDR + 100GbE (CX455A)를 설치하였습니다.

마더보드와 랜카드 사이에는 PCI-E 8.0 GT/s * 16 으로 연결되어 있습니다.

전체적인 네트워크 망도는 게시글에 업데이트 했습니다! 빠른 피드백 감사합니다.
안철현 07-10
이럴때는 HW or OS 중 의심가는 방향을 잡아야하는데..
Windows 11 Pro가 설치된 PC에 리눅스 OS를 설치해본뒤 속도테스트를 해보세요.

보통 실제 설치하지는 않고
우분투 설치 USB를 만들어서 부팅으로 하면 Live OS로 부팅이 되니...
부팅한뒤 iperf3 테스트를 해봅니다.

보드 모델명은 어떻게 될까요?
     
안녕해요 07-10
감사합니다. USB로 우분투 부팅해서 테스트 해봐야겠네요.
보드 모델명은 Z790 PG Lightning입니다!
          
안철현 07-10
그리고 네트워킹 성능과 관련해서 P코어 E코어서 섞인 최신 CPU의 경우,
E코어 때문에 성능 저하 문제 혹은 드라이버 충돌를 이야기 하는 글을 종종 봤는데..
혹시 모르니 바이오스에서 E 코어를 꺼보세요..
               
안녕해요 07-10
바이오스 E 코어 꺼봐도 동일한 결과가 나왔습니다!
tx는 속도가 나오신다고 하니,  rx가 안나오는거일수도 있어서
windows 11 pro에서  tcp receive 설정값도 튜닝할게 있는지 한번 찾아보세요.

TCP Window Auto-Tuning
Receive Side Scaling (RSS)
Receive Window Size (RWIN)
     
안녕해요 07-10
tcp receive 관련된 설정값들도 Receive Side Scaling, Window Size, Buffer Size 등 변경해 모았으나 차이가 없었습니다.
          
리눅스 Ubuntu나 Rock Linux로 성능테스트해보시는게 우선일것 같습니다.
그래도 안나오면, BIOS 튜닝인데 무리하게 튜닝하시면 카드나 시스템에 데미지가 생기긴합니다.
저도 얼마전에 무리하게 다른용도로 쓰는 카드가 BIOS 튜닝했다가 카드에서 연기나는거 한번 본적이 있어서요.
그래도 또 안나오면 결론은 쓰시는 PC급보드가 뭔가 100G랑은 성능조합이 안맞는거 일수도 있구요.
               
안녕해요 07-11
Ubuntu로 성능 테스트 해본결과 ubuntu에서는 tx 속도와 rx 속도가 모두 잘 나옵니다! 하드웨어 문제는 아닌거 같네요
iperf 역방향 속도 체크 옵션이 있습니다. (-R, --reverse)
해당 역방행 속도 체크도 해보시기 바랍니다.

https://iperf.fr/iperf-doc.php
     
안녕해요 07-10
역방향 속도 체크시에도 동일한 결과입니다. ㅠㅠ
박문형 07-10
다른 우분투 서버도 14900K CPU 베이스의 PC들인가요??
     
안녕해요 07-10
다른 서버들은 AMD Ryzen 9 7950, AMD EPYC 9274F 입니다. 두 서버 모두에서 Windows로 받을 때 12Gb가 최대로 나옵니다.
          
박문형 07-10
제가 들은 (제가 아는) 선에서는 100G 랜카드를 적용 가능한 서버 시스템은 인텔 스케일러블 제온 1세대 / AMD EPYC 1세대 부터 입니다..

따라서 저의 관념에서는 그 이하의 시스템이나 PC급 시스템에서는 100G가 불가능하다고 생각하였습니다..

100G 라는 속도의 이더넷은 서버에나 쓰이는 것이지 PC에서는 쓰이지 않는다라고 생각하는 것이죠..

그리고 실제 PC급 마더보드에 온보드 된 랜도 아마 10G가 최대일 것입니다.. 그것도 재일 비싼 모델이나 가야 있죠..

우선 같은 PC급인 AMD 라이젠에서 100G가 동작한다고 하니 인텔쪽에서도 테스트 해봐야 알겠지만 아예 안되거나 하지는 않을 듯합니다..


거의 15년 전인가 10G 랜카드가 처음 나왔을때도 10G 동작시 CPU 부하 때문에 그것을 감당하는 시스템이나 10G가 재대로 동작했습니다..

그때 마지노 선이 대략 AMD 옵테론 소켓 F (DDR2 서버 메모리 베이스 서버) 입니다..

네트워크에 부하 주어서 테스트 할때 CPU 부하가 100% 치솟는다던가 하고 계속 그렇게 유지된다면 그 시스템에서는 CPU 성능 문제로

사용하지 못한다고 보시면 됩니다..
               
안녕해요 07-10
지식 공유 감사합니다. CPU 이용률의 경우 현재 MAX로 45%가 나왔습니다.
찬이 07-10
iperf.fr 에서 받으셨으면 옛날버전입니다.
https://github.com/ar51an/iperf3-win-builds 이런데서 받으셔야 합니다.
     
안철현 07-10
3.17.1이 최근 버전인데.. ( https://files.budman.pw/ 에서 3.17.1 버전 받으시면 되구요. )
초기 3.1 언저리 버전의 경우
윈도우즈에서 벤치 속도가 잘 안나옵니다.
-v 옵션으로 버전 확인

-P 4 와 같은 멀티스트림 옵션을 쓸때 대역폭이 어디까지 올라가는지 확인해보세요.
          
안녕해요 07-10
3.17.1로 다시 테스트 해봤을 때도 12.0GB/s로 같은 결과가 나왔습니다. .

iperf3 -c 192.168.1.110 -t 20 -p 5201 & iperf3 -c 192.168.1.110 -t 20 -p 5202 & iperf3 -c 192.168.1.110 -t 20 -p 5203 & iperf3 -c 192.168.1.110 -t 20 -p 5204 & iperf3 -c 192.168.1.110 -t 20 -p 5205 & iperf3 -c 192.168.1.110 -t 20 -p 5206 & iperf3 -c 192.168.1.110 -t 20 -p 5207 &

멀티스트림 옵션과, 멀티 port를 사용해서 테스트 했습니다.
제갈기천 07-10
윈도우설치 장비의 저장소가 HDD라면, SSD로 교체를 추천 드립니다...
     
박문형 07-10
SSD도 SATA SSD가 있고 NVME SSD 가 있기에 현재 상황에서는 NVME SSD 밖에 대역폭을 못 받쳐 줄 것 같아 보입니다..
     
안녕해요 07-10
윈도우설치 장비의 저장소는 corsair mp700 pro로 M.2 NVMe입니다.
     
dateno1 07-10
애초에 NIC의 성능만 재다보니 디스크 속도 상관없습니다
박문형 07-10
https://www.2cpu.co.kr/QnA/932858

고속 네트워크에서 제 속도가 나오려면 마더보드쪽에서 몇가지 셋팅할 것이 있어 보입니다..
 
절전모드 같은 것 있으면 다 꺼버리고 최고 속도로 동작하게 해야 합니다..



그 외에 이 이슈가 맞을지 모르겠지만

인텔 13~14세대 고사양 모델들이 부하를 주면 문제가 생기는 이슈가 있습니다..

게임쪽부터 시작되었는데요..

아직까지는 해결방안이 확실하게 나오지 않았습니다..

https://www.youtube.com/@S0uL_Seeker

이 유튜브에서 우선은 지속적으로 테스트를 하고 있습니다..



https://www.2cpu.co.kr/freeboard_2011/1702961?&page=2

https://www.2cpu.co.kr/freeboard_2011/1702756?&page=3

여기 회원님들 중에서도 몇몇분이 고통을 받고 계십니다..



그리고 만일 윈도우즈 OS가 윈도우즈 10 이나 윈도우즈 11이라면 서버용 윈도우즈로 바꾸어 테스트 해보시기 바랍니다..

멜라녹스 카드들은 옛날에는 서버 OS들만 드라이버를 지원하였습니다..
     
안녕해요 07-10
마더보드 쪽 세팅들도 자세히 살펴봐야겠네요. 좋은 자료들 공유 감사합니다.
윈도우즈 11이라서 서버용 윈도우즈도 테스트 해보겠습니다.
          
안철현 07-10
보통 해외쪽 관련글을 보면
우선 다른 OS(리눅스, 윈서버)로 변경해서 테스트해보라고 먼저 가이드합니다.
               
안녕해요 07-11
Ubuntu로 성능 테스트 해본결과 ubuntu에서는 tx 속도와 rx 속도가 모두 잘 나옵니다!
박문형 07-10
구축하시는 네트워크에서 PC에 100G 랜카드를 사용하시려는 목적은 무엇인가요??
     
안녕해요 07-10
서버 -> PC로 대용량 데이터를 전송할 일이 많아 PC에는 40G 랜카드를 부착했습니다.

지금은 server - PC direct 연결 테스트, PC에서 100G급 성능이 나오는지 테스트를 위해 100G 랜카드를 부착해 놓았습니다.
안철현 07-10
이 게시물의 코멘트도 참고해서
하나씩 점검해보세요.

http://www.2cpu.co.kr/QnA/933044
     
안녕해요 07-10
공유해주신 링크의 코멘트도 참고해서 하나하나씩 다시 점검해보겠습니다. 감사합니다.
SiCMOS 07-10
amd 서버라면 bios에서 네트워크 성능 프로파일 적용이 필요합니다..
     
안녕해요 07-10
bios에서 네트워크 성능 프로파일 적용이랑 SiCMOS님 게시글들도 참고해서 보겠습니다. 감사합니다.
술이 07-10
다른건 찾아내줄수 있는데 위 사항은 변수가 너무 많아서 하나씩 체크해야되는데 머리 아프네요.
데스크탑을 서버용도로 사용할라면 고려해야될게 좀 있어요.
40G 까지는 라이젠 3900 꼽아서 잘 써본적 있었고 100G도 무난할걸로 보이긴 하나 데스크탑 모델은 바이오스부터 체크해야될게 많습니다.

그리고 또 항상 말썽부리는 인텔이네요. CPU 고장난다고 최대전력으로 쓰지 말라고 했던 그 CPU 아닌가요? ㅋㅋㅋ
그러면 익스프레스 속도도 반토막 납니다.
     
안녕해요 07-11
Ubuntu로 확인해본결과 tx, rx 속도 모두 정상적으로 잘 나왔습니다. 아무래도 윈도우 setting 문제인거 같네요
안녕해요 07-11
Ubuntu까지 확인하고, 하드웨어 상 문제가 없다는 것을 확인한 후 혹시 보안 프로그램으로 인한 것인지 확인해 보았습니다.

AhnLab V3를 사용하고 있는데 네트워크 침입 차단 서비스를 종료하니 12Gb/s -> 30Gb/s로 속도가 향상된 것을 확인했습니다! 여러분들의 답변 덕분에 해결할 수 있었습니다. 아직 40Gb/s 까지는 안나오지만 이런 부분들을 수정해 보다보면 향상될 것으로 기대됩니다 ㅎㅎ
     
안철현 07-11
안랩, 카스퍼스키, 아바스트 등에 있는 네트워크 보안기능이 범인인 경우가 종종있습니다.
예전에 지인이 아바스트 때문에 속도가 10G 속도가 2Gbps 밖에 안나오는 상황도 경험했습니다.

추가로 점보프레임도 셋팅해보시구요.
          
안녕해요 07-11
네 감사합니다. 추가로 점보프레임 셋팅도 확인해 보겠습니다!


QnA
제목Page 2/5627
2015-12   1244870   백메가
2014-05   4698814   정은준1
07-11   255   쉐이딩
07-11   280   dietist
07-11   431   yummy
07-11   283   사누스
07-10   350   을신축
07-10   395   Syzykm
07-10   492   쌍cpu
07-10   533   안녕해요
07-10   339   icalux93
07-10   335   dateno1
07-10   364   원시인7
07-10   335   머재긴
07-10   320   영산회상
07-10   246   Psychophysi…
07-10   291   사식이
07-10   387   다함께싸다구
07-10   286   굿모델러
07-10   335   bag0504
07-09   368   서울I김동수
07-10   276   이대희