[VMWare] [정보 공유] Pfsense Vmware esxi 7.0 10gbps 지원 불가

Dreaday   
   조회 2946   추천 0    

원글 : https://www.2cpu.co.kr/QnA/849997#c_850058 (네트워크 속도 (vmware (Pfsense) + 10GBPS 직결))

1. 구성

 1) Vmware esxi 7.0 U3 

 2) DELL OEM 브로드컴 BCM957810S 10기가 듀얼포트 RJ45 랜카드 ( 브로드컴 57810S )
   - https://www.2cpu.co.kr/sell/454636?&sfl=wr_name%2C1&stx=%BE%C8%C3%B6%C7%F6&sop=and&page=2

 3) 네트워크

   - Pfsense OS - VLAN 4095

   - 미들웨어 - VLAN 10

   - DB - VLAN 20

   - WIN - VLAN 30

   - 데스크탑 Vmware HOST와 직결 10gbps - VLAN 40


2. 테스트 방법

 VLAN 40 → VLAN 10 으로 통신시 다운로드 / 업로드 100MB/s 약 1.2gbps 발생. (SFTP)

 VLAN 30 → VLAN 10 으로 통신시 다운로드 / 업로드 100MB/s 약 1.2gbps 발생. (SFTP)

 IPERF3 으로 Vmware Pfsense 와 Vmware 미들웨어 테스트시 약 1.5gbps ~ 2 gbps 


3. 동일 구성하고 있는 2CPU 회원분께서 테스트 하였을 때에는 아래와 같이 결과 발생.


maronet 님께서 시간내주시어, 테스트 결과 공유해주셨습니다.

같은 호스트, pfsense, 서로 다른 vlan 상태에서

기본 파이어월 룰셋만 설정하고 테스트했더니

비슷한 성능이 나옵니다.

hardware checksum을 disable하면 10% 정도 성능은 더 나오기는 합니다만,

1.1gbps와  1.2gbps 차이라 유의미한 것 같지는 않구요.

뭔가 다른 부분을 튜닝할 곳을 찾아봐야할 것 같습니다.



다른 분들 많이 말씀하시는 네트워크 카드 문제는 99% 아닐겁니다.

같은 호스트에서 전송하면 NIC을 거치지 않거든요.


같은 호스트, pfsense, 서로 다른 vlan 상태에서
기본 파이어월 룰셋만 설정하고 테스트했더니

비슷한 성능이 나옵니다.

hardware checksum을 disable하면 10% 정도 성능은 더 나오기는 합니다만,

1.1gbps와  1.2gbps 차이라 유의미한 것 같지는 않구요.

뭔가 다른 부분을 튜닝할 곳을 찾아봐야할 것 같습니다.



다른 분들 많이 말씀하시는 네트워크 카드 문제는 99% 아닐겁니다.

같은 호스트에서 전송하면 NIC을 거치지 않거든요.


Dreaday 05-19
도통 원인을 모르겠네요 ...
     
maronet 05-19
옵션 바꾸면 pfsense -> vlan VM 간에 22G 정도 나옵니다. 문제는 이 다음에 다른 VLAN으로 넘어갈때가 급격하게 느려집니다. ㅠ.ㅠ
주말에 VLAN 빼고 NIC 기반으로 한번 해보려구요.
          
Dreaday 05-19
신기하긴하네요 .VLAN 할 때도  게이트웨이는 전부 Pfsense 라서 ... 특히 4095는 모든 VLAN 접근 가능 인데 ...이게 문제가 있는게 정말 알다가도 모르겠네요 .
               
maronet 05-19
vlan 안쓰고 nic 추가하는 형태로 바꿔보니 1.6gbps까지는 나옵니다. 뭔가 더 튜닝하면 될 것 같기도하고 아닐 것 같기도하고...
                    
Dreaday 05-19
제가 구성해본건 ...

vmware Host에서 VLAN 설정한 가상포트그룹을 만든다음,

vmware 노드들 + pfsense에 해당 VLAN 카드를 물렸습니다~!~

왠지 이게 문제 인것 같기도하네용 ..
Dreaday 05-19
이거 10G 물리랜카드 몇개 더사서 .....꽂아야하나 싶네요
     
maronet 05-19
10G 포트가 많이 필요한게 아니라면 그것도 쉬운 방법이구요.
pfsense를 외부방화벽+NAT 용도로만 쓰고, VLAN과 라우팅은 vyos 같은거로 바꾸는 것도 방법일 것 같습니다. vyos도 해봐야 알기는 하겠지만요
좀 있다 pfsense 커널 파라미터 좀 더 바꿔볼까 합니다.
maronet 05-19
제 서버(2650v2)에서는 단일 스트림으로는 1.7gbps 정도가 한계같습니다.
멀티스트림(iperf3 -P 5 -t60)으로 하면 vCPU 8개 주고 5.7~6.5gbps 정도 나옵니다. <- CPU usage 80% 정도 나옵니다.

/boot/loader.conf에 아래 내용 추가. vmx.0. , vmx.1. 이 부분은 pfsense nic을 의미합니다. 갯수 조정하시면 되고요.
net.isr.maxthreads = -1
net.isr.bindthreads = 1
hw.pci.honor_msi_blacklist = 0
hw.ibrs_disable = 1
dev.vmx.0.iflib.override_ntxds="0,4096"
dev.vmx.0.iflib.override_nrxds="0,2048,0"
dev.vmx.1.iflib.override_ntxds="0,4096"
dev.vmx.1.iflib.override_nrxds="0,2048,0"

system > advanced > networking 페이지에서 Hardware Checksum Offloading, Hardware TCP Segmentation Offloading, Hardware Large Receive Offloading 항목 체크
system > advanced > Miscellaneous 페이지에서 Kernel PTI 체크

그 동안 테스트결과 vmxnet3 사용하면서, pfsense 거치면서 단일 스트림으로 10gbps 성능 내는 것은 불가능해 보입니다.
(최신+고속 CPU 사용하면 2~3gbps 사이는 가능해 보이기는 합니다.)
     
Dreaday 05-19
우와 ....엄청나시네요 ...... ..

회원님 ..요런 커널 파라미터 등의 튜닝은 어떻게 찾게 되신건가요 ?

약소하게나마 보답드리고 싶은데 .연락처 쪽지로 주시면 좋겠습니다!
          
maronet 05-19
처음에는 vsphere esxi pfsense speed slow 뭐 이런식으로 찾기 시작하다가요.
네트워크쪽으로 들어가는게 나을 것 같아서 pfsense vmxnet3 vlan to vlan speed slow 이러다가
마지막은 pfsense vmxnet3 performance 이 정도 검색한 것 같아요.
그 중에 나온 페이지들 뒤적이다보면 대략 가는 페이지가 뻔해지더라구요. pfsense 본진보다 opnsense쪽이 자료가 몇개 있더라고요. 저도 영어가 짧아서 그냥 생각나는 기술용어만 조합해서 던진거죠.
offloading 설정은 원래 알고 있던 항목인디, 저거 다 꺼야 성능 잘나오는건 이번에 테스트해본 것이구요. 뭐 대략 그렇습니다.

보답은 무신 ㅋ 나중에 저 코딩하다 물어볼거 있음 알려주세요 ㅋㅋ

뭐 암튼 한VM이 몇gbps 이상 꼭 필요하다면 대안을 찾으셔야할 것 같고,
그렇지 않고 여러명이 1gbps씩 10gbps를 골고루 잘 활용하면 된다 싶으면 저 정도 설정하고 쓰시면 될 것 같아요.
어쨋거나 pfsense가 방화벽 룰 세팅하긴 ui가 있어서 좀 편하니까요.




제목Page 2/114
2014-05   3484654   정은준1
2015-12   97145   백메가
05-22   3185   shanswo
05-19   3043   우루루루루루
05-19   2947   Dreaday
05-17   2243   토이스토리
05-17   1945   토이스토리
05-14   1840   osthek83
05-10   2566   osthek83
05-07   3313   FOXBI
05-04   4504   shanswo
05-04   4250   moriss
05-03   5155   송주환
05-02   4888   sHo0
04-28   4487   mjxaone
04-25   3931   sdlfkjwer
04-24   3312   osthek83
04-22   3436   osthek83
04-22   2935   osthek83
04-20   3131   유토퍄
04-18   2783   송주환
04-14   4577   나라사랑