가상화 환경(VMWare)하에서 패킷 처리 성능과 라우터 소프트웨어의 선택

죠짱   
   조회 17643   추천 7    

개인적으로 테스트 한것과, 이래저래 내용을 슬쩍 정리 합니다.
전문적인 BMT기준은 아니며, 홈 환경이기 때문에 실제 프로덕션 레벨과 차이 있습니다.

========

개인적으로 집에서 테스트 할때
e1000 드라이버(virtualized)와 vmxnet3(para virt) 간에 대략 3-40%정도 성능 차이가 있었습니다.
사양은 제온 e3-1225v3 이었습니다. 그냥 (CPU+케이스+메인보드 포함) 40만원 짜리 서버 입니다.
가능하면 para virtual driver 가 좋긴 한데 안되는 경우가 좀 있습니다.

간단한 iperf test를 리눅스에서 해봤습니다.
vmware esxi 기준(Xeon E3). 호스트는 우분투 14.04 x64. 새로 설치해서 프레쉬 하게 시작.

- 동일 머신 vmxnet3 -> vmxnet3 : 36Gbps.
- 동일 머신 e1000 -> vmxnet3: 26Gbps.
- 다른 머신vmxnet3 -> (1Gbps x 1ea/CAT6) -> vmxnet3 : 935Mbps
- 다른 머신vmxnet3 -> (1Gbps x 1ea/CAT6) -> e1000 : 935Mbps

대충 생각해보면 vmxnet3(para virt.)를 써야 하는 것은 아주 당연합니다. 대략 30-40%정도의 성능 향상을 가져올수 있다고 보면 되고, 10g환경이라면 차이가 꽤 나기 시작하는건 당연합니다. 일단 VM내부에서 외부로 갈때 10g는 됩니다. 그리고 1gbps * (2~4 ea) 본딩을 한다고 생각해도(?) 이거 대역폭을 쓰는건 손쉬운일이라는 결론이 나옵니다. 분명히 네트워크가 문제긴 한데... 호스트 한대에 대해서는 딱히 뭐 그렇게 까지 문제는 되지 않습니다.

=======

그리고 라우터 소프트웨어를 보면...

Mikrotik
- 잘 돕니다. 될거 다 됩니다...
- 유룝니다. 라이센스 싸게 사는 방법은 aliexpress에서 라이센스 담긴 디스크를 20불인가에 팝니다.
- VMXNET3 안됩니다. e1000 기준 동작 합니다.
- 개인적으로 참 좋아 합니다만은... 하드웨어가 좀 구식 입니다. 리눅스 커널도, 드라이버도 업데이트 안해주네요. i350도 제대로 안된다고 징징 하는 글이 포럼에 보입니다. oTL.... 뭐 이따위야...

pfSense
- 잘돕니다. (개인적으로 생각하기에) 기능상 가장 강력합니다.
- FreeBSD 기반입니다. 
- 리눅스에 비해 커널에 드라이버 반영 같은거 꽤 늦습니다. conntrack 같은거 안되던가 뭐 그럴겁니다. 여튼 리눅스가 아니기 때문에, iptables가 아닌 ipfw 를 씁니다. https://forum.pfsense.org/index.php?topic=24822.0
- NAT loopback 같은거 다 됩니다. NAT 모드가 3갠가 있습니다.
- 초보자가(어폐가 좀 있긴 하네요.;;;) 쓰기에 무난 합니다. UI 편하더군요

vyatta (aka VyOS)
- 브로케이드에 인수 되면서 오픈소스 버전은 VyOS로 바뀌었습니다.
- 리눅스 기반입니다.
- WebGUI같은거 없습니다. 그냥 UI생각하면 아무것도 안되요. oTL
- 일반인이 쓰기 참 거시기 합니다. 시스코 좀 다뤄 보신분이라면 꽤 쓸만하다는 평.
- 라우팅 기준 성능은 mikrotik 이 구버전 커널과 붙고 있음에 비해서, pfsense 대비 해서도 최고라고 합니다. 그냥 최고라는 거죠.

기타 상용 라우터/스위치로 여러 종류가 있습니다만.. 일반인이 접근 하긴 좀 그렇고요....
- NEXUS 1000v 같은것도 있습니다만은.. 뭐 굳이 이걸 쓸 이유가 있나 싶고.
- vCenter를 좀 좋은(aka 비싼) 버전으로 쓰면 왕창 큰 스위치를 소프트웨어적으로 구현한거 쓸수 있습니다만은, 그거 가격이..
- 그냥 무료 ESXi 쓰면서 라우터가 필요하다면

일단 성능상으로 보면 vyatta 가 가장 빠릅니다. 미크로틱은 구버전 커널이고 드라이버 지원이나 그런 부분에서는 사실 되는게 별로 없어요. pfsense는 써드파티 플러그인 부터 짱짱 합니다. 예를들어 haproxy 같은게 존재 합니다. 대충 전에 그냥 라우팅만 볼때 vyatta 가 pfsense 대비 2-30%쯤 빨랐다는 이야기가 있습니다. (그래서 용도가 다르다는 이야기도 있고.. 실제로도 좀 다른 놈이기도 하고...) 하지만 둘다 라우터로 쓸수 있고 그렇게 쓸때에 뭐 딱히 차이를 느끼기 힘듭니다..

모노월 같은 것도 있지만, 그냥 파생제품이니 pfsense 를 쓰는게 낫다고 봅니다.

포지션은
- pfsense 는 방화벽에 가깝습니다.
- vatta 와 mikrotik은 라우터 입니다.
뭐 둘다 공유기 수준으로 쓰는데엔 문제가 없습니다만. 성능도 생각보다 도찐개찐일겁니다. 어차피 외부망이 기가비트 풀로 땡겨쓰는 경우는 잘 없을테니까요. e3제온 기준으로, 2-30기가 정도는 그냥 아무거나 골라 잡아 써도 버텨줍니다.
죠짱 2015-01
추가
http://www.aliexpress.com/item/MikroTik-RouterOS-5-25-2-5-SSD-hard-drive-4GB-Sata-SataII-Sata2-Solid-State-Drive/2034222714.html
여기에서 라이센스 담긴 디스크 팝니다; 배송료 포함 22불이네요.
     
배준석 2015-01
헉.. 이런것도 있군요..
EdH 2015-01
미크로틱이 땡기긴 하는데 유료인지라 허허..
자세한 답변은 고맙습니다. 참고하도록 하겠습니다.

알리에 파는 거 정말 한 카피 한 카피 사서 SSD에 넣어주는건지 의심스럽군요. 인터넷 뒤져보니 러시아쪽에 크랙이 나와있는 걸 봐선, 그쪽으로 의심이 갈 수밖에 없네요. 무려 250딸라 하는 레벨6 라이센스를 단돈 22딸라에 팔다니..
     
100% 크랙입니다.
아마도 얼마 못쓰고 블럭당할수 있습니다.
vyatta 에 WebGUI 있습니다. 매우 허접하다는 것은 함정...
EdH 2015-01
방금 iperf 돌려봤습니다. 동일 머신 vmxnet3 -> vmxnet3 인 경우 20~30기가 나온다 하셨는데, pfSense 트래픽 모니터로 트래픽 확인해 보셨는지요?
저는 pfSense NAT 통과해서 가는 경우엔 코어 하나 할당했을 때 대략 2~3기가빗 정도 나오는군요. 20~30기가는 esxi의 vSwitch 자체에서 스위칭을 해줄 때 나오는 속도인 것 같습니다. 확인 부탁합니다.
     
죠짱 2015-01
저게 써둔것 처럼 리눅스 기준 라우팅 없을때죠. 인터페이스 성능만 두고 본겁니다.
Nat통과하면 당연히 다른 값이 나올겁니다.
리베이트 2015-01
하나의 호스트 내에 게스트 OS끼리의 파일 복사시 VMXNET3 드라이버가 지원되고 안되고의 성능 차이는 상당히 심했습니다.
소프트 방화벽으로 사용할려면 가장 만만하고(?) 쉬운게 pfsense가 적당해보이는데 삽질 좀 해봐야겠습니다.
좋은글 감사합니다. ^^;
달사랑 2015-02
다품종 소량 BMT가 쉽지 않은데 소중한 자료 감사드립니다.


제목Page 3/28
2014-10   13657   밧슈
2014-10   12576   우앙뿌앙
2015-07   13283   주영진영아빠
2018-03   43297   PAiNrel
2014-12   21273   죠짱
2016-01   17982   보슬비내리…
2015-01   44924   김준연
2015-01   31364   김준연
2019-04   25701   프로시아
2016-07   25201   백만스물하나
2016-07   20601   백만스물하나
2023-03   35289   김준연
2017-06   36239   민욱님
2017-07   25392   stone92김경민
2014-10   15042   김황중
2014-11   31972   채선일
2017-11   39963   엠브리오
2015-09   28504   임진욱
2015-01   17644   죠짱
2015-01   13328   황진우