일단 헤놀로지 vmxnet3가 바보인 상태이기 때문에

esxi 호스트에서 Net.Vmxnet3SwLRO 설정을 0으로 바꾸어 LRO를 비활성화하는 것은 도움이 안 되고 omnios 성능만 떨어뜨려서

헤놀 쪽에서 LRO를 끄는게 아니라 그냥 주는 쪽에서 대형 버퍼로 조립하지 않고 패킷을 보내는 쪽으로 해결했습니다. 

즉 vm-tools가 없는 헤놀은 MTU 9000이 넘는 패킷을 인지하지 못하고 로스하기 때문에 주는쪽 LSO를 끄면 됩니다.

윈도우 서버에서 받는건 문제가 안되기에 RSC(LRO)는 그대로 두셔도 되고 헤놀 쪽이 받는게 문제이기 때문에 윈도우 서버에서 LSO를 끄면 됩니다.

대신 가상 서버끼리의 통신의 이점은 잃게 됩니다.

그럼 이제야 제대로 된 속도가 나오는 걸 볼 수 있습니다.