안녕하세요 이준용입니다. 연구실에서 NAS를 새로 셋팅하던 중,
TrueNAS SCALE에서 NVMe 기반 NFS 속도가 너무 느립니다 (300MB/s 이하)
현재 TrueNAS SCALE을 이용하여 NAS를 구축하고 있는데, 로컬 디스크 성능에 비해 NFS를 통한 네트워크 성능이 너무 낮게 나와 조언을 구하고자 합니다.
CPU: Intel Xeon Silver 4210R
RAM: 128GB ECC DDR4
스토리지: 4TB NVMe 4개 TLC
TrueNAS SCALE 버전: 24.04 (Dragonfish)
ZFS 풀 구성: STRIPE 풀로 FAST/cache dataset
네트워크: 10GbE (Intel X710), 클라이언트도 10G 구성 (iperf3 기준 9.5Gbps 이상 정상)
문제상황: 로컬 fio 테스트에서는 800MB/s 속도를 보이지만,
하지만 같은 파일을 NFS 공유를 통해 클라이언트에서fio로 테스트하면 300MB/s 수준으로 매우 느립니다.실 사용시에는 NAS에 있는 데이터셋을 10Gbe 내부망으로 읽어오기를 하려 하는데, 50MB/s 수준의 속도를 보입니다.
vers=4.1,nconnect=8,rsize=1048576,wsize=1048576,proto=tcp 이런 옵션을 사용중이고,
TrueNAS에서는 따로 셋팅한 것은 없습니다. 추가적으로 확인해 봐야할 설정은 바로 확인 가능 합니다.
위와 같은 설정에도 불구하고 NFS 속도가 300MB/s를 넘지 못하는 원인이 무엇일 수 있을까요?
혹시 추가로 점검하거나 최적화해야 할 설정이 있다면 조언 부탁드립니다.
쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
다음 다른 프로토콜로도 해보세요
여기까지 해야 NFS만의 문제인지, 다른 문제인지 알 수 있습니다
Nvme 임을 고려했을때, 너무 낮은 성능인데, 설정을 더 최적화 할 것이 있나 찾아보고 있는데, 없어서 고민중입니다.
SMB나 FTP같은걸로 했을때 얼마 나오나요?
일단 로컬에서 READ했을 때, 속도가 너무 안나와서 이것부터 해결해 봐야 할 것 같습니다.
sFTB로 했을때, 300Mbps 정도 나오는 것 같습니다.
대상파일들이 작은파일이면서 임의접근형식의 파일들이 아닐까 싶네요.
물리적인 베이스에서 볼건 케이블이 적절한가 부터 MTU 값 수정을 고려해 볼만 합니다.
서버사이드에서는 truenas를 몰라서 뭐라 말하기 그렇네요.
결과나오시면 업데이트 부탁 드립니다. 궁금하네요.
그냥 상용제품 살껄 하면서 후회 중입니다.
(고로.... 드라마틱 하지는 않을거라 생각되네요)
구간이 복잡한(ex 여러 스위치를 커치는) 경우에는 데이터 셋의 드랍으로 재전송이 발생할수 있습니다.
(예상하기로) 단일스위치 아래서 구성하실걸로 보이는데 NFS 서버, 스위치,클라이언트단에 적용하시면 됩니다.
기본값은 128K 사이즈인데 혹시 더 적게 잡은거 아니죠? 보통은 더 크게 잡아야 되는데...
현재 구성중인 스토리지는 위와 같고
추가적으로 SSD 문제인가 싶어
980 Pro 2TB 도 두장 있어 같은 구성으로 Stripe 설정을 해 봐도
속도가 동일합니다.
M.2를 여러개 전용 아답터에 꼽아서 연결하셨군요..
혹시나지만 가능하시면 NVME 카드와 랜카드는 CPU 0 (첫번째 CPU)에 연결되는 PCIe 슬롯에 꼽아서 테스트 해보세요..
SMB 보다 NFS 속도 너무느리다는 구글 글들이 많이 보이네요.
예전에 벰웨어에 NFS로 붙여봤는데 속도 너무 안나와서 치워버렸던 생각이 나네요.
뭐 NFS 속도 해결방법에는 권고하지 않는데 별도의 데이터셋 만들고 SYNC를 비활성 하라는 글이 보입니다.
아주 오래되고 긴 오해가 있었고, ixsystems의 개발자들이 이 문제에 대해 설명한 오래된 글이 있습니다.
https://www.truenas.com/community/threads/some-insights-into-slog-zil-with-zfs-on-freenas.13633/
아 그런데, 제가 잠깐 착각했었네요. SMB가 기본적으로 비동기이고, NFS가 기본적으로 동기이기 때문에 발생하는 문제로 보입니다.
저도 혹시나 TrueNAS를 ESXi에서 NFS 데이터스토어로 사용할 가능성을 염두에 두고 SLOG용 NVRAM을 추가로 장착했습니다.
Local I/O가 느린 원인의 상당 부분은 현재 ZFS의 코드 패스가 NVMe에 최적화되지 않은 것에 기인할 것으로 보입니다. ZFS는 NVMe 디스크와 함께 쓰기에는 좋은 파일시스템이 아닙니다.
NVME 스토리지에 10G, NFSv3 사용중입니다.
저도 궁금해서 fio로 테스트 해보니 200MB/s 정도 나오네요..(1개 프로세스, bs=100M)
1개 프로세스로만 동작해서 그런지도 모르겠습니다.
그리고 fio 옵션에 따라서 차이가 많이 나네요..
block size가 4k면 random 4k이니 당연히 느린데,
8개 프로세서, bs=100M, 순차 read 혹은 write 하니 대역폭에 근접한 속도가 나오네요.
8개 프로세서, bs=100M, randrw로 하면 read, write 동시에 300~400MB/s 나옵니다.
옵션에 따라서 저렇게 나오는게 맞는거 같습니다.
NAS의 자세한 스팩은 말씀 못드려서 죄송합니다.
[test]
filename=testfile
numjobs=8
rw=randrw
bs=100M
size=30G
ioengine=libaio
iodepth=32
runtime=30
time_based
group_reporting
다른 작업들이 돌아가는 중에 테스트 하는 거라 정확하진 않습니다.
눈치 보여서 또 테스트 하긴 좀 그렇네용 ㅎㅎㅎ
또한, 디바이스의 성능을 평가하기 위해 O_DIRECT로 수행한 테스트 결과를 함께 첨부하는 것이 좋습니다.
벤더 NAS를 산거고 OS도 포함되어 있습니다.
사정상 말씀을 못드리네요 ㅠㅠㅠ
사랑합니다 선생님 ㅋㅋㅋㅋ
게시판에서 잘 보고 있습니다!
요즘 바빠서 댓글달 시간이 없는데..연구하시는분께서 스토리지 때문에
고생하시는것 같아서 잠깐 의견을 드리면
TrueNAS Scale 25.04 버전을 저도 쓰고는 있는데 10G에서 거의 풀성능 나옵니다.
NFS Async든 sync든 zfs 압축옵션 lz4 on/off든
테스트해보니 크게 성능 변화가 없네요. ZFS 레코드 크기 : 128k 입니다.
예전에 압축옵션을 끄고/안끄고에서 성능차이가 제법 있었던것 같은데
지금 다시 해보니 크게 차이는 없네요.
fio blocksize 4K RandoRead 빼고는 풀성능찍긴하네요. 512k block size에서는 1,000MB/s 넘어가긴합니다.
nfs export 옵션은 sync/async 여부는 nas 터미널에서 아래명령어 치시면 나옵니다.
# exportfs -vv
저는 AMD Epyc u.2 nvme 전용 장비라서 크게 HW이슈는 없는데
올리신 내용보니
ASUS Hyper M.2 카드로 연결해서 사용하시는부분이 병목의 원인인것 같습니다.
로컬성능이 800MB/s 수준이면 문제가 있어보이네요.
nfs export 걸면 성능이 반띵이하로 떨어지기는 합니다.
거치는 레이어가 많아서 네트워크 i/o 속도는 어쩔수 없습니다.
로컬성능이 못해도 최소 1600MB/s 이상은 나와야 10g 풀성능은 나올겁니다.
메인보드를 어떤걸 사용하시는지 모르겠지만, 메인보드 블럭다이어그램
보시고 cpu쪽에 근접한 pci 슬롯에 꽂으시거나
ASUS Hyper M.2에 SSD 4개를 장착했을때 병목이 hw단에서 걸리는 문제인지 체크해보시는게 좋을것 같네요.
이런구조로 스토리지에서는 잘 쓰지는 않는 형태입니다.
전용 U.2 NVME 장비를 사용하시거나 적절한 M.2 SSD를 다른 pci 슬롯으로 분산배치해서
로컬 성능을 최대한 끌어올리는게 가능한지 먼저 시도해 보시는게 좋을것 같습니다.
HW 조합의 문제라면 해결방법이 마땅치는 않아 보이네요.
~~~
Hyper M.2 카드 설치 위치 변경
가능한 한 CPU 직결 슬롯에 설치
일부 슬롯은 PCH(Platform Controller Hub) 경유로 연결되어 성능이 대폭 제한됨
모두가 동일한 링크를 공유하게 되어 속도가 매우 낮아짐
~~~