dateno1 00:21

일단 로컬에서 디스크 pool의 성능을 직접 시험해보세요

다음 다른 프로토콜로도 해보세요

여기까지 해야 NFS만의 문제인지, 다른 문제인지 알 수 있습니다

이준용 00:34

로컬에서는 800MB/s 정도의 성능이 나옵니다.
Nvme 임을 고려했을때, 너무 낮은 성능인데, 설정을 더 최적화 할 것이 있나 찾아보고 있는데, 없어서 고민중입니다.

dateno1 08:18

위에도 적었지만, 다른 프로토콜로도 해보세요

SMB나 FTP같은걸로 했을때 얼마 나오나요?

이준용 14:30

READ: bw=784MiB/s (822MB/s), 784MiB/s-784MiB/s (822MB/s-822MB/s), io=45.9GiB (49.3GB), run=60001-60001msec
일단 로컬에서 READ했을 때, 속도가 너무 안나와서 이것부터 해결해 봐야 할 것 같습니다.
sFTB로 했을때, 300Mbps 정도 나오는 것 같습니다.

구리구리 00:24

클라이언트 사이드에서는 얼추 해보실거 다 해보셨을거라 생각되는데. (actimeo나 nocto 정도 외에는)
대상파일들이 작은파일이면서 임의접근형식의 파일들이 아닐까 싶네요.

물리적인 베이스에서 볼건 케이블이 적절한가 부터 MTU 값 수정을 고려해 볼만 합니다.
서버사이드에서는  truenas를 몰라서 뭐라 말하기 그렇네요.

결과나오시면 업데이트 부탁 드립니다.  궁금하네요.

이준용 14:32

운영체제를 Ubuntu로 바꿔야 하나 고민중입니다.
그냥 상용제품 살껄 하면서 후회 중입니다.

이준용 15:00

MTU를 9000으로 올리면 큰 차이를 보일까요?

구리구리 18:20

아무래도 데이타 덩어리를 크게 하는것이니 도움이 되긴할겁니다. 예상컨데 얼추 클라이언트 사이드에서 할수 있는건 해보셨을거라 예상되어서 말씀 드렸습니다.
(고로.... 드라마틱 하지는 않을거라 생각되네요)
구간이 복잡한(ex 여러 스위치를 커치는) 경우에는 데이터 셋의 드랍으로 재전송이  발생할수 있습니다.
(예상하기로) 단일스위치 아래서 구성하실걸로 보이는데  NFS 서버, 스위치,클라이언트단에 적용하시면 됩니다.

술이 01:01

ZFS 풀 레코더 사이즈 너무 적게 잡은거 아닐까요? 4K속도는 빠르지만 직렬속도는 최악으로 떨어지는게 풀사이이즈 적게 잡았을때 발생합니다.
기본값은 128K 사이즈인데 혹시 더 적게 잡은거 아니죠? 보통은 더 크게 잡아야 되는데...

이준용 14:31

기본값이 128K 이길래 방금 더 크게 바꿔서 해결해 보려 했는데 속도가 동일합니다.

박문형 14:42

어떤 NVME 스토리지 부품이 어떻게 시스템에 연결되어 있나요??

이준용 15:05

KLEVV CRAS C910 4TB SSD가 4장이 Asus Hyper M.2 Gen 4로 연결되어 있고, Pcie 3.0 * 4 로 연결되어 있습니다.
현재 구성중인 스토리지는 위와 같고
추가적으로 SSD 문제인가 싶어
980 Pro 2TB 도 두장 있어 같은 구성으로 Stripe 설정을 해 봐도
속도가 동일합니다.

박문형 15:24

아..

M.2를 여러개 전용 아답터에 꼽아서 연결하셨군요..

혹시나지만 가능하시면 NVME 카드와 랜카드는 CPU 0 (첫번째 CPU)에 연결되는 PCIe 슬롯에 꼽아서 테스트 해보세요..

술이 15:08

NFS 속도이슈가 많이 보이긴 하네요. 트루나스 속도 이슈인지 NFS 이슈인지 확인할려면 ZVOL 만들어서 iscsi 로 붙여봐서 속도 측정해보면 답나올거 같습니다.
SMB 보다 NFS 속도 너무느리다는 구글 글들이 많이 보이네요.

예전에 벰웨어에 NFS로 붙여봤는데 속도 너무 안나와서 치워버렸던 생각이 나네요.

뭐 NFS 속도 해결방법에는 권고하지 않는데 별도의 데이터셋 만들고 SYNC를 비활성 하라는 글이 보입니다.

송주환 15:41

SMB가 아닌, NFS는 기본적으로 async를 사용합니다. 따라서 명시적으로 마운트 옵션에 sync를 주지 않는 이상 NFS는 async로 동작합니다.

술이 15:45

POOL 데이터넷은 SYNC가 기본값입니다. NFS 말구요

송주환 15:48

ZIL을 말씀하시는 거면, ZFS에서도 명시적으로 파일을 열 때 sync로 열지 않으면 기본적으로 비동기로 열립니다.
아주 오래되고 긴 오해가 있었고, ixsystems의 개발자들이 이 문제에 대해 설명한 오래된 글이 있습니다.
https://www.truenas.com/community/threads/some-insights-into-slog-zil-with-zfs-on-freenas.13633/

아 그런데, 제가 잠깐 착각했었네요. SMB가 기본적으로 비동기이고, NFS가 기본적으로 동기이기 때문에 발생하는 문제로 보입니다.

저도 혹시나 TrueNAS를 ESXi에서 NFS 데이터스토어로 사용할 가능성을 염두에 두고 SLOG용 NVRAM을 추가로 장착했습니다.
Local I/O가 느린 원인의 상당 부분은 현재 ZFS의 코드 패스가 NVMe에 최적화되지 않은 것에 기인할 것으로 보입니다. ZFS는 NVMe 디스크와 함께 쓰기에는 좋은 파일시스템이 아닙니다.

MOONL 15:32

상용 NAS 사용중입니다.
NVME 스토리지에 10G, NFSv3 사용중입니다.
저도 궁금해서 fio로 테스트 해보니 200MB/s 정도 나오네요..(1개 프로세스, bs=100M)
1개 프로세스로만 동작해서 그런지도 모르겠습니다.
그리고 fio 옵션에 따라서 차이가 많이 나네요..
block size가 4k면 random 4k이니 당연히 느린데,
8개 프로세서, bs=100M, 순차 read 혹은 write 하니 대역폭에 근접한 속도가 나오네요.
8개 프로세서, bs=100M, randrw로 하면 read, write 동시에 300~400MB/s 나옵니다.
옵션에 따라서 저렇게 나오는게 맞는거 같습니다.
NAS의 자세한 스팩은 말씀 못드려서 죄송합니다.

MOONL 15:34

fio 옵션입니다.(random read/write)
[test]
filename=testfile
numjobs=8
rw=randrw
bs=100M
size=30G
ioengine=libaio
iodepth=32
runtime=30
time_based
group_reporting

송주환 15:42

seqread / seqwrite 결과는 어떤가요?

MOONL 15:47

10G bond로 사용중이라 거의 최대 대역폭 나오는거 같습니다.
다른 작업들이 돌아가는 중에 테스트 하는 거라 정확하진 않습니다.
눈치 보여서 또 테스트 하긴 좀 그렇네용 ㅎㅎㅎ

송주환 15:53

SLOG를 추가하면 성능 향상이 있을 것이고, 데이터 일관성에 덜 민감한 워크로드라면 async로 마운트 하는 것을 고려해 볼 수 있습니다.
또한, 디바이스의 성능을 평가하기 위해 O_DIRECT로 수행한 테스트 결과를 함께 첨부하는 것이 좋습니다.

MOONL 15:58

아! TrueNAS는 아닙니다 ㅎㅎㅎ
벤더 NAS를 산거고 OS도 포함되어 있습니다.
사정상 말씀을 못드리네요 ㅠㅠㅠ

송주환 16:01

아 글쓴이와 같은 분인 줄 알았습니다. 제 실수입니다.

MOONL 16:15

괜찮습니다.
사랑합니다 선생님 ㅋㅋㅋㅋ
게시판에서 잘 보고 있습니다!

레인보우7 18:16

더운날씨인데 아이스 아메리카노라도 거셔야 하는거 아닌지 모르겠네요.^^

요즘 바빠서 댓글달 시간이 없는데..연구하시는분께서 스토리지 때문에
고생하시는것 같아서 잠깐 의견을 드리면


TrueNAS Scale 25.04 버전을 저도 쓰고는 있는데 10G에서 거의 풀성능 나옵니다.
NFS Async든 sync든 zfs 압축옵션 lz4 on/off든
테스트해보니 크게 성능 변화가 없네요. ZFS 레코드 크기    : 128k 입니다.
예전에 압축옵션을 끄고/안끄고에서 성능차이가 제법 있었던것 같은데
지금 다시 해보니 크게 차이는 없네요.

fio blocksize 4K RandoRead 빼고는 풀성능찍긴하네요. 512k block size에서는 1,000MB/s 넘어가긴합니다.


nfs export 옵션은  sync/async 여부는 nas 터미널에서 아래명령어 치시면 나옵니다.
# exportfs -vv 




저는 AMD Epyc u.2 nvme 전용 장비라서 크게 HW이슈는 없는데
올리신  내용보니
ASUS Hyper M.2 카드로 연결해서 사용하시는부분이 병목의 원인인것 같습니다.

로컬성능이 800MB/s 수준이면 문제가 있어보이네요.
nfs export 걸면 성능이 반띵이하로 떨어지기는 합니다.
거치는 레이어가 많아서 네트워크 i/o 속도는 어쩔수 없습니다.

로컬성능이 못해도 최소 1600MB/s 이상은 나와야 10g 풀성능은 나올겁니다.


메인보드를 어떤걸 사용하시는지 모르겠지만, 메인보드 블럭다이어그램
보시고 cpu쪽에 근접한 pci 슬롯에 꽂으시거나
ASUS Hyper M.2에 SSD 4개를 장착했을때 병목이 hw단에서 걸리는 문제인지 체크해보시는게 좋을것 같네요.
이런구조로 스토리지에서는 잘 쓰지는 않는 형태입니다.

전용 U.2 NVME 장비를 사용하시거나 적절한 M.2 SSD를 다른 pci 슬롯으로 분산배치해서
로컬 성능을 최대한 끌어올리는게 가능한지 먼저 시도해 보시는게 좋을것 같습니다.
HW 조합의 문제라면 해결방법이 마땅치는 않아 보이네요.


~~~
Hyper M.2 카드 설치 위치 변경
가능한 한 CPU 직결 슬롯에 설치
일부 슬롯은 PCH(Platform Controller Hub) 경유로 연결되어 성능이 대폭 제한됨
모두가 동일한 링크를 공유하게 되어 속도가 매우 낮아짐
~~~

MOONL 18:56

오우 속도가 엄청 잘나오네요..