[ETC] ASUS MINING EXPERT 보드로 풀 플레시 트루나스 만들기 PoC 중 - 결과 추가
MikroTik이진https://prod.danawa.com/info/?pcode=6132764 (51)https://ko.aliexpress.com/item/1005005213780482.html (48)
1068;단 갑1088;기 든 아1060;디Ǻ12; 였습니다. 
사업1008; 기다림1032; 연속1060;고 머리식7176;lj16; 용도/196; 시1089;한,148;데 아무리 찾아봐도 다른데서 Ȣ16;lj16; 사람1008; 못찾,192;더군요.
그런데 오늘 1200;랑 ᇼ1;1068;한 1667;? 1012; 한 외국1064;1012; 0156;견Ȣ16;긴 했습니다. 1200;보다 한 보름 먼1200; 시1089;한,144; 같더군요. 역시 세계1201; 관1216;에서 나만 0120;친놈1068;리가 없1424;. Mining board NAS RAID setup. Is it viable? 🤔  다만 1060;친구lj16; 윈도우/196; 해서 13개 1060;상 1064;식에 실패했더군요.
간단한 구성1077;니다.
1473;고보드사고 dz12;구/140; 오픈케1060;스 1109;착Ȣ16;고 cpu도 i7-6700 1004;/196; 1473;고, ǖ16;1008; 가1648;고 1080;Nj12; 8기가 ddr4 스ᔘ1; .160;개 총 16기가 
사타포트 4개1473; 2개lj16; 0120;러/196; 해서 truanas 설치Ȣ16;고, 파워lj16; 1600와트라 gpu안Ǹ16;면 ǥ12;1313;할,163; 같1648;lj16; 않더군요.
ssdlj16; 테스트용1004;/196; 256G 18개 +  dz12;구리 0169;열판 18개 +.160;번1704; 그림1032; PCI-e x1 to NVMe 아NJ13;터 20개 알리에서 1452;문해서 오를 올,161;니다.
여러가1648; 문1228;가 1080;1012;Ǐ19; Ȣ16;1648;만.. 기술1201;1064;,148; 대충 해결할 실마리를 가1648;고 1080;습니다.
마1648;ኔ1;1004;/196; 총 4GByte/sec 에 불과한 대역폭1012; 최대한 Ǹ16;기위해 브/196;드컴 251648; 듀얼 네트워크 카드를 달았습니다.
예상.104;lj16; 용량1008; RAIDD-Z3 사용시 3860TByte 용량에 총 내ǥ12; 속도lj16; 개NJ17; 250MByter/sec 1004;/196; 총 3750Mbyte/sec 가 최대1064;데 스6169;상 최대치1064; 4GByte/sec 에 근1217;한 속도만 나와1452;면 만1313;1077;니다. 
아마도 1204;ǥ12; PCI-e 2.0 x1 1004;/196; 1064;식.112;,144;/196; 예상 .121;니다.
1648;금1008; 2561004;/196; 했1648;만 1096;.104;면 4테라 18개? /196; 안1221;1201;1004;/196; 최대속도1064; 3750Mbyte/sec1012; 뽑아1452;lj16; 플/112;시 나스가 .104;길 기대해 봅니다.
물론 1096;.112;리lj16; 없Ǻ12;보1077;니다만..해결해 봐야1424;.. ㅎㅎㅎㅎ
아1649; 도착Ȣ16;1648; 않1008;,148; PICO ATX  2개랑 2번1704; 그림1032; 아NJ13;터 들1060;네요
테스트결과도 뒤에 알/140;드리1424;.
Open Flame Chassis             KRW  10,000
ASUS Mining Expert(SH)            KRW110,000
Pull Moduler ATX 700W PSU         KRW   65,000
i7-6700 CPU(SH)                KRW   78,750
AG400 CPU Cooler                KRW   21,900
2x DDR4 8G UDIMM(SH)        KRW   30,000
18x ESO256G NVMe SSD 256GB     KRW 304,000
18x PCI-e x1 to NVMe Adaptor    KRW   61,500
2x PICO ATX 300W PSU            KRW   37,400
Broadcom dual 25G(SH)            KRW 100,000
2x 256G sata SSD(SH)                    KRW   60,000
-------------------------------------------------------------
G. Total                        KRW 878,550 (Incude VAT)
대충 600달러 1221;도 든,144; 같습니다.
그리고 결국 18개 다달았고 아1452; 많1008; 우여곡1208; -149;에 18개 다 1064;식 성공
TRUENAS 에서도 1204;ǥ12; 1064;식했습니다.
RAID-Z3 /196; 구성Ȣ16;면 1069;기속도lj16; 아1452; 1339;,192;1648;만 Ǹ16;기lj16; 형편없1012;,161;니다. 그래서 Ǹ16;기 캐시 용1004;/196; 512기가 2.51064;치 Ȣ16;나 추가해 1452;/140; 합니다.
볼륨구성Ȣ16;고 x드라1060;브/196; smb 마운트 Ȣ16;lj16;데 케1060;블1060; ǥ12;1313;해 25G 한개/196; 했습니다.
생각보다 안나오네요.. 1216;보프/112;1076;1008; 90001004;/196; 했고..뭐가 문1228;1064;가 알아보lj16; 1473;1077;니다.
그냥 파1068; 복사 테옰해보면 1069;Ǻ12;올ǐ12;lj16; 초NJ17; 700메가0148;1060;트 쓸ǐ12;lj16; 초NJ17; 350메가0148;1060;트 1221;도 나Ꮢ1;니다.
ASUS B250 Mining Expert 메1064;보드(PCIe 1.0 x1 슬ǘ15; 18개)lj16; 채굴 모드에서 사용.121;니다.
PCIe 1.0 x11008; 최대 250 MB/s를 1648;원합니다.
18개1032; NVMe 드라1060;브lj16; 최대 대역폭1004;/196; 250MB/sec 15; 18 = 4.5 GB/s가 필요합니다.
그러나 B250 ᒤ1;셋1008; 모든 18개 슬ǘ15;에 대해 최대 4 GB/s만 1648;원합니다.
RAID-Z3를 사용할 ᅆ1;우 실1228; 데1060;터 1069;기 속도lj16; 150176; 1613;가할 수 1080;습니다.
따라서 최대 예상 속도lj16; 3.75 GB/sec1077;니다.
따라서 최대 예상 단0169;향 속도lj16; 30 Gbps1077;니다.
1060; 대역폭1008; 1204;체 대역폭1060;며, 풀 듀플/113;스가 아닙니다.
실1228; 네트워크 드라1060;브/196; 사용 시 단1068; 25 Gbps 네트워크 카드가 충ǥ16;합니다.
네트워크 드라1060;브에서 /196;컬 RAM 드라1060;브/196; 20Gbps 복사 속도를 달성했습니다.
1060;,163;1060; 1228;가 Ǻ19;1012; 수 1080;lj16; 최상1032; 결과라고 생각합니다.
1228;가 세ᔚ1;한 0148;1060;오스 설1221;1077;니다.
Key BIOS settings
PCIe link speed settings
Advanced → System Agent Config → DMI/OPI Conf → DMI Max Link Speed →
Gen 2(Some GPUs recommend Auto)Advanced → PEG Port Conf → PCIEX16_1 Link Speed →
Gen 2Advanced → PCH Config → PCI Express Config →
Gen 2
Disable ASPM-related settings
PCI Express Native Power Management →
DisabledNative ASPM →
DisabledPCH/SA PCIe ASPM Control →
Disabled
Enable required options
Advanced → Mining Mode →
EnabledAdvanced → System Agent Config → iGPU Multi-Monitor →
EnabledBoot → CSM →
Disabled
Power Management
APM Config → Restore AC Power Loss → Power On
Boot → Fast Boot →Disabled
/112;딧에 올/160;더니 양덕들1060; 1116;0120;1080;Ǻ12; Ȣ16;네요.
I made 18 NVMe TrueNAS Scale using ASUS MINING EXPERT mobo : r/truenas 
실재로 써보면 NVMe x1로 물려서 RAID하는것도 생각보다 성능 잘 나옵니다 (최근 Alder-N으로 4~6개 NVMe 장착하는 소형 NAS 여러 제조사에서 발매되는 이유입니다)
어차피 연속성능은 몰라도 랜덤 성능은 컨슈머 제품에서 x1이라도 충분합니다 (다만 2.0이니 비싼 제품 쓰면 제성능 못 뽑고, DRAMLess의 저렴한넘이 맞을꺼같음)
성능 올리기 위해선 RAM 커야하니 최대치를 추천합니다 (슬롯 2개에 32*2)
시퓨는 아직 안 사셨다면 BIOS 개조후 CoffeeLake로 가시는걸 추천합니다
Asus 200시리즈 칩셋이니 ES가 아닌 시퓨를 절연 + 통전해서 쓰세요 (ES중 U0스테핑 + HT 없는 QNTM이라면 먹긴하는데, 기본적으로 Asus보드는 ES 커피랑 안 친하니 ES는 비추)
NVMe RAID처리할려면 시퓨 성능 꽤 빵빵해야하므로 6700보다 가격 저렴한 커피 i5가 더 나을꺼에요 (어차피 이것조차 병목 일으킬 수 있으므로 GPU로 처리하는게 추천인데, 물릴 슬롯이 없네요)
CPU Lane은 3.0 x16이니 NIC쪽은 꽤 높은 속도 뽑을 수 있겠지만, 디스크 pool의 예상치가 그걸 못 따라가겠네요
저 구조면 디스크쪽 케이스팬으로 공기 앞 -> 뒤로 밀어주고, SSD에 방열판 다 붙이면 냉각 넉넉할껍니다 (x1로 돌리면 발열이 줄어들어서 케이스 구조에 따라선 팬 필요없을 수 도 있음)
저도 저렴한 채굴 보드로 비슷한짓 해볼까 생각은 해본적 있는데, ATX보드를 쓰면 뭔짓을 해도 케이스 크기가 너무 커져서 공간상 패스하게 되네요 (지금은 2.5" 몇개 묶어서 작게 구성해서 쓰고 있고, 만일 NVMe RAID로 간다면 4~5개만 달아서 1L도 안 나가게 구성할꺼같네요) (8T 4개만 달아도 24T가 나오는데 개인적으론 이걸로도 충분)
다만 PoC고 램은 최대 32기가만 지원합니다.
생각은 다해보는데 실제 하는 사람이 없어서 한번 해보려던건데 양덕이 먼저했네요. ㅎㅎ
어차피 멤컨 문제라 커피로 바꾸면 100% 64G됩니다
이미 시퓨까지 다 사버리신것같으니 좀 늦긴한데, 저 디스크 개수에 32G 넘 적은거같긴해요
덧글 알림 보고 왔더니 본문에 디스크 목록 스샷이...
저정도면 N100 미니에 NVMe 4개 + 5G 달았을때보다 못한데요? (이경우 5G 꽉 채움)
B250이....1.0 신호 안 나왔을껀데....
그리고 그걸 고려해도 200메가쯤 나와야할 디스크가 5~60메가인 시점에서 글러먹었죠
어쩃든 대역폭 이전의 문제라 봅니다
대역폭 꽉 채우면 3.0용 NVMe 1개정도 수치는 뽑아줘야 합니다