[ETC] ASUS MINING EXPERT 보드로 풀 플레시 트루나스 만들기 PoC 중 - 결과 추가
MikroTik이진https://prod.danawa.com/info/?pcode=6132764 (239)https://ko.aliexpress.com/item/1005005213780482.html (223)
일단 갑자기 든 아이디어 였습니다.
사업은 기다림의 연속이고 머리식히는 용도로 시작한건데 아무리 찾아봐도 다른데서 하는 사람은 못찾겠더군요.
그런데 오늘 저랑 동일한 짓? 을 한 외국인을 발견하긴 했습니다. 저보다 한 보름 먼저 시작한거 같더군요. 역시 세계적 관점에서 나만 미친놈일리가 없죠. Mining board NAS RAID setup. Is it viable? 🤔 다만 이친구는 윈도우로 해서 13개 이상 인식에 실패했더군요.
간단한 구성입니다.
중고보드사고 싸구려 오픈케이스 장착하고 cpu도 i7-6700 으로 중고, 램은 가지고 있던 8기가 ddr4 스틱 두개 총 16기가
사타포트 4개중 2개는 미러로 해서 truanas 설치하고, 파워는 1600와트라 gpu안쓰면 부족할것 같지는 않더군요.
ssd는 테스트용으로 256G 18개 + 싸구리 방열판 18개 +두번째 그림의 PCI-e x1 to NVMe 아답터 20개 알리에서 주문해서 오를 올겁니다.
여러가지 문제가 있을듯 하지만.. 기술적인건 대충 해결할 실마리를 가지고 있습니다.
마지막으로 총 4GByte/sec 에 불과한 대역폭을 최대한 쓰기위해 브로드컴 25지 듀얼 네트워크 카드를 달았습니다.
예상되는 용량은 RAIDD-Z3 사용시 3860TByte 용량에 총 내부 속도는 개당 250MByter/sec 으로 총 3750Mbyte/sec 가 최대인데 스펙상 최대치인 4GByte/sec 에 근접한 속도만 나와주면 만족입니다.
아마도 전부 PCI-e 2.0 x1 으로 인식될거로 예상 됩니다.
지금은 256으로 했지만 잘되면 4테라 18개? 로 안정적으로 최대속도인 3750Mbyte/sec을 뽑아주는 플레시 나스가 되길 기대해 봅니다.
물론 잘될리는 없어보입니다만..해결해 봐야죠.. ㅎㅎㅎㅎ
아직 도착하지 않은건 PICO ATX 2개랑 2번째 그림의 아답터 들이네요
테스트결과도 뒤에 알려드리죠.
Open Flame Chassis KRW 10,000
ASUS Mining Expert(SH) KRW110,000
Pull Moduler ATX 700W PSU KRW 65,000
i7-6700 CPU(SH) KRW 78,750
AG400 CPU Cooler KRW 21,900
2x DDR4 8G UDIMM(SH) KRW 30,000
18x ESO256G NVMe SSD 256GB KRW 304,000
18x PCI-e x1 to NVMe Adaptor KRW 61,500
2x PICO ATX 300W PSU KRW 37,400
Broadcom dual 25G(SH) KRW 100,000
2x 256G sata SSD(SH) KRW 60,000
-------------------------------------------------------------
G. Total KRW 878,550 (Incude VAT)
대충 600달러 정도 든거 같습니다.
그리고 결국 18개 다달았고 아주 많은 우여곡절 끝에 18개 다 인식 성공
TRUENAS 에서도 전부 인식했습니다.
RAID-Z3 로 구성하면 읽기속도는 아주 좋겠지만 쓰기는 형편없을겁니다. 그래서 쓰기 캐시 용으로 512기가 2.5인치 하나 추가해 주려 합니다.
볼륨구성하고 x드라이브로 smb 마운트 하는데 케이블이 부족해 25G 한개로 했습니다.
생각보다 안나오네요.. 점보프레임은 9000으로 했고..뭐가 문제인가 알아보는 중입니다.
그냥 파일 복사 테옰해보면 읽어올때는 초당 700메가바이트 쓸때는 초당 350메가바이트 정도 나옵니다.
ASUS B250 Mining Expert 메인보드(PCIe 1.0 x1 슬롯 18개)는 채굴 모드에서 사용됩니다.
PCIe 1.0 x1은 최대 250 MB/s를 지원합니다.
18개의 NVMe 드라이브는 최대 대역폭으로 250MB/sec × 18 = 4.5 GB/s가 필요합니다.
그러나 B250 칩셋은 모든 18개 슬롯에 대해 최대 4 GB/s만 지원합니다.
RAID-Z3를 사용할 경우 실제 데이터 읽기 속도는 15배 증가할 수 있습니다.
따라서 최대 예상 속도는 3.75 GB/sec입니다.
따라서 최대 예상 단방향 속도는 30 Gbps입니다.
이 대역폭은 전체 대역폭이며, 풀 듀플렉스가 아닙니다.
실제 네트워크 드라이브로 사용 시 단일 25 Gbps 네트워크 카드가 충분합니다.
네트워크 드라이브에서 로컬 RAM 드라이브로 20Gbps 복사 속도를 달성했습니다.
이것이 제가 얻을 수 있는 최상의 결과라고 생각합니다.
제가 세팅한 바이오스 설정입니다.
Key BIOS settings
PCIe link speed settings
Advanced → System Agent Config → DMI/OPI Conf → DMI Max Link Speed →
Gen 2(Some GPUs recommendAuto)Advanced → PEG Port Conf → PCIEX16_1 Link Speed →
Gen 2Advanced → PCH Config → PCI Express Config →
Gen 2
Disable ASPM-related settings
PCI Express Native Power Management →
DisabledNative ASPM →
DisabledPCH/SA PCIe ASPM Control →
Disabled
Enable required options
Advanced → Mining Mode →
EnabledAdvanced → System Agent Config → iGPU Multi-Monitor →
EnabledBoot → CSM →
Disabled
Power Management
APM Config → Restore AC Power Loss → Power On
Boot → Fast Boot →Disabled
레딧에 올렸더니 양덕들이 재미있어 하네요.
I made 18 NVMe TrueNAS Scale using ASUS MINING EXPERT mobo : r/truenas
실재로 써보면 NVMe x1로 물려서 RAID하는것도 생각보다 성능 잘 나옵니다 (최근 Alder-N으로 4~6개 NVMe 장착하는 소형 NAS 여러 제조사에서 발매되는 이유입니다)
어차피 연속성능은 몰라도 랜덤 성능은 컨슈머 제품에서 x1이라도 충분합니다 (다만 2.0이니 비싼 제품 쓰면 제성능 못 뽑고, DRAMLess의 저렴한넘이 맞을꺼같음)
성능 올리기 위해선 RAM 커야하니 최대치를 추천합니다 (슬롯 2개에 32*2)
시퓨는 아직 안 사셨다면 BIOS 개조후 CoffeeLake로 가시는걸 추천합니다
Asus 200시리즈 칩셋이니 ES가 아닌 시퓨를 절연 + 통전해서 쓰세요 (ES중 U0스테핑 + HT 없는 QNTM이라면 먹긴하는데, 기본적으로 Asus보드는 ES 커피랑 안 친하니 ES는 비추)
NVMe RAID처리할려면 시퓨 성능 꽤 빵빵해야하므로 6700보다 가격 저렴한 커피 i5가 더 나을꺼에요 (어차피 이것조차 병목 일으킬 수 있으므로 GPU로 처리하는게 추천인데, 물릴 슬롯이 없네요)
CPU Lane은 3.0 x16이니 NIC쪽은 꽤 높은 속도 뽑을 수 있겠지만, 디스크 pool의 예상치가 그걸 못 따라가겠네요
저 구조면 디스크쪽 케이스팬으로 공기 앞 -> 뒤로 밀어주고, SSD에 방열판 다 붙이면 냉각 넉넉할껍니다 (x1로 돌리면 발열이 줄어들어서 케이스 구조에 따라선 팬 필요없을 수 도 있음)
저도 저렴한 채굴 보드로 비슷한짓 해볼까 생각은 해본적 있는데, ATX보드를 쓰면 뭔짓을 해도 케이스 크기가 너무 커져서 공간상 패스하게 되네요 (지금은 2.5" 몇개 묶어서 작게 구성해서 쓰고 있고, 만일 NVMe RAID로 간다면 4~5개만 달아서 1L도 안 나가게 구성할꺼같네요) (8T 4개만 달아도 24T가 나오는데 개인적으론 이걸로도 충분)
다만 PoC고 램은 최대 32기가만 지원합니다.
생각은 다해보는데 실제 하는 사람이 없어서 한번 해보려던건데 양덕이 먼저했네요. ㅎㅎ
어차피 멤컨 문제라 커피로 바꾸면 100% 64G됩니다
이미 시퓨까지 다 사버리신것같으니 좀 늦긴한데, 저 디스크 개수에 32G 넘 적은거같긴해요
덧글 알림 보고 왔더니 본문에 디스크 목록 스샷이...
저정도면 N100 미니에 NVMe 4개 + 5G 달았을때보다 못한데요? (이경우 5G 꽉 채움)
B250이....1.0 신호 안 나왔을껀데....
그리고 그걸 고려해도 200메가쯤 나와야할 디스크가 5~60메가인 시점에서 글러먹었죠
어쩃든 대역폭 이전의 문제라 봅니다
대역폭 꽉 채우면 3.0용 NVMe 1개정도 수치는 뽑아줘야 합니다