안녕Ȣ16;세요
r740xd ǥ12;품 구성1473;에 아래와 같1008; 메세1648;가 나오lj16;데
idrac에서lj16; 아무런 오류가 표기.104;1648; 않1648;만
osǥ12;ᔚ1;1473;에 아래 메세1648;가 나오면서 1068;단  멈춥니다. 1060;후 OS/196; 1652;1077;1008; 할 수 1080;1648;만..
"
"
현1116; 24bay NVME를 구성 시도해보고 1080;lj16; 상황에서 0156;생.108; 에러 메세1648;1077;니다.
해NJ17; 구성1012;위한 ǥ12;품1008; (상세ǥ12;품명까1648;도 모.160; 확1064;) 모.160; 충1313;Ȣ16;였습니다. (케1060;블까1648;도)
1204;용 24bay NVME 0177;플/112;1064;(FJH5T) 과 NVME 12개씩 추가애드온 PCI 스위치카드 (W0DNK) . 2개 /196; 구성.104;Ǻ12;1080;습니다.
(NVME1204;용 24bay backplane1008; sata sas안.104;고 nvme만 할NJ17;Ȣ16;lj16; ,163;1004;/196; 별도 0177;플/112;1064;1077;니다.)
CPLD 수ᇼ1;업데1060;트 Ȣ16;여 1.14 버1204;1060;고
심1648;Ǻ12; PSU도 최신업 해1500;습니다.
PCI 갈아-180;워보고 메1064;보드도 갈아-180;ǽ12;lj16;데 위 에러 메세1648;가 계속 나오네요..ㅜㅜ (라1060;1200;lj16; 대체품1060; 없Ǻ12;서 그대/196;라 라1060;1200;11060; 문1228;1064;가 dz10;기도Ȣ16;고..)
3번슬ǘ15;1060;라lj16;,152; 보니 라1060;1200;1번 문1228;1064;,163; 같습니다만.. 에러메세1648;/196; 봐서lj16; 40176;속 링크1064;데 20176;속1004;/196; 1089;ᇼ1;1473;1060;다 뭐 1060;런소리 같아서
케1060;블1060; 문1228;1064;가 dz10;기도 한데 케1060;블1008; 1096;못.104;면 0148;/196; disconnect 가 뜨기문에 케1060;블 문1228;lj16; 아닌,163; 같다lj16; 판단1077;니다만
Dell 메뉴얼에서lj16; 1060; 문1228;에 대해서lj16; 1221;보가 없네요.. 구글,160;색에서도 1221;보가 ኧ1;개 없고 해NJ17;사항1060; 없Ǻ12;서.. 
고수님들 도움1012; 1328; 청해봅니다 
특이점은 라이저2번을 빼면 24bay 백플레인이 BP1 이고 라이저2 (똑같이 생겼지만 다른 DPN인 RN1V2) 가 BP2 로 작동해서 다른에러가 나옵니다.
다만 R740이면 이미 보증이 만료되었을 텐데, 벤더의 지원을 받을 수 있을지 모르겠네요.
네 케이블은 아직 교체해보지 못했습니다. ㅜㅜ
https://graphwoody.inblog.ai/faefield-application-engineer%EC%97%90-%EB%8C%80%ED%95%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0
저는 FAE(Field Area Engineer) 로 알고 있는데 하는 일은 거의 비슷합니다..
제조사 고객에서 나오는 문제나 기술적 요구사항을 수집하여 분석한 후 검증하여 개발팀이나 QC 팀 그 외 영업팀쪽으로 보내어 해결해주는 것입니다..
이렇게 될려면 우선 고객등록이 되어 있어야 하고 MOU 정도는 되어 있어야 가능합니다..
저는 옛날에 TYAN쪽과 일하면서 FAE와 Sales 와는 거의 항상 소통하고 있어서 대략 모라고 하는지는 알고 있습니다..
현시점에서 문제는 제조사에서 보증하는 저 셋팅에 대한 확실한 매뉴얼이나 셋팅하는 방법/셋팅시 필요한 부품목록 등을 구할 수 없는게 가장 큰 문제입니다..
요즘 dell 장사 겁나 잘된다는데.. ㅎㅎ 기술지원 연락드리니 놀래시던데요. 고물 취급 받았습니다 흑흑..
하라는데로 해보세요.
1. iDRAC 초기화
2. PCIe NVMe Card Firmware update
NVME 및 NIC조차 꽂지 않고 해봐도 저 메세지가 뜨네요.. ㅜㅜ
"전용 24bay NVME 백플레인과 NVME 12개씩 추가애드온 PCI 스위치. 2개 로 구성되어있습니다."
740XD에 NVME는 PCIe slot에서 나가지 않고 MB에 있는 MiniPCI에서 나가지 않나요?
PCIe slot으로 하면 당연히 lane 부족하고, 이런 메시지 나오겠죠
NVME 12개씩 스위칭 해주는 추가애드온 PCI 스위치카드 (W0DNK) . 2개 로 구성
(NVME전용 24bay backplane은 sata sas안되고 nvme만 할당하는 것으로 별도 백플레인입니다.)
lane이 부족해서 저 스위치가 lane을 조정해준다고 포럼에서 보았습니다.
이 질문에서 이어지는 것입니다..
온보드에서 다 뽑으신건지, 온보드 + pci retimer 카드로 혼용하신건지 궁금하네요.
nvme 디스크 한개가 x4배속이니, 24개면 94lane이 확보되어야 일단 문제없을것 같긴합니다.
전용 24bay NVME 백플레인(FJH5T) 애드온 PCI 스위치카드 (W0DNK) 입니다.
PCIe 슬롯을 "Auto" 또는 "x4x4x4x4" 모드로 변경 후 테스트.
이게 계산이 않 맞는데요..
1.33 LANE 이면 3분의1 배정인데.. 그러면 3GB U.2 => 1GB 나오는건데.
그러면 SAS SSD 보다 느려지네요.
그래도 총 대역폭이 30GB..
100Gbps 3 port 쓸수있겠네요,
고속 All Flash 스토리지
영상 렌더팜 스토리지/ 언리얼편집스토리지로 쓰고 있는데(납품).
EPYC 2cpu
RAM 256GB
U.2 15.36TB x 24ea (Intel D7-P5520) = pcie 96 lanes
Read cache: 960GB
Write cache: 960GB
100GbE 2port
10GbE 4port
96+16+16+8 = 최소한 136 레인이 필요합니다. ==== 그래서 제온Dual 로 할 수 가 없는 것이죠.....EPYC Dual만 가능합니다. (256 레인 )
여기에 HBA 나 HCA도 2장 더 달아야 하는데.. 슬롯이 모자라요.. 설치 할 수가 없더군요.
그럼
96+16+16+8+8+16 = 160 Lanes
AMD EPYC Rome or Milan CPU (PCIe 4.0)
- Single : 128 Lanes
- Dual : 128 Lanes (+32개는 Infinity Fabric 연결) 128+32=160 Lanes
Dual은 32개 차선은 시스템 전용도로네요.
Infinity Fabric : Core to Core, Die to Die 연결용 추가 32 Lanes
우선은 사양이 full 대역폭이 나올 수 없다는 것은 인지하고 있습니다.
u.2 nvme 24bay 구축이 생각보다 어렵네요..