[Server] 랩 구성 완료

   조회 12071   추천 2    

 


상단부터 방화벽, 매니지먼트용 스위치 둘(이중화), 아리스타 스위치 (ToR), 컴퓨트 클러스터용 화웨이 노드 4대, 매니지먼트 클러스터용 FX2s (4노드 구성), 스토리지 서버, UPS 입니다.


각 노드는 E5-2680v4, 128GB 메모리 구성이며 각 40G 듀얼, 10G 듀얼, 1G 듀얼 포트를 가지고 있습니다. 대부분 CX-4여서 향후 100G 업그레이드에도 대응할 수 있게 하였습니다.


스토리지 서버는 VROC를 이용한 NVMe RAID를 구성하였으며, NIC은 CX-6 듀얼 포트를 사용합니다. NVMe-oF 타겟으로 SPDK를 사용하기에 옵테인 캐시는 하는 일 없이 놀고 있습니다. 옵테인은 조만간 매각해야 할 것 같습니다. 

네트워크는 VLAN+GENEVE로 구성되며, SDN은 NSX-T로 구현됩니다. 현재 VM 네트워크 세그멘테이션 PoC가 끝났습니다. 이번 주에 BGP 연동 및 ALB 적용을 진행하려고 합니다.


마자막으로 UPS는 Eaton의 9PX6000인데, 다행히도 vCenter가 IPM을 통한 매니지먼트를 지원하여 정전 시 연결된 VM과 장비들을 순차적으로 종료하도록 설정하였습니다. 한편, 공유 스토리지를 마지막에 종료시킬 필요가 있었으나 IPM 1.0은 IPMI를 통한 전원제어를 지원하지 않아 별도 오픈소스 솔루션을 써야 했습니다. 이 점이 살짝 아쉽습니다.


예상 기간보다 대략 5달 정도의 시간이 더 소요되었는데, 만들고 나니 뿌듯하고 좋네요. 


짧은글 일수록 신중하게.
박문형 2022-07
수고하셨습니다..

PDU는 어느 회사 제품인가요??
     
송주환 2022-07
랙과 PDU는 HPE 입니다
maronet 2022-07
qsfp dac 케이블 정리하기 참 어려운거 같아요.
     
송주환 2022-07
100G EDR 케이블부터는 진짜 정리하기가 어렵습니다. HDR 부터는 거의 불가능해 질 것 같아요.
          
maronet 2022-07
스위치 왼쪽에 약간 가는거 여러개 묶인거 같은데 100G 케이블이죠? 보기만해도 QSFP보다 더 힘들 것 같아요. 전 처음에 10G를 DAC로 했다가 결국 광으로 바꿨습니다. 스위치 상단에 작은 스위치를 오른쪽으로 옮겨서, 케이블 보관(?) 공간좀 만들어서 케이블들 다 거기다 일단 올렸다가, 필요한 만큼만 타고 내려오면 더 나을 것 같아요.
               
송주환 2022-07
저 케이블들은 100G to 25G Breakout 케이블입니다. 첫 사진에는 EDR/FDR 케이블이 섞여 있는데, 더 두꺼운 쪽이 EDR입니다 ㅎㅎ
                    
maronet 2022-07
아~ 그렇군요. 실무를 안하니 25G 이상 구경해본 적이 없어서요. ㅠ.ㅠ
          
maronet 2022-07
저도 복권 맞아서 서버살일이 생긴다면 FX2s 같은 4노드 서버 2대 사서 쓰고 싶습니다 ㅠ.ㅠ 근디 저거도 네트워크 케이블은 다 밖으로 나와서 케이블 정리 쉽지 않을 것 같기는 합니다.


제목Page 9/280
2015-12   1076264   백메가
2014-05   4525204   정은준1
2022-10   19237   여주농민76
2022-10   18575   박문형
2022-10   17720   2CPU최주희
2022-10   16489   dateno1
2022-10   10064   dulgi
2022-09   14478   준14
2022-09   11134   집에가자
2022-09   11366   loveallmusic
2022-09   14538   2CPU최주희
2022-09   13759   2CPU최주희
2022-09   13223   팬더고라니
2022-09   12363   송주환
2022-09   12515   하하캔디
2022-08   13273   죠슈아
2022-08   13703   모어쿨
2022-08   13335   Mar77
2022-08   13137   thescream
2022-08   13810   js1225xd
2022-08   11965   사수
2022-08   11040   mdman