이준용 11-18

인피니밴드 스위치가 참 비싸던데 효용성이 있을 지 모르겠습니다.

박문형 11-18

저는 엔비디아 제품에 대하여 잘 모릅니다..

저 제품이 나온지 얼마 안되어서 큰 기업에서 많이 사용하고 그렇게 묶는 프로잭트가 없는 한 아마 레퍼런스도 없고 사례도 없을 듯합니다..

nVIDIA DGX Spark 5대를 묶어서 사용할 수 있는 방법      이라고 구글에서 검색하면

===================================================================================================================================

AI 개요
NVIDIA DGX Spark 5대를 묶어서 사용하려면 고속 네트워킹 구성과 전용 소프트웨어 스택을 활용하여 AI 클러스터를 구축해야 합니다.
하드웨어 구성
네트워킹 하드웨어:
고속 스위치: DGX Spark 시스템에는 2개의 ConnectX-7 Smart NIC 포트(각 200GbE 지원)가 내장되어 있어 고속 상호 연결이 가능합니다. 5대의 장치를 연결하려면 최소 200G 이더넷 포트를 지원하는 엔비디아 Spectrum-X 또는 Quantum-X 시리즈와 같은 고성능 이더넷 스위치가 필요합니다.
케이블: 5대의 DGX Spark와 스위치를 연결하기 위해 200G QSFP56 DAC(Direct Attach Copper) 케이블 또는 AOC(Active Optical Cable)를 사용합니다.
연결 방식: 각 DGX Spark의 ConnectX-7 포트를 스위치에 연결하여 모든 시스템 간의 고대역폭, 저지연 통신을 보장합니다. 이는 여러 노드 간의 데이터 전송 대역폭을 최대화하고 CPU 오버헤드를 최소화하는 데 중요합니다.
네트워킹 설정:
RDMA 활성화: 여러 노드 시스템의 성능을 크게 향상시키기 위해 RDMA(Remote Direct Memory Access)를 지원하는 네트워크 구성을 사용해야 합니다.
IP 설정: 자동 IP 할당 또는 수동 IP 할당을 통해 네트워크 설정을 완료할 수 있습니다.
소프트웨어 구성
운영체제 및 기본 소프트웨어:
DGX Spark는 Ubuntu Linux를 기반으로 하며, 엔비디아는 DGX 시스템에 최적화된 DGX OS(Ubuntu 20.04 LTS 기반) 및 NVIDIA AI Enterprise 소프트웨어 스택을 제공합니다.
클러스터 관리 및 워크로드 관리:
NVIDIA Base Command Manager: 여러 DGX 노드를 포함한 AI 클러스터의 신속한 배포, 모니터링 및 관리를 자동화하는 데 사용됩니다.
Slurm: HPC(고성능 컴퓨팅) 애플리케이션 및 AI 학습 작업을 위한 오픈소스 작업 스케줄링 및 리소스 관리 시스템으로, DGX 클러스터에서 워크로드 관리 시스템으로 자주 사용됩니다.
Kubernetes (K8s): 컨테이너 오케스트레이션을 위해 쿠버네티스를 활용할 수 있으며, GPU를 활용하는 Pod를 배포하고 관리할 수 있습니다.
AI 소프트웨어 스택:
NVIDIA AI Software Stack: GPU 최적화 프레임워크(예: cuDNN, NCCL), 라이브러리 및 도구를 포함하며, 이를 통해 5대의 DGX Spark가 마치 하나의 거대한 시스템처럼 작동하여 대규모 AI 모델 학습 및 추론 작업을 효율적으로 처리할 수 있습니다.
요약
5대의 NVIDIA DGX Spark를 묶는 과정은 단순히 장비를 물리적으로 연결하는 것을 넘어, **고속 네트워킹 인프라(200G 스위치)**를 구축하고 **클러스터 관리 소프트웨어(NVIDIA Base Command, Slurm 등)**를 활용하여 하나의 통합된 AI 슈퍼컴퓨팅 플랫폼으로 작동하도록 구성하는 것을 의미합니다.

=====================================================================================================================================

이런 식으로 나오네요..

어디서 구매하실지 모르겠지만 구매하는 곳이나 엔비디아 코리아 총판 /엔비디아코리아 쪽에 문의하여

그렇게 구축이 가능한지 테스트한 자료라도 있는지 확인해보세요..


그리고 엔비디아 GPU 솔류션들은 하드웨어와 OS 말고 보통 사람들에게는 잘 안알려진 엔비디아에서 만든  전용 라이브러리나 소프트웨어 솔류션들이 있습니다..

어떻게 사용할지에 따라 가끔 전용 소프트웨어가 들어갈 수 밖에 없을수 있는데 이런 전용 소프트웨어나 라이브러리, 라이센스 등이

하드웨어 값보다 더 나갈 수 있으니 찬찬히 확실하게 알아보시기 바랍니다..

레볼루션 11-19

답변 감사합니다.
공식 총판에서는 2대까지 인피니밴드 케이블로 직접 연결로 가능하다고 하는데 그 이상은 공식적으로 지원이 안된다고 하네요.
그러면서 해외 사례를 이야기해서 혹시 아시는분이 있나 싶어서 문의를 올렸던 겁니다.

박문형 11-19

공식 총판에서는 엔비디아 코리아나 본사에 이에 대해 문의해보지는 않았을 듯합니다..

엔비디아 코리아나 엔비디아 본사의 답변이 필요하다라고 다시 공식 총판에 문의해보시던지요..

2대 다이랙트 연결은 저 장비 리뷰했던 곳이면 대략 다 언급이 되어 있을 겁니다..

2대 연결해서 성능 높힐수 있다고..

만일 가능하시다면 엔비디아 코리아에 문의해보는 것이 좋아 보입니다..

검은콩 11-18

이돈으로 그냥 black well 6000 96gb 3개쯤 사시는게??

bin1016 11-19

저렇게 가능은 한 걸로 알고 있지만, 속도 보다는 압도적인 VRAM이 필요한 서비스 운영이 목적이 아니라면 비효율적일 것 같습니다.

상석하대 11-19

돌리려는 게 IB, MPI를 지원해야 돼요.
기기들 간에 크로스로 컴파일, 빌드, 렌더 같은 거를 해야하는 경우가 대부분 일텐데요.
예를 들어 호스트와 기기 하나 사이에 트래픽으로 10GB 대역폭이 필요하다면요.
기기가 다섯대이므로 각 노드는 50GB를 감당해내야 할 거예요.
그 기기를 접하지는 못했지만 GPU로 여태 겪은 바로는 그래요.

dateno1 11-19

그돈이면 그냥 다른 서버 살듯

1대당 성능이 높은것도 아니고, 5대 묶는다고 5배로 빠른것도 아닙니다

SiCMOS 11-19

가능은 하겠습니다만 포트 속도 제한이 200G라 제 성능이 나오지는 않을 겁니다..
https://blog.naver.com/tery1312/224077790925 참조
그리고 CX7 포트는 이더넷 전용이라 IB로 연결은 불가합니다.

레볼루션 11-20

답변주신 모든 분들 감사합니다.