안녕Ȣ16;세요
1068;0152;1201;1004;/196;  HP ,DELL , LENOVO መ1;1032;  서버에 GPU를 1109;착 Ȣ16;여 사용1012; 많1060; Ȣ16;고 1080;습니다.
현1116; 1200;7148; 고ᄶ1;1060;  엔비디아 DGX 서버에  필1060; 꽂혀서,   1068;0152; 서버에 GPU 1109;착한 모델1008; 별/196; 관심1060; 없습니다.
DGX 서버와  1068;0152;1201;1064; 벤더서버에  GPU 1109;착한,144;랑    월መ1;한 차1060;가 나lj16;1648;요?  아니면 별/196; 차1060;가 없lj16;1648;요?
위1032; 내용 관/144;Ȣ16;여 문서 또lj16; 웹사1060;트가 1080;lj16;1648; 알/140; 1452;세요
감사합니다.
고객이 요청하신대로 해주시는게 나중에 문제가 없습니다.
괜시리 일반서버가 가격이 더 싸서 추천해줫다가 예상한 성능이 안나올경우에 DGX 아니여서 그렇다는 말이 나올 수 있으니까요.
내용 중 두개의 다이어그램을 참고하시면 좋을 것 같습니다. DGX의 경우, CPU 이전 단에서 GPU 간 SXM, NVLINK를 활용한 데이터 쉐어가 가능해 보입니다.
NVLink 로 연결되어서요..
SXM 버전마다 또 속도도 다릅니다.
1개만 돌리면 큰 차이는 없습니다.
The 8 SXM5 H100s is capable of 900 GB/s of bidirectional bandwidth per GPU via 4x NVLink Switch Chips for a total bidirectional bandwidth of over 7.2TB/s.
https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4
이거땜에 복수의 GPU일떄 상호 참조 속도가 답 안 나옵니다
일반서버에서는 SMX 소켓 달린 서버가 없습니다.
. 모두 PCIe 슬롯 방식이라고 봐야 합니다..
GPU서버 제조사 중 큰 제조사이고 nVDIA 와 파트너 관계가 되어야 nvlink로 연결된 SMX 소켓이 달린 GPU 서버를 생산할 수 있습니다..
아마 nVIDIA DGX 서버가 레퍼런스 이고 가격이 재일 비쌀 겁니다.. 3년 무상보증으로 아는데 보증기간내에 문제가 생기면 AS가 잘 되지만 보증기간이 끝나면 (계약이 끝나면) AS 자체가 끊어진다라고 봐야 합니다.. 부품도 전용인 듯 한데 따로 구할수도 없습니다.. 보증기간 지나서 고장나면 고치는 것이 거의 불가능하다라고 보시면 됩니다..(사설수리는 하겠지만 전문으로 AS하는 곳이 없다라고 봐야 합니다..)
AS 계약이 끝나면 AS가 안되는 것은 맞지만 그 이후에 시스템에 문제가 생기면 할 수 있는게 거의 없다보니 엔드유저에 따라서는 일종의 배신감만 느끼게 됩니다..
2CPU 게시판 중 GPU 게시판과 QnA 게시판에 DGX 서버 검색해보세요..
HPE , DELL 같은 벤더는 SMX 소켓으로 구성된 GPU 서버 모델이 따로 존재하는 것으로 알고 있습니다..