엔비디아 DGX 서버 VS 일반 서버 GPU 장착 성능 차이

구매 more

검색 목록

쓰기

엔비디아 DGX 서버 VS 일반 서버 GPU 장착 성능 차이

한중일

05-20

2024-05-20 10:30:49

조회 352 추천 0

안녕하세요

일반적으로 HP ,DELL , LENOVO 등의 서버에 GPU를 장착 하여 사용을 많이 하고 있습니다.

현재 저희 고객이 엔비디아 DGX 서버에 필이 꽂혀서, 일반 서버에 GPU 장착한 모델은 별로 관심이 없습니다.

DGX 서버와 일반적인 벤더서버에 GPU 장착한거랑 월등한 차이가 나는지요? 아니면 별로 차이가 없는지요?

위의 내용 관련하여 문서 또는 웹사이트가 있는지 알려 주세요

감사합니다.

짧은글 일수록 신중하게.



김루노 05-20 개인적으로 말씀드리자면 고객이 비용 부담이 가능하다면 고객이 요청하신대로 해주시는게 나중에 문제가 없습니다. 괜시리 일반서버가 가격이 더 싸서 추천해줫다가 예상한 성능이 안나올경우에 DGX 아니여서 그렇다는 말이 나올 수 있으니까요. 개인적으로 말씀드리자면 고객이 비용 부담이 가능하다면 고객이 요청하신대로 해주시는게 나중에 문제가 없습니다. 괜시리 일반서버가 가격이 더 싸서 추천해줫다가 예상한 성능이 안나올경우에 DGX 아니여서 그렇다는 말이 나올 수 있으니까요.



딸긔꼬마 05-20 일반 GPU에서 지원하지 않는 특정기능이 DGX에서 다수 제공합니다. 일반 GPU에서 지원하지 않는 특정기능이 DGX에서 다수 제공합니다.



이창준 05-20 https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4 내용 중 두개의 다이어그램을 참고하시면 좋을 것 같습니다. DGX의 경우, CPU 이전 단에서 GPU 간 SXM, NVLINK를 활용한 데이터 쉐어가 가능해 보입니다. https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4 내용 중 두개의 다이어그램을 참고하시면 좋을 것 같습니다. DGX의 경우, CPU 이전 단에서 GPU 간 SXM, NVLINK를 활용한 데이터 쉐어가 가능해 보입니다.



제온프로 05-20 2배 까지는 아니어도 퍼포먼스 차이가 많이 납니다. NVLink 로 연결되어서요.. SXM 버전마다 또 속도도 다릅니다. 1개만 돌리면 큰 차이는 없습니다. The 8 SXM5 H100s is capable of 900 GB/s of bidirectional bandwidth per GPU via 4x NVLink Switch Chips for a total bidirectional bandwidth of over 7.2TB/s. https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4 2배 까지는 아니어도 퍼포먼스 차이가 많이 납니다. NVLink 로 연결되어서요.. SXM 버전마다 또 속도도 다릅니다. 1개만 돌리면 큰 차이는 없습니다. The 8 SXM5 H100s is capable of 900 GB/s of bidirectional bandwidth per GPU via 4x NVLink Switch Chips for a total bidirectional bandwidth of over 7.2TB/s. https://www.exxactcorp.com/blog/deep-learning/sxm-vs-pcie-gpus-best-for-training-llms-like-gpt-4



민호양 05-20 NVLink (NVSwitch)를 검색해보셔야하고, GPUDirect Storage라는 기술도 검색해보셔야합니다. 아주 큰 차이가 납니다. NVLink (NVSwitch)를 검색해보셔야하고, GPUDirect Storage라는 기술도 검색해보셔야합니다. 아주 큰 차이가 납니다.



dateno1 05-20 인터페이스 측면에서 하늘과 땅 차이의 속도차가 있습니다 이거땜에 복수의 GPU일떄 상호 참조 속도가 답 안 나옵니다 인터페이스 측면에서 하늘과 땅 차이의 속도차가 있습니다 이거땜에 복수의 GPU일떄 상호 참조 속도가 답 안 나옵니다



박문형 05-20 같은 GPU (PCIe 제외) 라면 성능차는 없어 보입니다.. 일반서버에서는 SMX 소켓 달린 서버가 없습니다. . 모두 PCIe 슬롯 방식이라고 봐야 합니다.. GPU서버 제조사 중 큰 제조사이고 nVDIA 와 파트너 관계가 되어야 nvlink로 연결된 SMX 소켓이 달린 GPU 서버를 생산할 수 있습니다.. 아마 nVIDIA DGX 서버가 레퍼런스 이고 가격이 재일 비쌀 겁니다.. 3년 무상보증으로 아는데 보증기간내에 문제가 생기면 AS가 잘 되지만 보증기간이 끝나면 (계약이 끝나면) AS 자체가 끊어진다라고 봐야 합니다.. 부품도 전용인 듯 한데 따로 구할수도 없습니다.. 보증기간 지나서 고장나면 고치는 것이 거의 불가능하다라고 보시면 됩니다..(사설수리는 하겠지만 전문으로 AS하는 곳이 없다라고 봐야 합니다..) AS 계약이 끝나면 AS가 안되는 것은 맞지만 그 이후에 시스템에 문제가 생기면 할 수 있는게 거의 없다보니 엔드유저에 따라서는 일종의 배신감만 느끼게 됩니다.. 2CPU 게시판 중 GPU 게시판과 QnA 게시판에 DGX 서버 검색해보세요.. 같은 GPU (PCIe 제외) 라면 성능차는 없어 보입니다.. 일반서버에서는 SMX 소켓 달린 서버가 없습니다. . 모두 PCIe 슬롯 방식이라고 봐야 합니다.. GPU서버 제조사 중 큰 제조사이고 nVDIA 와 파트너 관계가 되어야 nvlink로 연결된 SMX 소켓이 달린 GPU 서버를 생산할 수 있습니다.. 아마 nVIDIA DGX 서버가 레퍼런스 이고 가격이 재일 비쌀 겁니다.. 3년 무상보증으로 아는데 보증기간내에 문제가 생기면 AS가 잘 되지만 보증기간이 끝나면 (계약이 끝나면) AS 자체가 끊어진다라고 봐야 합니다.. 부품도 전용인 듯 한데 따로 구할수도 없습니다.. 보증기간 지나서 고장나면 고치는 것이 거의 불가능하다라고 보시면 됩니다..(사설수리는 하겠지만 전문으로 AS하는 곳이 없다라고 봐야 합니다..) AS 계약이 끝나면 AS가 안되는 것은 맞지만 그 이후에 시스템에 문제가 생기면 할 수 있는게 거의 없다보니 엔드유저에 따라서는 일종의 배신감만 느끼게 됩니다.. 2CPU 게시판 중 GPU 게시판과 QnA 게시판에 DGX 서버 검색해보세요..



박문형 05-20 일반벤더서버+ GPU 의 정의가 어떻게 되나요?? HPE , DELL 같은 벤더는 SMX 소켓으로 구성된 GPU 서버 모델이 따로 존재하는 것으로 알고 있습니다.. 일반벤더서버+ GPU 의 정의가 어떻게 되나요?? HPE , DELL 같은 벤더는 SMX 소켓으로 구성된 GPU 서버 모델이 따로 존재하는 것으로 알고 있습니다..

로그인 하시면 댓글을 남길 수 있습니다

검색 목록

쓰기

QnA

쓰기

1/0

번호	제목Page 1/0	글쓴이	날짜	조회	추천
게시물이 없습니다.

이후검색

이후검색