박문형 06-25

PCIe에서 버젼 (Gen)이 한단계 올라갈수록 같은 레인(배속)에서 대역폭(성능)은 2배씩 올라갑니다..

일반적으로 그래픽카드로 사용할 때는 Gen이 한단계정도 바뀌어도 성능차이가 미미하다고 유튜브나 인터넷에 리뷰가 되지만 딥러닝 계산때는 부하를 얼마나 주느냐에 따라 (계산방법의 차이에 따라) 차이가 나는 듯 합니다..

PC보드쪽에서는 일반적으로 16X 슬롯은 GPU용 1개인 경우가 대부분이고 8X + 8X 인보드도 찾기 힘들며
최신인 PCIe 5.0 보드에서는 GPU용 8X + NVME 4X 로 나오는 추세입니다..

흑기사 06-25

데스크탑 16x 슬롯의 8x + 8x 지원 여부는 칩셋에 따라 다른데 최고급 칩셋 보드들은 16x를 8x + 8x로 분할사용하는게 다 됩니다.
근데 가격이 바로 아랫단계 칩셋 단 보드보다 2배 이상 비싸서 아무나 못산다는.
amd를 예시로 들자면 최고급인 x870e는 8x + 8x 조합이 되지만 그 아랫급인 x870, b850...은 모두 16x 단일슬롯만 됩니다.

미스티 06-25

제가 알기로는 모델을 올리거나 학습하는 경우에는 대역폭 영향이 있지만 이미 VRAM에 로드된 모델의 성능에는 큰 영향을 주지않는 걸로 알고 있습니다.

제온프로 06-25

pci 3.0  x 16 = 16GB/sec
pci 4.0  x 16 = 32GB/sec
pci 5.0  x 16 = 64GB/sec

좀 느리면 어떱니까.. 천천히 하면 되죠..
이것은 하드웨어적인 스팩비교이고.

진짜 체감 성능 차이는 이 보다는 작죠.

dateno1 06-25

3.0은 커녕 4.0으로도 병목 생기는게 50시리즈입니다

다만 비됴램 넘지 않는다면 단일 GPU일때 문제는 안 될껍니다 (만일 둘중 하나라도 해당되면 5.0 가세요)

piloteer 06-25

결국 호스트PC와 얼마나 통신이 많이 발생하느냐의 문제입니다. 

보통 단순 인퍼런스는  1GPU 상황에서는 그렇게 통신량이 많지는 않긴 할 것입니다. 다른상황이라면 실측값같은 게 필요할 수 있겠고요.

Parabellum 06-25

일반적으로 VRAM에 다 들어가는 LLM 돌릴 때에는 대역폭을 타지 않는것으로 봅니다

shuni 06-25

Multi gpu사용한 학습용이라면.. 미미하게 차이가 날수는 있겠습니다만, 큰 차이는 없을겁니다.
Sampling만 수행하는 인퍼런스 과정이고 5090메모리 내에서만 해결한다면 pcie대역폭은 전혀 영향이 없습니다
Offloading을 수행해서 cpu 메모리를 사용한다면 영향이 있을수는 있겠습니다만, 13b정도의 작은 모델이라면 오프로딩을 생각하지는 않으실듯하니..

Sampling에서도 model parallel을 사용한 multigpu를 사용한다면 차이가 발생할수는 있습니다 5090은 nvlink가 없으니 gpu-gpu memcpy가 pcie통해서 발생해야하니깐요..


정리하면 cpu-gpu memcpy가 얼마나 자주 일어날지, multi gpu라면 gpu-gpu memcpy가 얼마나 자주 일어날지에 따라서 달라질거 같고, 질문주신 내용의 일반적인 사용예에서는 차이가 느껴지지 않을것 같다라는 의견입니다

shuni 06-25

간단하게는 Model parallel / offloading사용하지 않는다면 신경 안쓰셔도 됩니다.

 Pcie대역폭으로 사용감이 크게 달라질 환경, 예를들어 multi gpu multi node 학습에서는 nvlink지원하는 테슬라 카드가 필수입니다