ConnectX-4 100G 이더넷 + 40G 스위치 조합으로 테스트 중입니다.
고성능 디스크가 없어서 16TB 2장을 RAID 0 으로 묶고 성능 및 cpu 로드를 확인했습니다.
(Target) Kogasa-EL9 : RockyLinux 9.5, E-2278G ES, DDR4 32GB
(Initiator) Kagerou-EL9 : RockyLinux 9.5, E-2288G ES, DDR4 96GB
디스크 2개 R0 성능은 550MB/s 로 준수합니다.
이니시에이터/타깃 모두 적은 CPU 부하 및 일반 네트워크 성능 카운터로 트래픽이 검출되지 않는 것이 보입니다.
스위치에서는 트래픽 카운터가 올라가는 것을 볼 수 있습니다.
스위치만 100G + RDMA 지원 장비로 올린다면 집에서도 즐기는 RDMA가 가능합니다!
문제는 hypervisor에서 지원이 되어야 하는 제약 때문에 애매합니다 ... ㅜㅜ
자유를 누려라~~~~~~~
굳이 Infiniband 필요없습니다
스위치 아식은 RDMA 지원하는데 OS가 지원 안하는 경우가 있어서요.... SONiC 뭐 이런거...
빠르게 억세스하는 극도의 Latency 아니겠습니까.
Infiniband EDR (Switch)에서의 Latency는 90ns 근쳐였는데요.
RoCE도 잘 나오나요.
인피티밴드의 목적은
모든 중간 과정의 Skip 과 빠른 직접 억세스인데.
견줄만 한가요 ?
📊 Infiniband vs RoCE (with ConnectX-5) === Latency 비교
항목 Infiniband (IB) RoCE v2 (RDMA over Ethernet)
전송 방식 전용 프로토콜 (IB) Ethernet 기반 IP 전송
Latency ~0.6 ~ 1.0 μs ~1.2 ~ 2.5 μs