안녕하세요.
현재 스토리지 RDMA 프로토콜 기반 pNFS 환경을 구성 중이며, MDS를 마이그레이트 할 경우 서비스 중단이 발생하는 문제를 겪고 있습니다.테스트 환경은 아래와 같습니다.
스토리지
- AFX
- PowerStore
- Alletra
- Cisco Nexus 9332D-GX2B
- dl380 gen12(connect x-7) GDS
- NVIDIA DGX B200 (NVIDIA Cumulus OS 5.10)
스위치 단에서는 별다른 문제를 확인하지 못했지만.. 현재 의심되는 부분은 ARP 세션 갱신 과정에서의 문제로 유추되는데
MDS만 유독 그러네요. MDS노드가 안죽는다는 보장도 없으니..
1. MDS의 논리적 네트워크 마이그레이션시 중단 (Revert시 돌아오지 않음)
2. DS 쪽을 마이그레이션시 문제가 없음
위 문제를 해결하기 위해서 스토리지, 스위치, GPU서버 등 여러 각도로 확인하고 있지만 해결이 안되고 있어 조언을 부탁드립니다.
감사합니다.
컴맹주니
간단하게 의견 드리면
1. RDMA는 ARP를 사용하지 않습니다. 좀 더 정확하게는 RDMA에는 ARP가 없습니다. 그렇기 때문에 문제는 전혀 다른쪽에 있습니다.
2. "MDS의 논리적 네트워크 마이그레이션시"이 정확히는 무슨 뜻인지는 모르겠지만
MDS의 HA 이관후 Back 했을때 기존 MDS에서 서비스가 정상적으로 이루어지지 않는 문제로 생각이 듭니다.
이거 당연한 건데요
MDS-A => MDS-S로 정상적으로 작동을 하면 2개 MDS에서 관리하는 META 정보가 일치할 겁니다.
이때 MDS-A를 내리던지 아니면 강제로 MDS-S를 Active로 설정하면
pNFS MDS는 기존 MDS-A의 META DATA가 새로운 ACTIVE와 out-of-sync가 발생했다고 가정을 합니다.
그렇기 때문에 MDS-A를 다시 올려봐야 pNFS 시스템에서는 MDS 서버의 SYNCERR이 발생할 가능성이 높습니다.
MDS 서버의transition이 발생한 이후에는 서버간의 동기화가 되었으니 서비스를 진행하라는 설정을 해주어야 합니다.
물론 벤더/Linux OS의 pNFS 구성이 다르기 때문에 MDS 서버들 간의 METADATA 동기화 방법을 다를 수 있습니다.
우선
RDMA를 빼고 pNFS를 테스트 하시는 걸 추천드립니다
1. 인피니밴드가 아닌 roce v2라 ARP과 연관이 있지 않나요 ? pNFS 동작 자체가 RDMA transport위에서 동작하니까 연관없다고 하기에도 그렇구요.
실제로 Client에서 세션 관련해서 script로 강제 갱신하면 I/O가 들어옵니다. 근데 이런 방법으로 도입할 순 없어서요.
2. 이관 후 Back 할때 서비스가 이루어지지 않는건 아니고, 이관 할때 바로 I/O가 Pending됩니다.(DS는 이중화 가능)
RDMA가 아닌 TCP에선 pNFS도 정상적으로 처리되지만 최소 800G이상에 네트웍을 써야 하기에 RDMA를 쓸수밖에 없는 상황입니다 ㅠ
지금은 일단 전문 업체를 퍼콜 요청한 상태라, 한번 서버쪽 구성을 한번 검토해보려고하고 있네요.