안녕하세요!
혹시나 하는 마음으로 NAS 게시판에도 같은 글을 올려 조언을 구합니다 ㅠㅠ
연구실 딥러닝 서버 + 웍스에 사용할 스토리지를 구상중인데 질문이 있습니다.
서버는 총 4대 정도 되고, 시스템은 쿠버네티스로 노드 구성하여 사용할까 고민중 입니다.
문제는 스토리지 연결을 10G로 해도 괜찮을까 입니다..
도움을 받아서 100G 스위쳐를 연결할 수 있는데, 100G가 가능한 NAS 기능이 있는 스토리지 가격이 너무 높아서 고민중입니다.
나스 기능을 포기하면 예산 안으로 100G를 사용할 수 있지만, NAS 기능이 있다면 도움이 많이 되는 상황입니다.
저희가 NAS 기능으로 다른 곳(서로 10G 이상 연결됨)의 서버에서도 데이터를 불러올 수 있어야 합니다.
보안의 문제로 다른 곳의 서버에는 저희가 원할때 스토리지를 mount하여 데이터를 읽어서 쓰다가 다시 umount하고 싶습니다.
혹시 딥러닝 서버 + 스토리지를 구성하는데 "100G + SSD" 조합이 "10G 여러개 + SSD cache + SAS HDD"(Netapp)보다 많이 차이날까요..
솔루션 요청하는 곳마다 SSD만 추천하는데.. 가격 때문에 난감한 상황입니다.
(NAS 기능을 포기하면 가능한 상황이라 고민중 입니다.)
혹시 딥러닝 서버 + 스토리지 구성하신 분들, 혹은 스토리지에 대해서 잘 아시는 분들이 있다면 조언 부탁드립니다 ㅠㅠ
보통 가장 좋은건 원론적으로 NVME스토리지입니다. 그것도 인피니밴드로 GPU Direct Storage가 되는 파일 시스템으로요
가능한건 DDN, IBM이 벤더로 가능한데 가격이 장난 아닐 겁니다.
GPU가 많으면 어차피 보틀넥이 생기니까, 차라리 서버 각각에 고용량 NVME 디스크를 넣고 계산할때는 거기서 계산하고,
뒷단으로는 10G NAS에 계산 후 데이터를 저장하는 것이 좋을 수 있습니다.
아무리 네트워크 성능이 높아도 디스크 I/O나 쓰룻풋이 안 따라준다면 무용지용입니다.
저희가 사용하는 데이터가 용량이 커서.. 가능하면 고용량으로 가려고 계획중입니다 ㅠㅠ
이 데이터를 저장할 장치로 NAS를 고민중 입니다.
문제는 연산을 위해 데이터를 가져와야 하는데 ㅠㅠ 10G로 가능할까 걱정입니다.
한번에 돌리는 데이터 규모와.
이런게 좀 알고 싶습니다.