안녕하세요.
2CPU 눈팅족 중 1인 입니다.
예전 회사에서 HPC 환경에서 Lustre File System을 사용 했었습니다.
그당시엔 단순히, 분산형 파일시스템으로 일반 FS 보다 빠르다 라는 장점으로 그렇게 사용한 것으로만 단순히 알고 있었는데요.
Ext4 대비 Lustre가 어떤 점에서 어떤 구조기 때문에 그런 장점이 있는 건가요?
단순히 질문드리자면. 왜(Ext4로는 커버 못하는 어떤 이슈?) 그렇게 까지 구성해서 사용해야 하나요?
.
그렇기 때문에 여러 PC/Server에서 동시에 동일한 Name space에 접근이 가능하지요
또한 여러대의 OSS/OST에서 DATA IO가 가능하기 때문에 여러 PC/Server에서 IO를 하더라도 IO 병목이 줄어들 수 있습니다.
성능의 차이는 Client CACHE입니다. Lustre는 Memory Cache을 어마어마하게 크게 합니다. Default로 Client Main Memory의 50%를 Lustre File System용 Data Cache로 사용합니다.
예전에는 Lustre가 LDISK로 EXT4+Patch를 사용했지만 요즘은 ZFS로 바꾸고 있습니다. 장단점이 있죠.
가장큰 단점은 Redundancy가 없다는 겁니다. 파일을 여러대의 서버에 분산해서 저장을 했는데 서버중에 1대에 장애가 발생하면 모든 파일에 손실을 가져올 수 있습니다. HDFS/CEPH/GLUSTRE/INFINISTOR에서 제공하는 Replication을 지원하지 않습니다. 이유는 간단하죠. 성능에 지장이 가지 때문입니다.
필요한 용도에 따라서 사용하시면 됩니다.