뭔가 간단한거 하나 만들어보고 있는데
이미지 서버가 필요해서 이미지 서버를 구성 하는데 ..
예전에 어디서 줏어듣기로는.. 한 폴더에 파일이 많이 생성되면..
속도가 느려진다고 해서 .. 기존에 만들었던건 년도 날짜별로 폴더를 만들어서 저장했는데
오늘 검색해보니까 .. 1폴더에 42억개 까지도 가능하다고 나오네요 EXT4
이론적인건지 .. 아니면 시스템들이 좋아지거나 파일 시스템이 업그레이드 되면서 ..
그냥 신경 안쓰고 . 때려 박아도 될런지 .. 궁금합니다..
아니면 이전처럼 날짜별로 폴더를 만들어서 관리 하는게 좋을까요.
2^32 = 4,294,967,296
인가봅니다.
8
16
32
64
128
1024
65,536
.
.
이십일억사천칠백~
사십이억구천사백~
이런 숫자 외웠던 기억이....
최대 디스크 용량 : 256TB
파일 1개 최대 용량 : 16TB
디스크 최대 파일 개수 : 42억 개 (4,294,967,295)
한 폴더에 최대 파일(폴더) 개수 : 42억 개 (4,294,967,295)
이렇게 뜨는데 ls 가 안되나요? ㅜㅜ
그냥 날짜별로 폴더 만들어서 해야 겠네요..
한 디렉토리당 권장하는 파일 갯수는 대략 4천 ~ 5천개 정도입니다.
디스크냐 SSD냐에 따라 속도차이는 있지만, 그 이후 부터는 접근속도가 현저하게 느려지기 시작합니다.
검증해 보려면 디렉토리 몇개 만들어 놓고 썸네일 파일들을 디렉토리 하나당 천개 단위로 복사해 가면서 테스트 해보세요.
제가 보는 사이트가 있는데 모든 이미지 파일이 주소가 한군데입니다..
www.test.com/image/블라블라.webp 이런식...
제가 구성하면
www.test.com/image/날짜hash/블라블라.webp
이런식으로 날짜 폴더도 생성해주고 복사해주고 등등 해야 해서
그냥 image 폴더에 하나로 몰아서 넣어서 사용할까 생각해봤습니다..
저 업체의 이미지는.. 대략.. 44만개의 게시물에 .. 한개시물당.. 이미지가 .. 7~8개씩 존재합니다..
리스트 줌 엑스트라줌 썸네일 해서 .. 7~8개의 이미지가 .. 4개씩 쪼개져있구요 ..
그럼 440000 * 28 = 12,320,000 최소 천이백 만개의 파일이거든요 ..
어떻게 구성한걸까요 ..
웹페이지의 주소와 디스크의 파일위치가 항상 똑같은 이름으로 일치하리라는 가정은 "편견"일 뿐이죠.
웹페이지를 뜻하는 "하이퍼 링크"가 원래부터 다른걸 가리키는 용도 아니었던가요?
파일이 디스크상에 어디에 있든 웹페이지에서는 얼마든지 다른 이름으로 표현 가능합니다.
쟁여놓은거 아닌가 싶어서 .. 여쭤봤습니다.
이론은 당연히 이런데,
하드웨어랑 파일시스템에 따라서 다르겠지만, 체감상 느려지는것은 팩트입니다.
초기설계에서 최소한 날짜별로 떨궈주면 좋은데 통으로 떨구니까 일부 시스템 잠깐 장애 발생해서(파일이 디스크 대 디스크로 들어옴) 조치과정에 일부 폴더채로 rm때렸는데 3일 걸렸습니다ㅠ
파일이 많으니까 해당 디렉토리에서 rm명령어가 안먹더라구요
이걸 해소하려면 차세대 메모리인 M램이나 P램 같은게 나와서 디스크를 퇴출시켜야만 가능할겁니다.
330,000 ~360,000개 까지는 성능 저하 없습니다. ls 등이 오래걸리는 이유는 그냥 많기 때문입니다.
380,000 정도가 넘어가면서 성능이 약간 떨어지는걸 느낄겁니다.
이유는 EXT4가 DIR Table에 대한 indexing을 다시하기 때문입니다.
이게 300만개 언저리에서 한번 더 발생합니다.
1800만개에서는 눈에띠게 성능이 떨어집니다. 1800만개부터는 완전히 가른 data structure로 inode table과 indexing table을 사용합니다.
EXT4의 SPEC이 REDHAT에 있는 EXT4의 SPEC과 가르고 UBUNTU에 있는 SPEC과 다릅니다.
EXT4를 build, format 하거나 mount option에 따라서 그 성격이 많이 달라집니다.