안녕Ȣ16;세요.
리눅스 환ᅆ1; 파1068; 삭1228; 속도에 관해 Ƽ17;금한 ,163;1060; 1080;습니다.
리눅스 계열 서버에 1061;숙Ȣ16;1648; 않1008; 사용1088;1064;데, 1221;확7176;lj16; 사용1473;1064; 환ᅆ1;1060; CentOS1077;니다.
데1060;터 파1068;1060; text file (1221;확7176;lj16; JSON) 같1008;,172; 한 10Ǻ13;개 1221;도 1080;습니다.
대량1004;/196; 파1068; 삭1228;를 Ȣ16;고 dz10;1008;데, 파1068; 삭1228; 버튼1012; 누르면,
"파1068; 삭1228;를 위한 1456;비1473;" 1060;라lj16; /196;딩 시간만 엄청 ,152;리네요.
(소량1060;더라도 윈도우 계열에 비해서 삭1228; 시간1060; 엄청 ,152;리lj16; ,163; 같1008;데) 빨리 삭1228;할 수 1080;lj16; 0169;법1060; 없나요?
그래도 -v 옵션넣고돌리는게..
방법에 따라 천차 만별로 차이나네요
GUI를 사용하셨으면 UI 창에 다 넣어야 하고, sorting도하고 뭐 그러기 때문에 준비하는데 오래걸리는 겁니다.
삭제를 하는데 전체 파일을 삭제하는지, 일부 이름만 reg expr를 사용하는지에따라서도 달라집니다.
가장 추천하는 방법은 find를 사용해서 삭제하는 겁니다
또 주기적으로 삭제해야 하는 상황인 거 같은데
어느 정도 기간동안 10억개 파일이 생기나요
또 전체 파일 용량은 어느 정도 되나요
이 정도 양이면 디스크 세트를 3개 혹은 5개 만들어서
돌아가면서 사용해야 할 거 같기도 합니다
그러니까 10억개가 있는 디스크를 시스템에서 제거하구
파일이 모두 삭제된 디스크를 시스템에 적용하고
사용하면서 제거된 디스크에 파일을 삭제하는 것이죠
세트 1 : 현재 20% 삭제중
세트 2 : 40% 삭제중
세트 3: 60% 삭제중
세트 4: 80% 삭제중
세트 5: 100% 삭제 -> 시스템에 적용 가능
대용량 데이터 관리는 항상 관심사입니다
저는 화학정보학 분야 기계학습 이런 것들 해보고 있는데, 매번 새로운 데이터가 주기적으로 생성되고 삭제해야하는 모니터링 분야 같은? 것은 아니고,
분자 하나 당 - 분자 좌표 - 분자 시뮬레이션 물성 등이 라벨링 된 파일들인데, 분자 종류가 많다보니 JSON 파일 갯수가 상당히 많습니다.
더 대용량 파일들을 다루게 되는 일들이 생기면 말씀해주신 것도 참고하겠습니다. 항상 감사합니다!
개수가 너무많으면 rm *로도 안되니 find를 써서 삭제해야 겠지만 그렇다고 삭제가 더 빨라지는 건 아닙니다. 결국 파일 단위로 삭제하니까 파일 개수만큼 오래 걸리겠지요.
FreeBSD님 의견처럼 디렉토리에 넣거나 상위 디렉토리에서 rm -rf로 통째로 삭제하는게 어떨까 합니다.