최종화입니다.
결론부터 말씀드리자면
포기입니다.
....
rclone이라는 다른 서드파티 앱도 써보았지만
답이없습니다.
아마존이 좀더 적극적으로 해결을하던가
서드파티용 API가 변경되지않는이상
쓸수가없네요
10GB 이상의 파일 뿐만이아니라
폴더 생성도중에 삑사리가 나니
답이없습니다.
아마존클라우드가 무제한용량이라는 매력적인 부분도있지만
동시에 아마존이 걸어둔 제약이 많습니다.
그만큼 무제한용량이라는 광고만하고
실제로는 그렇게 못쓰게 하려고하는 수작인듯합니다.
방금 아마존 클라우드의 무료체험 이후의 자동 결제 껏네요
저는 다시 다른 방법을 찾아야겠습니다.
과연 물리적인 하드로의 백업이 제일 좋은것인지....
클라우드가 제일 좋아보이는데 가격적인 측면에서도 그렇고 아쉽네요 흠
마루타 정신을 높게 삽니다 ^^
경험은 소중하니까요~ 추천!
감사합니다
일주일동안 삽질을했는데 아쉽네요 ㅠㅠ
대용량 및 많은 자료를 백업하기에는 클라우드는 부적합하지 않나 생각해봅니다....
해당 내용들을 아마존에도 문의 하셨나요?..
기술지원 쪽에서도 의지가 있다면, 문제가 되는 부분에 대해 설명해주길 원할텐데..
무료체험과 결제고객을 떠나서, '기술적'인 부분에 해결해야될 부분은 해결하려 할테고
'이미 알려진 문제' 로 분류되어 조치중인 사항일 수도 있습니다.
아직도 해결이 안된걸 보니
딱히 기대는 안되길레
그냥 아마존 클라우드 자체를 포기했습니다. ㅎㅎ
참조 하세요
Amazon S3는 업로드하는 데이터의 크기에 따라 다음과 같은 옵션을 제공합니다.
단일 작업으로 객체 업로드 - 단일 PUT 작업으로 최대 5GB 크기의 객체를 업로드할 수 있습니다.
자세한 내용은 단일 작업으로 객체 업로드 단원을 참조하십시오.
부분으로 나누어 객체 업로드 - 멀티파트 업로드 API를 사용하여 최대 5TB의 대형 객체를 업로드할 수 있습니다.
멀티파트 업로드 API는 대용량 객체의 업로드 경험을 개선하기 위해 디자인되었습니다. 객체를 파트별로 업로드할 수 있습니다. 이러한 객체 파트는 임의의 순서로 독립적으로, 그리고 병렬적으로 업로드할 수 있습니다. 크기가 5MB에서 5TB까지인 객체에 대해 멀티파트 업로드를 사용할 수 있습니다. 자세한 내용은 멀티파트 업로드 API를 사용한 객체 업로드 단원을 참조하십시오.
http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/UploadingObjects.html
S3 의 mount 의 경우 s3fs-fuse 를 참조 바랍니다
/etc/passwd-s3fs 등으로 접속 파일이 필요하며,
s3fs ithanks -o use_cache=/tmp -o allow_other /mnt/ithanks ( 이런 형태로 마운트합니다; 물론 이전에 마운트 폴더가 필요합니다)
아마존 s3에 명확하게 나와있습니다. 최대 단일파일크기 얼마라고. 2012년에 2gb였던걸로 기억합니다.
s3구조상 최대파일크기 설정은 필수고 지금 10gb로 되어있나봅니다. 절대로 아마존 버그 아닙니다. 기능 이고 한계입니다
많은 상용 백업 프로그램들 중에 파일을 알아서 나누어 저장해 주는 툴들이 있습니다.
무료프로그램중 에서 상용으로 업그래이드하면 추가로 제공하는 기능 목록에 숨어있습니다.
아마존 클라우드가 S3는 아니잖아요
제공하는 API자체가 다르다고 알고있는데...
https://github.com/yadayada/acd_cli/issues/32
https://github.com/yadayada/acd_cli/issues/8
파일을 split해서 업로드한다는 아이디어가 있기는 했습니다.
이거를 API단에서 지원해주지가 않는다는게 문제죠
하지만 대부분의 아마존에 백업하는 서비스/프로그램들은 S3를 사용합니다.
그리고 S3에 파일을 split해서 up/download하는 API는 이미 제공합니다.
AWS CTO의 S3 를 예를 들어 계속적인 시스템 발전이 중요하다는 이야기가 생각납니다
저도 10gb 인지 확인은 못해봤으나, 현재 멀티파트업로드를 통해 5TB 의 대형객체라고 표현한 것을 보면
당연히 된다고 생각을 하고 있지만 게으른 관계로 문서만 표기했습니다
문제는 10GB 이상의 파일을 다운로드할때는 70퍼센트 이상의 확률로 실패합니다.
그리고 수동으로 재시도를 해줘야되요...
그리고 수백개의 폴더 작성을 시켰더니
도중에 몇개 누락도 되고...
이래저래 불안정하더군요 하하...
https://github.com/yadayada/acd_cli
저는 그저 오픈소스인 요 툴을 썻을뿐입니다.
http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/uploadobjusingmpu.html 여기 SDK를 사용하여 가능하다고 나와있습니다
php 의 경우 http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/UsingMPphpAPI.html 의 하위수준 SDK - API 를 사용하여 가능하다고 보입니다
영상 자료 등 하시는 분들께는 중요한 작업이 되겠네요
저도 주말에 테스트 프로그램을 제작해 보도록 하겠습니다
좋은 결과가 있길 바랍니다
일단 EBS 에서는 정상적으로 파일이 생성되었습니다
S3 에서는 생각외로 파일에서는 끊어졌는데 중간에 Kill 을 아마존 서비스를 통해 자동 실행되었는데 아마 제가 무료 서버를 사용하고 있기 때문이라고도 보입니다
메모리 1G 아마존 Free Tier 로 테스트 되었습니다
업로드, 다운로드 부분은 여러가지 방법으로 테스트를 해 보도록 하겠습니다
물론 S3 에서 에러가 난 이유도 찾아보도록 해 보겠습니다
테스트 결과는 http://blog.naver.com/amazonwebservices/220672167459 에 메모했습니다
다음 번에는 파일 업로드, 다운로드를 진행해 보겠습니다
아래 내용을 기술해 놓았습니다
http://blog.naver.com/amazonwebservices/220672944379
API 쓰세요... s3fs로 마운트 해서 쓰시는건 비추 합니다...
웹서버쪽 파일서버로 사용하실때도 약간은 주의가 필요하다고 생각합니다