웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4707 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3035/5750

번호	제목Page 3035/5750	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5371260	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5371260 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1885251	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1885251 1 백메가
54304	CUDA 관련 소스 공유 좀 부탁합니다.	한경도	2009-03	5726	0
CUDA 관련 소스 공유 좀 부탁합니다. 2009-03 5726 1 한경도
54303	아답텍 2410SA SATA-RAID 부팅시 간혹 바이오스 가 인스톨이 안됩니다. (1)	변기철	2005-09	5726	18
아답텍 2410SA SATA-RAID 부팅시 간혹 바… (1) 2005-09 5726 1 변기철
54302	유선공유기 추천부탁드립니다 (12)	weirdymusic	2021-07	5726	0
유선공유기 추천부탁드립니다 (12) 2021-07 5726 1 weirdymusic
54301	부팅시 Error (1)	황병식	2006-01	5726	40
부팅시 Error (1) 2006-01 5726 1 황병식
54300	내장그래픽의 해상도한계... (5)	최창현	2006-01	5726	2
내장그래픽의 해상도한계... (5) 2006-01 5726 1 최창현
54299	슈마 케이스에 조립을 했는데...전원이 들어가질 않습니다... (15)	대한민국	2014-11	5726	0
슈마 케이스에 조립을 했는데...전원이 들… (15) 2014-11 5726 1 대한민국
54298	[질문] 모바일 쥐포 9600GT 와 130GT의 제조공정차이?	일반유저	2009-04	5726	0
[질문] 모바일 쥐포 9600GT 와 130GT의 제… 2009-04 5726 1 일반유저
54297	공유기 관련... 이지빌 쓰시는 분 계신가요? (3)	김상우AP	2007-01	5726	23
공유기 관련... 이지빌 쓰시는 분 계신가… (3) 2007-01 5726 1 김상우AP
54296	스카시 외장스토리지 케이스 질문 (1)	황인국	2007-02	5726	60
스카시 외장스토리지 케이스 질문 (1) 2007-02 5726 1 황인국
54295	raid 구성 문의 드립니다. (12)	케인	2016-06	5726	1
raid 구성 문의 드립니다. (12) 2016-06 5726 1 케인
54294	아마퀘스트 7300 같은 케이스는 왜 단종되었을까요? (7)	강지훈	2006-04	5726	5
아마퀘스트 7300 같은 케이스는 왜 단종되… (7) 2006-04 5726 1 강지훈
54293	애플컴퓨터로 캐드프로그램을? (7)	NiteFlite9	2022-03	5726	0
애플컴퓨터로 캐드프로그램을? (7) 2022-03 5726 1 NiteFlite9
54292	컴퓨터 성능이 더 좋으면 발열이 덜 하나요? (5)	냐아아아암	2018-06	5726	0
컴퓨터 성능이 더 좋으면 발열이 덜 하나… (5) 2018-06 5726 1 냐아아아암
54291	미디어서버를 위한 네트워크 구성 질문 드립니다. (3)	나몰라1	2018-05	5726	0
미디어서버를 위한 네트워크 구성 질문 드… (3) 2018-05 5726 1 나몰라1
54290	SCSI 하드에 대해서 문의 드립니다. (5)	홍현철	2006-01	5726	35
SCSI 하드에 대해서 문의 드립니다. (5) 2006-01 5726 1 홍현철
54289	서버컴 조립완료입니다. 가상화를 뭘 기반으로 해야될까요. (8)	메이	2017-02	5726	0
서버컴 조립완료입니다. 가상화를 뭘 기반… (8) 2017-02 5726 1 메이
54288	스카시 케이블 관련 질문입니다. (2)	민정기	2005-11	5726	4
스카시 케이블 관련 질문입니다. (2) 2005-11 5726 1 민정기
54287	전문가.. 엔지니어.. 가 되기위해서 서른살은 늦은 나이일까요? (25)	Dreamer	2014-05	5726	0
전문가.. 엔지니어.. 가 되기위해서 서른… (25) 2014-05 5726 1 Dreamer
54286	3ware 9650se-24m8 아마존 구입 문의 등... (4)	연승호	2007-11	5726	14
3ware 9650se-24m8 아마존 구입 문의 등... (4) 2007-11 5726 1 연승호
54285	[re] 듀얼 내장 랜의 사용을.., (1)	경인식	2006-05	5726	8
[re] 듀얼 내장 랜의 사용을.., (1) 2006-05 5726 1 경인식