웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4146 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2878/5592

번호	제목Page 2878/5592	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1042043	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1042043 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (716)	정은준1	2014-05	4489475	0
[필독] 처음 오시는 분을 위한 안내 (716) 2014-05 4489475 1 정은준1
54296	외산 대기업 서버에 별도로 SSD 구매 해서 넣어 사용들 하시는지요? (6)	oracleuser	2014-11	3818	0
외산 대기업 서버에 별도로 SSD 구매 해서… (6) 2014-11 3818 1 oracleuser
54295	x5650 제온 듀얼cpu용 보드좀 추천받고싶습니다. (10)	지존컴퓨터	2014-11	6229	0
x5650 제온 듀얼cpu용 보드좀 추천받고싶… (10) 2014-11 6229 1 지존컴퓨터
54294	HP ILO 라이센스 (2)	나파이강승훈	2014-11	3351	0
HP ILO 라이센스 (2) 2014-11 3351 1 나파이강승훈
54293	[전동드릴] 구입관련 문의드립니다. 제품 추천도 부탁드려요. (3)	김영기대전	2014-11	3889	0
[전동드릴] 구입관련 문의드립니다. 제품 … (3) 2014-11 3889 1 김영기대전
54292	HP Z800 설치 CD (3)	dlcjfgjs	2014-11	5534	0
HP Z800 설치 CD (3) 2014-11 5534 1 dlcjfgjs
54291	HP 서비스 있으신분.... (4)	나파이강승훈	2014-11	3603	0
HP 서비스 있으신분.... (4) 2014-11 3603 1 나파이강승훈
54290	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4147	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4147 1 삐돌이슬픔이
54289	부가세 관련 어리석은 질문 (6)	한성호	2014-11	3130	0
부가세 관련 어리석은 질문 (6) 2014-11 3130 1 한성호
54288	정확히는 모르겠지만..핸드폰 os업그레이드(킷캣)한 후 무선 끊어짐이 보이는데요 (2)	김건우	2014-11	3477	0
정확히는 모르겠지만..핸드폰 os업그레이… (2) 2014-11 3477 1 김건우
54287	바이오스 업데이트방법... (5)	Won낙연	2014-11	3452	0
바이오스 업데이트방법... (5) 2014-11 3452 1 Won낙연
54286	인텔 기본 쿨러를 대체하면서도 높이가 높지 않은 저소음 쿨러가 있을까요? (2)	VSPress	2014-11	5936	0
인텔 기본 쿨러를 대체하면서도 높이가 높… (2) 2014-11 5936 1 VSPress
54285	유선공유기도 암호설정 해야하나요? (12)	장동건2014	2014-11	5812	0
유선공유기도 암호설정 해야하나요? (12) 2014-11 5812 1 장동건2014
54284	서버 CPU 추천 부탁드려요 (5)	Rudra	2014-11	4940	0
서버 CPU 추천 부탁드려요 (5) 2014-11 4940 1 Rudra
54283	이베이에서 케이스 오픈을 했는데... (6)	오성기	2014-11	3594	0
이베이에서 케이스 오픈을 했는데... (6) 2014-11 3594 1 오성기
54282	코딩관련하여.... 작업 하나 하고 있는데 벽에 막혀서요.... 도움을.... (11)	백남억	2014-11	3950	0
코딩관련하여.... 작업 하나 하고 있는데 … (11) 2014-11 3950 1 백남억
54281	랜선 인입 공사 질문드립니다. (3)	태성기김	2014-11	6117	0
랜선 인입 공사 질문드립니다. (3) 2014-11 6117 1 태성기김
54280	오픈스택 질문좀 드릴꼐요 (2)	사라미아니…	2014-11	3269	0
오픈스택 질문좀 드릴꼐요 (2) 2014-11 3269 1 사라미아니…
54279	얼마전에 타버린 보드에 칩 다른걸 꼽아도 될까요? (6)	박종용	2014-11	4873	0
얼마전에 타버린 보드에 칩 다른걸 꼽아도… (6) 2014-11 4873 1 박종용
54278	급 질문 입니다 메가 레이드 배터리 문제 입니다. (5)	ADUS	2014-11	8268	0
급 질문 입니다 메가 레이드 배터리 문제 … (5) 2014-11 8268 1 ADUS
54277	서버 Hyper-v / Remote FX 라이센스관련 질문드립니다. (2) (6)	길가던뉴비	2014-11	8655	0
서버 Hyper-v / Remote FX 라이센스관련 … (6) 2014-11 8655 1 길가던뉴비