웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4661 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2106/5742

번호	제목Page 2106/5742	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1835251	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1835251 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5319796	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5319796 1 정은준1
72740	고속충전기를 구매해야할거 같은데요...사양은 다 비슷한데 충전케이블굵기도 중요한… (4)	김건우	2016-01	4665	0
고속충전기를 구매해야할거 같은데요...사… (4) 2016-01 4665 1 김건우
72739	배대지가 뭐에요 ? (5)	오소리	2016-01	4665	0
배대지가 뭐에요 ? (5) 2016-01 4665 1 오소리
72738	[해결]Ferrite core 국내 구매가능한 곳 아시는지요? (6)	witbox	2017-12	4665	0
[해결]Ferrite core 국내 구매가능한 곳 … (6) 2017-12 4665 1 witbox
72737	24port 공유기에서 vlan 으로 통신 해킹할수 있나요? (4)	아르코	2015-11	4665	0
24port 공유기에서 vlan 으로 통신 해킹… (4) 2015-11 4665 1 아르코
72736	nas로 사용중인 pc 모니터가 안나오네여;;	슈퍼스쿠터	2016-12	4665	1
nas로 사용중인 pc 모니터가 안나오네여;; 2016-12 4665 1 슈퍼스쿠터
72735	2012서버기반의 NAS를 돌릴만한 저전력 솔루션좀 추천해주세요. (4)	박	2014-09	4665	0
2012서버기반의 NAS를 돌릴만한 저전력 솔… (4) 2014-09 4665 1 박
72734	asus p5p41t-le 모델 개조바이오스 부탁드립니다. (1)	하균아빠	2016-12	4665	0
asus p5p41t-le 모델 개조바이오스 부탁드… (1) 2016-12 4665 1 하균아빠
72733	Windows FLP (7)	김성민	2007-04	4665	4
Windows FLP (7) 2007-04 4665 1 김성민
72732	HP Z620 사용하고 있습니다. (5)	존인생박은석	2018-02	4665	0
HP Z620 사용하고 있습니다. (5) 2018-02 4665 1 존인생박은석
72731	WD MyCloud 해킹된 것인지요? - 다시올림 - (2)	Moraine	2019-11	4665	0
WD MyCloud 해킹된 것인지요? - 다시올림 - (2) 2019-11 4665 1 Moraine
72730	x8dtl-3보드에 그래픽카드 꼽아도 괜찮나요? (3)	크라우저	2014-06	4665	0
x8dtl-3보드에 그래픽카드 꼽아도 괜찮나… (3) 2014-06 4665 1 크라우저
72729	저자부품 소량 구매처 (3)	여주이상돈	2014-12	4665	0
저자부품 소량 구매처 (3) 2014-12 4665 1 여주이상돈
72728	컴퓨터의 IP를 기록하는 프로그램 없을까요? (6)	NAS고장났다…	2016-07	4665	0
컴퓨터의 IP를 기록하는 프로그램 없을까… (6) 2016-07 4665 1 NAS고장났다…
72727	헐 이런일이...	황진우	2014-01	4666	0
헐 이런일이... 2014-01 4666 1 황진우
72726	하드디스크 인식이 안되요 3 (2)	엠플	2020-04	4666	0
하드디스크 인식이 안되요 3 (2) 2020-04 4666 1 엠플
72725	리눅스 구 버젼을 설치할 때, 드라이버가 없는 경우 (6)	amplifier	2016-04	4666	0
리눅스 구 버젼을 설치할 때, 드라이버가 … (6) 2016-04 4666 1 amplifier
72724	밑에 질문 있어서 저도 궁금한거 하나 KT UHD IPTV (3)	김윤술	2016-09	4666	0
밑에 질문 있어서 저도 궁금한거 하나 KT … (3) 2016-09 4666 1 김윤술
72723	안녕하세요 신입인데 개조제온때문에 문의드려요~ (6)	우다다광묘	2015-07	4666	0
안녕하세요 신입인데 개조제온때문에 문의… (6) 2015-07 4666 1 우다다광묘
72722	윈도우 업데이트 후 증상일까요..? (2)	차평석	2014-10	4666	0
윈도우 업데이트 후 증상일까요..? (2) 2014-10 4666 1 차평석
72721	이베이는 개인이 등록은 안되고 사업자가 있으면 등록이 되는 건가요? (3)	신은왜	2017-12	4666	0
이베이는 개인이 등록은 안되고 사업자가 … (3) 2017-12 4666 1 신은왜