robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7746 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3885/5752

번호	제목Page 3885/5752	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1892338	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1892338 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (738)	정은준1	2014-05	5378112	0
[필독] 처음 오시는 분을 위한 안내 (738) 2014-05 5378112 1 정은준1
37347	새롭게 릴리즈된 윈도우 버전 RS3 1709 이미지 (7)	나우마크	2017-10	4629	0
새롭게 릴리즈된 윈도우 버전 RS3 1709 이… (7) 2017-10 4629 1 나우마크
37346	인터넷 wifi관련 무식한 질문입니다 (7)	가을바람	2017-10	8178	0
인터넷 wifi관련 무식한 질문입니다 (7) 2017-10 8178 1 가을바람
37345	헤놀로지 디스크 순서 (2)	두발로	2017-10	4154	0
헤놀로지 디스크 순서 (2) 2017-10 4154 1 두발로
37344	LibreELEC에 Tvheadend 설치 후 EPG 적용 관련 문의 (2)	카운터	2017-10	8665	0
LibreELEC에 Tvheadend 설치 후 EPG 적용 … (2) 2017-10 8665 1 카운터
37343	성능 RX Vega 64 HBM2 8GB 워터쿨링 VS 1080&1080Ti (6)	AKMU	2017-10	4671	0
성능 RX Vega 64 HBM2 8GB 워터쿨링 VS 10… (6) 2017-10 4671 1 AKMU
37342	스마트폰 메인보드 사설수리 어떨까요? (3)	황재광	2017-10	4712	0
스마트폰 메인보드 사설수리 어떨까요? (3) 2017-10 4712 1 황재광
37341	[수정]하드 배드섹터 문제 때문에 질문드립니다 (5)	지나가는행인	2017-10	7641	0
[수정]하드 배드섹터 문제 때문에 질문드… (5) 2017-10 7641 1 지나가는행인
37340	동영상 파일(mp4, avi 등)을 dicom 확장자로 변환 가능한 방법 있을까요? (2)	trevas	2017-10	5937	0
동영상 파일(mp4, avi 등)을 dicom 확장자… (2) 2017-10 5937 1 trevas
37339	원격제어 관련 질문입니다 (4)	섭이님	2017-10	4065	0
원격제어 관련 질문입니다 (4) 2017-10 4065 1 섭이님
37338	알리에서 상품주문건?(급) (7)	BigData007	2017-10	3977	0
알리에서 상품주문건?(급) (7) 2017-10 3977 1 BigData007
37337	알리에서 상품주문건?(급) (6)	NeOpLE	2017-10	3904	0
알리에서 상품주문건?(급) (6) 2017-10 3904 1 NeOpLE
37336	이베이 물건 구매후 취소하면 벅스 2배로 깍이나요..??	푸하히	2017-10	3868	0
이베이 물건 구매후 취소하면 벅스 2배로 … 2017-10 3868 1 푸하히
37335	가정용 인터넷 KT vs SKB 어디가 좋을까요? (11)	천외천oo노…	2017-10	4678	0
가정용 인터넷 KT vs SKB 어디가 좋을까요? (11) 2017-10 4678 1 천외천oo노…
37334	윈도우 10 이번 업데이트 하고 좀 이상해 졌다는.... (5)	늘파란	2017-10	4351	0
윈도우 10 이번 업데이트 하고 좀 이상해 … (5) 2017-10 4351 1 늘파란
37333	검색의 달인! 레이드카드 방열판 고정시키는 플라스틱나사? (12)	페르세우스	2017-10	4776	0
검색의 달인! 레이드카드 방열판 고정시키… (12) 2017-10 4776 1 페르세우스
37332	[자체해결] SAS 케이블이 안 빠집니다. ㅠㅠ;; (7)	천외천oo노…	2017-10	4143	0
[자체해결] SAS 케이블이 안 빠집니다. ㅠ… (7) 2017-10 4143 1 천외천oo노…
37331	(해결됨) 블루레이 디스크 구매했는데 내컴퓨터에서 드라이브가 잡히지 않네요? (4)	초코송이	2017-10	5402	0
(해결됨) 블루레이 디스크 구매했는데 내… (4) 2017-10 5402 1 초코송이
37330	검색의 달인! 레이드카드 방열판 고정시키는 플라스틱나사?	lovemiai	2017-10	3972	0
검색의 달인! 레이드카드 방열판 고정시키… 2017-10 3972 1 lovemiai
37329	인텔 771용 히트싱크가 775 소켓 히트싱크에 호환이 될런지요? (3)	두cpu	2017-10	3952	1
인텔 771용 히트싱크가 775 소켓 히트싱크… (3) 2017-10 3952 1 두cpu
37328	맥북에서 HDMI로 TV 연결시 사운드가 안나옴.. (5)	김준유	2017-10	27201	0
맥북에서 HDMI로 TV 연결시 사운드가 안나… (5) 2017-10 27201 1 김준유