robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7188 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

1273/5596

번호	제목Page 1273/5596	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1052419	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1052419 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (718)	정은준1	2014-05	4500148	0
[필독] 처음 오시는 분을 위한 안내 (718) 2014-05 4500148 1 정은준1
86476	금영노래방 태진노래방 이런것도 질문드려도 되나요 아시는분 부탁드립니다 (13)	박선호	2020-03	7188	0
금영노래방 태진노래방 이런것도 질문드려… (13) 2020-03 7188 1 박선호
86475	Xeon 5520을 구입하려고합니다. 부품선택조언좀 부탁드립니다. (5)	오정균	2010-04	7188	0
Xeon 5520을 구입하려고합니다. 부품선택… (5) 2010-04 7188 1 오정균
86474	골치아픈 네트워크 통신 검증과정. (16)	무아	2016-06	7188	0
골치아픈 네트워크 통신 검증과정. (16) 2016-06 7188 1 무아
86473	x366 RAID를 설정하면 멤버HDD의 LED 점멸??? (2)	GoodWolf	2010-11	7188	0
x366 RAID를 설정하면 멤버HDD의 LED 점멸… (2) 2010-11 7188 1 GoodWolf
86472	씨게이트 RMA (3)	여주이상돈	2009-03	7188	0
씨게이트 RMA (3) 2009-03 7188 1 여주이상돈
86471	랜카드 문의 (3)	한성호	2015-01	7188	0
랜카드 문의 (3) 2015-01 7188 1 한성호
86470	dell 과 hp 의 차이 (5)	제스퍼즈	2015-10	7187	0
dell 과 hp 의 차이 (5) 2015-10 7187 1 제스퍼즈
86469	[질문] Tyan S1837UANG-L 입니다. (2)	고대준	2004-12	7187	14
[질문] Tyan S1837UANG-L 입니다. (2) 2004-12 7187 1 고대준
86468	갑자기 원격 데스크탑 연결이 안됩니다. (9)	장태주	2006-06	7187	10
갑자기 원격 데스크탑 연결이 안됩니다. (9) 2006-06 7187 1 장태주
86467	용산에서 ide용 3.5"외장케이스를 사려면 (4)	서미	2013-11	7187	0
용산에서 ide용 3.5"외장케이스를 사… (4) 2013-11 7187 1 서미
86466	SAS 2.5인치 를 컨버터를 써서 3.5로 연결할때 성능저하 있을까요? (5)	블랙	2011-03	7187	0
SAS 2.5인치 를 컨버터를 써서 3.5로 연결… (5) 2011-03 7187 1 블랙
86465	이런 아이템이 필요 합니다. (5)	행아범	2013-10	7187	0
이런 아이템이 필요 합니다. (5) 2013-10 7187 1 행아범
86464	서버컴퓨터 수냉시스템 어떻게 생각하시나요? (11)	클래식	2016-08	7187	0
서버컴퓨터 수냉시스템 어떻게 생각하시나… (11) 2016-08 7187 1 클래식
86463	pc캠으로 CCTV마냥 쓸 수 있는 프로그램 뭐 없을까요? (6)	박광덕	2008-05	7186	20
pc캠으로 CCTV마냥 쓸 수 있는 프로그램 … (6) 2008-05 7186 1 박광덕
86462	오래된 아파트로 인한 욕실에 콘센트가 없는데..가설하는데 문제가 있을까요? (방수… (11)	김건우	2017-04	7186	0
오래된 아파트로 인한 욕실에 콘센트가 없… (11) 2017-04 7186 1 김건우
86461	바이러스.....관련 (1)	그래피아	2010-11	7186	0
바이러스.....관련 (1) 2010-11 7186 1 그래피아
86460	유튜브 4K 영상이 계속 끊깁니다. (19)	차넷컴퓨터	2020-08	7186	0
유튜브 4K 영상이 계속 끊깁니다. (19) 2020-08 7186 1 차넷컴퓨터
86459	레이드카드 질문드립니다. (5)	그그	2011-02	7186	0
레이드카드 질문드립니다. (5) 2011-02 7186 1 그그
86458	G형 클램프 파는 곳? (5)	마이코코	2011-07	7186	0
G형 클램프 파는 곳? (5) 2011-07 7186 1 마이코코
86457	라벨 프린터 프로그램 제작 문의 (6)	풍경1	2014-12	7186	0
라벨 프린터 프로그램 제작 문의 (6) 2014-12 7186 1 풍경1