robots.txt 와 meta 테그를 사용한 봇 접근 제한

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7709 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3867/5743

번호	제목Page 3867/5743	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5320616	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5320616 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1836077	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1836077 1 백메가
37522	컴퓨터 파워를 일반 SMPS 로 사용가능 여부 (7)	시나브로	2011-06	9909	0
컴퓨터 파워를 일반 SMPS 로 사용가능 여부 (7) 2011-06 9909 1 시나브로
37521	하드 인식 문제에 대해서 (12)	가빠로구나	2011-06	6434	0
하드 인식 문제에 대해서 (12) 2011-06 6434 1 가빠로구나
37520	서버이전 후 일부유저들이 홈페이지에 접속이 안된다고 하는데.. 이유가 뭘까요 ㅠㅠ (15)	최창현	2011-06	9754	0
서버이전 후 일부유저들이 홈페이지에 접… (15) 2011-06 9754 1 최창현
37519	최근 CD 영역 생성되는 USB .. 어떤걸 구매 해야 될까요 (5)	우앙뿌앙	2011-06	8173	0
최근 CD 영역 생성되는 USB .. 어떤걸 구… (5) 2011-06 8173 1 우앙뿌앙
37518	BOD 를 사용하고 계신분 있으신가요? (4)	시나브로	2011-06	6259	0
BOD 를 사용하고 계신분 있으신가요? (4) 2011-06 6259 1 시나브로
37517	시리얼 to phone 케이블 문의 드립니다. (2)	monan	2011-06	6095	0
시리얼 to phone 케이블 문의 드립니다. (2) 2011-06 6095 1 monan
37516	인텔 정품아닌 SSD A/S 어떻게 해야 하나요? (5)	민사장	2011-06	6693	0
인텔 정품아닌 SSD A/S 어떻게 해야 하나… (5) 2011-06 6693 1 민사장
37515	에어콘대신에 컴퓨터와 함께 사용할 수 있는 냉풍(또는 빙풍)기로는 믿을 만한 제품… (10)	classiccha	2011-06	6825	0
에어콘대신에 컴퓨터와 함께 사용할 수 있… (10) 2011-06 6825 1 classiccha
37514	제온CPU의 표시 UP... QC..? (3)	카라한	2011-06	5869	0
제온CPU의 표시 UP... QC..? (3) 2011-06 5869 1 카라한
37513	WAS(Weblogic) 관련 질문 입니다. (7)	GoodWolf	2011-06	10450	0
WAS(Weblogic) 관련 질문 입니다. (7) 2011-06 10450 1 GoodWolf
37512	인텔 SSD로 바꾼 결과 (3)	마이코코	2011-06	5971	0
인텔 SSD로 바꾼 결과 (3) 2011-06 5971 1 마이코코
37511	이걸 메인보드 브라켓이라고 하나요? (5)	민성일	2011-06	8698	0
이걸 메인보드 브라켓이라고 하나요? (5) 2011-06 8698 1 민성일
37510	gts450 설치하니 이상한 사운드드라이버도 같이 잡는데 (2)	로그아웃	2011-06	8648	0
gts450 설치하니 이상한 사운드드라이버도… (2) 2011-06 8648 1 로그아웃
37509	파워선 때문에 서버 케이스가 닫히지 않습니다 (3)	Larry	2011-06	6667	0
파워선 때문에 서버 케이스가 닫히지 않습… (3) 2011-06 6667 1 Larry
37508	외장하드 분해를 못하고 있습니다. (3)	정병곤임돠	2011-06	14715	0
외장하드 분해를 못하고 있습니다. (3) 2011-06 14715 1 정병곤임돠
37507	A3 잉크젯 프린터 추천해주세요 (8)	하승협	2011-06	12732	0
A3 잉크젯 프린터 추천해주세요 (8) 2011-06 12732 1 하승협
37506	클라우드 컴퓨팅에 궁금한게 있습니다.. (5)	1김In1	2011-06	6121	0
클라우드 컴퓨팅에 궁금한게 있습니다.. (5) 2011-06 6121 1 1김In1
37505	공학 연산용 컴퓨터를 구성할려고 하는데 궁금한 것이 있습니다. (4)	최지훈	2011-06	6425	0
공학 연산용 컴퓨터를 구성할려고 하는데 … (4) 2011-06 6425 1 최지훈
37504	하드디스크에 왜 unallocated space가 생기나요.. (5)	yummy	2011-06	12787	0
하드디스크에 왜 unallocated space가 생… (5) 2011-06 12787 1 yummy
37503	안선생님~~5850CF가 하고 싶어요.... (7)	ZEBE	2011-06	6096	0
안선생님~~5850CF가 하고 싶어요.... (7) 2011-06 6096 1 ZEBE