robots.txt 와 meta 테그를 사용한 봇 접근 제한

훈훈경매 more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7738 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3883/5749

번호	제목Page 3883/5749	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5368592	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5368592 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1882345	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1882345 1 백메가
37335	파이는 어디서 다운받아야 하나요? (2)	이승현	2004-12	6532	15
파이는 어디서 다운받아야 하나요? (2) 2004-12 6532 1 이승현
37334	메인보드 나사규격질문드립니다. (3)	DaVinci	2015-07	6532	0
메인보드 나사규격질문드립니다. (3) 2015-07 6532 1 DaVinci
37333	인텔 온보드 그래픽 + 엔비디아 그래픽 (20)	나파이강승훈	2014-07	6532	0
인텔 온보드 그래픽 + 엔비디아 그래픽 (20) 2014-07 6532 1 나파이강승훈
37332	AMD 베니스 3000+ 를 BIOS 에서 1.1v 전압을 줬을때.. (6)	윤현덕	2005-09	6532	18
AMD 베니스 3000+ 를 BIOS 에서 1.1v 전압… (6) 2005-09 6532 1 윤현덕
37331	겨울이라 그런지 컴퓨터 정전기 땜에 윈도우를 다시 깔고 있습니다. (4)	KindOfBlue	2011-12	6532	0
겨울이라 그런지 컴퓨터 정전기 땜에 윈도… (4) 2011-12 6532 1 KindOfBlue
37330	[해결] hp z800 os 설치시 에러메세지 (10)	야구감독	2017-05	6533	2
[해결] hp z800 os 설치시 에러메세지 (10) 2017-05 6533 1 야구감독
37329	기가비트 랜이 필요한데 인텔랜과 브로드컴 랜의 장단점은요? (1)	이희원	2008-04	6533	9
기가비트 랜이 필요한데 인텔랜과 브로드… (1) 2008-04 6533 1 이희원
37328	조우연님 말씀 따라 메모리 재분배 후 삽질 끝에~~ (3)	윤영돈	2011-07	6533	0
조우연님 말씀 따라 메모리 재분배 후 삽… (3) 2011-07 6533 1 윤영돈
37327	시큐어CRT말고 (3)	방효문	2008-06	6533	19
시큐어CRT말고 (3) 2008-06 6533 1 방효문
37326	부팅시 비프음 4번 (5)	파리대왕	2019-12	6533	0
부팅시 비프음 4번 (5) 2019-12 6533 1 파리대왕
37325	SC743시리즈 윗뚜껑과 발? (7)	박종호	2011-02	6533	0
SC743시리즈 윗뚜껑과 발? (7) 2011-02 6533 1 박종호
37324	DVD플레이어...문의 (4)	김건우	2009-07	6533	0
DVD플레이어...문의 (4) 2009-07 6533 1 김건우
37323	SSE3 지원 XEON (3)	안창준	2005-03	6533	8
SSE3 지원 XEON (3) 2005-03 6533 1 안창준
37322	SW 기술자 경력등록이라는게 나왔네요...필수인가요? (8)	김건우	2009-05	6533	0
SW 기술자 경력등록이라는게 나왔네요...… (8) 2009-05 6533 1 김건우
37321	agp 질감 가속이 되질 않습니다 (3)	라정엽	2005-05	6533	7
agp 질감 가속이 되질 않습니다 (3) 2005-05 6533 1 라정엽
37320	[질문] 이선규님 사운드바 수령하신 분께 질문있습니다. (8)	일반유저	2016-03	6533	0
[질문] 이선규님 사운드바 수령하신 분께 … (8) 2016-03 6533 1 일반유저
37319	2cpu 쪽지 정보(MEMO)가 제대로 표시가 되나요? (2)	딸기대장	2011-06	6534	0
2cpu 쪽지 정보(MEMO)가 제대로 표시가 되… (2) 2011-06 6534 1 딸기대장
37318	'데이터 열화설'에 대해.. (39)	김영기	2020-12	6534	0
'데이터 열화설'에 대해.. (39) 2020-12 6534 1 김영기
37317	dell t7600 바이오스 개조 가능한가요? (7)	이유종	2020-03	6534	0
dell t7600 바이오스 개조 가능한가요? (7) 2020-03 6534 1 이유종
37316	펜티엄3 듀얼 구성시 코드를 맞추지 않는다면? (4)	표동수	2005-07	6534	3
펜티엄3 듀얼 구성시 코드를 맞추지 않는… (4) 2005-07 6534 1 표동수