[관리] robot.txt - 검색로봇 설정하기 (봇으로부터 검색 제외 시키기)

그누위즈 쪽지보내기 포인트선물 메일보내기 자기소개 아이디로 검색 전체게시물 그누보드 팁 19-08-06 17:20 1,982

<robots.txt 파일을 이용하는 방법>


robots.txt 파일은 도메인의 루트에 있어야 하며 이름은 'robots.txt' 여야 합니다.

검색로봇은 해당 사이트의 루트에 있는 robots.txt파일을 우선 찾고 명시된 규약에 따라 사이트에서 정보를 수집하게 됩니다.


robots.txt 파일 생성 규칙은 다음과 같습니다.

User-Agent: 규칙의 적용을 받는 로봇

Disallow: 차단하려는 페이지

Allow: 허용하려는 페이지


-User-Agent 행에는해당 규칙을 적용하고자 하는 로봇의 종류를 적어준다.

-Disallow 행에는 차단할 페이지의 URL 혹은 패턴을 나열한다.



1.모든 봇으로부터 모든 내용을 검색 허용

User-agent: *

Disallow:


2.모든 봇으로부터 모든 내용을 검색 제외

User-agent: *

Disallow: /


3.모든 봇으로부터 html , image 폴더를 검색 제외 

User-agent: *

Disallow: /html/

Disallow: /image/

   

4.구글 봇으로부터 모든 내용을 검색 제외

User-agent: Googlebot

Disallow: /

   

5.모든 봇으로부터 지정파일 검색 제외 (ex : member.php 파일)

User-agent: *

Disallow: /member.php?


6.모든 봇으로부터 지정확장자 검색 제외

User-agent: *

Disallow: /*.pdf$



* 주요 로봇

구글(Googlebot)

네이버(naverbot)

다음(DAUMOA)


※ robot.txt 를 잘 활용하려면 사내그룹웨어라던가 보안이 유지되어야 할 사이트에 등록을 하여 사용하면 되겠습니다.

추천 0 비추천 0
  • 페이스북으로 보내기
  • 트위터로 보내기
  • 구글플러스로 보내기
  • 밴드 보내기
  • 블로그 보내기
  • 폴라 보내기
  • 카카오스토리 보내기
  • 텔레그램 보내기
  • 텀블러 보내기
댓글 0

그누보드 팁

RSS
번호 제목 글쓴이 날짜 추천 비추천
상단으로