[관리] robot.txt - 검색로봇 설정하기 (봇으로부터 검색 제외 시키기) > 정보공유

본문 바로가기

정보공유

일반글
그누보드팁

[관리] robot.txt - 검색로봇 설정하기 (봇으로부터 검색 제외 시키기)

페이지 정보

게시물QR코드

본문

<robots.txt 파일을 이용하는 방법>


robots.txt 파일은 도메인의 루트에 있어야 하며 이름은 'robots.txt' 여야 합니다.

검색로봇은 해당 사이트의 루트에 있는 robots.txt파일을 우선 찾고 명시된 규약에 따라 사이트에서 정보를 수집하게 됩니다.


robots.txt 파일 생성 규칙은 다음과 같습니다.

User-Agent: 규칙의 적용을 받는 로봇

Disallow: 차단하려는 페이지

Allow: 허용하려는 페이지


-User-Agent 행에는해당 규칙을 적용하고자 하는 로봇의 종류를 적어준다.

-Disallow 행에는 차단할 페이지의 URL 혹은 패턴을 나열한다.



1.모든 봇으로부터 모든 내용을 검색 허용

User-agent: *

Disallow:


2.모든 봇으로부터 모든 내용을 검색 제외

User-agent: *

Disallow: /


3.모든 봇으로부터 html , image 폴더를 검색 제외 

User-agent: *

Disallow: /html/

Disallow: /image/

   

4.구글 봇으로부터 모든 내용을 검색 제외

User-agent: Googlebot

Disallow: /

   

5.모든 봇으로부터 지정파일 검색 제외 (ex : member.php 파일)

User-agent: *

Disallow: /member.php?


6.모든 봇으로부터 지정확장자 검색 제외

User-agent: *

Disallow: /*.pdf$



* 주요 로봇

구글(Googlebot)

네이버(naverbot)

다음(DAUMOA)


※ robot.txt 를 잘 활용하려면 사내그룹웨어라던가 보안이 유지되어야 할 사이트에 등록을 하여 사용하면 되겠습니다.

댓글목록

등록된 댓글이 없습니다.

  • Addr.부산광역시 동구 중앙대로 319, 9층 L4호(초량동, 부산YMCA빌딩) Email. gnuwiz@naver.com
  • BR. 625-68-00172 TRC. 2019-부산해운대-1186 TEL. 0507-1382-2790
All rights reserved.