[관리] robot.txt - 검색로봇 설정하기 (봇으로부터 검색 제외 시키기) > 정보공유

<robots.txt 파일을 이용하는 방법>

robots.txt 파일은 도메인의 루트에 있어야 하며 이름은 'robots.txt' 여야 합니다.

검색로봇은 해당 사이트의 루트에 있는 robots.txt파일을 우선 찾고 명시된 규약에 따라 사이트에서 정보를 수집하게 됩니다.

robots.txt 파일 생성 규칙은 다음과 같습니다.

User-Agent: 규칙의 적용을 받는 로봇
Disallow: 차단하려는 페이지
Allow: 허용하려는 페이지

-User-Agent 행에는해당 규칙을 적용하고자 하는 로봇의 종류를 적어준다.

-Disallow 행에는 차단할 페이지의 URL 혹은 패턴을 나열한다.

1.모든 봇으로부터 모든 내용을 검색 허용

User-agent: *
Disallow:

2.모든 봇으로부터 모든 내용을 검색 제외

User-agent: *
Disallow: /

3.모든 봇으로부터 html , image 폴더를 검색 제외 

User-agent: *
Disallow: /html/
Disallow: /image/

4.구글 봇으로부터 모든 내용을 검색 제외

User-agent: Googlebot
Disallow: /

5.모든 봇으로부터 지정파일 검색 제외 (ex : member.php 파일)

User-agent: *
Disallow: /member.php?

6.모든 봇으로부터 지정확장자 검색 제외

User-agent: *
Disallow: /*.pdf$

* 주요 로봇

구글(Googlebot)
네이버(naverbot)
다음(DAUMOA)

※ robot.txt 를 잘 활용하려면 사내그룹웨어라던가 보안이 유지되어야 할 사이트에 등록을 하여 사용하면 되겠습니다.