robots.txt 파일 만드는 방법

robots.txt 파일 만드는 방법

 

robots.txt 파일은 검색 엔진에서 보이는 파일 내용을 가져가는것을 제어 할수 있습니다. 

robots.txt  파일속에

 User-agent: *
 Disallow: /

이렇게 적어두게 되면 모든 검색에서 제외가 됩니다.

 

 

 

robots.txt  파일속에

 User-agent: *
 Disallow:

이렇게 적어두게 되면 모든 검색에서 포함이 됩니다.

 

 

 

robots.txt  파일속에

 

 User-agent: *
 Disallow: /test 

 

이렇게 적어두게 되면 /test 디렉토리를 검색에서 제외가 됩니다.

 

 

 

robots.txt  파일속에

 

 User-agent: *
 Disallow: /test/index.html

 

이렇게 적어두게 되면 /test/index.html 파일이 검색에서 제외가 됩니다.

 

 

p.s 

User-agent 에 * 에 봇이름을 적어서 사용하셔도 됩니다.

여러 폴더가 제외하는 경우는.....

 

 User-agent: *
 Disallow: /test 

 Disallow: /test2

 Disallow: /test3

 Disallow: /test4

 Disallow: /test5

 

이런식으로 넣어 사용하시면 됩니다.