it-gundan.com

특수한 동작을 설정하지 않으려면 robots.txt 파일을 갖고 싶지 않아도 괜찮습니까?

특수한 동작을 설정하지 않으려면 robots.txt 파일을 갖고 싶지 않아도 괜찮습니까?

아니면 하나의 부족이 해로울 수 있습니까?

29
Dan Dumitru

Robots.txt 파일이 없으면 해롭지 않습니다. robotstxt.org website 에서 :

모든 로봇이 완전히 액세스 할 수 있도록

사용자 에이전트: *
허용 안함 :

(또는 빈 "/robots.txt"파일을 만들거나 전혀 사용하지 마십시오)

그러나 robots.txt 파일에 아무 것도 지정하지 않더라도 검색 엔진에 XML Sitemap 의 위치를 ​​알려주는 좋은 방법입니다. robots.txt 파일 맨 위에 다음과 같은 줄을 추가하면됩니다.

사이트 맵 : http : //www.example.com/sitemap-Host1.xml

그렇지 않으면 웹 로그에 많은 404 개의 항목이 생성됩니다.

30
JasonBirch

"robots.txt"가 없으면 오류 로그에 파일에 404가 많이 생겨 파비콘이없는 경우와 마찬가지로 일종의 성가심이 될 수 있습니다.

21
delete

have는 괜찮을 것이라고 생각합니다. 그렇지 않으면 웹 스파이더가 웹의 거대한 무리를 색인 할 수 없습니다.

robots.txt는 "정의 적으로 모든 사람이 색인을 생성 할 수 있습니다"robots.txt와 동일하지 않습니다.

6
Jeff Atwood

Robots.txt 파일이 없으면 크롤러가 파일을 수행 할 수있는 작업과 수행 할 수없는 작업을 결정합니다. 모든 종류의 모호성을 피하는 데 몇 초 밖에 걸리지 않기 때문에 모든 에이전트가 모든 것에 액세스 할 수 있도록하는 것이 어떻습니까?

2
Tim Post

robots.txtsitemap 의 주소가 포함되어 있기 때문에 잠재적으로 유해한 주소는 없습니다.

0
Thomas Bonini

검색 엔진으로 사이트의 모든 페이지에 색인을 생성하기 만하면 로봇 파일이없는 문제는 콘텐츠에 따라 다릅니다.

0
seanl