武汉SEO-每天优化一小时。

robots.txt是位于网站根目录下的文本文件，并符合robots.txt标准。在此强调一下，关于robots.txt需要记住以下3个基本的概念:
①只能有一个robots.txt文件
②robots.txt的正确位置是在Web站点的根目录。
③位于子目录下的robots.txt文件将无法访问(或实现效果)

如果仔细阅读日志，就会看到搜索引擎蜘蛛对这个特定的文件的访问非常频繁。这是因为robots.txt是搜索引擎访问网站的时候要查看的第一个文件，它们需要对任何被robots.txt排除的文件都不做检索，同时需要保持缓存的内容总是最新的。robots.txt可以按照目录的方式或者页面的方式允许或者拒绝蜘蛛对网站的访问。

另外有一点,遵守robots.txt文件是一种志愿行为，并不带有强迫性。几大搜索引擎(baidu、google、yahoo等)一般都会试图遵守robots.txt指令，但是其他某些声誉并不是很好的搜索引擎并不会这样做，因此，我们并不能依靠robots.txt文件来防止某些敏感的、私有的或者不恰当的页面被蜘蛛索引。

robots.txt文件的官方正式文档在http://www.robotstxt.org上。在那里可以找到常见问题的页面。