robots.txt文件用来阻止搜索引擎蜘蛛抓取某些目录或某些文件,虽然这个功能很有用,但是很容易出错。如果你的robots.txt文件设置有问题,搜索引擎蜘蛛就没办法抓取你的网站了。正常设置和有错的设置可能差别非常微小,要多次检查,确保无误。
【打印此页】【关闭】