我经常遇到这样的状况,许多人都来问我:“为啥屏蔽了的页面还被抓取?”这儿我简单的说下吧,一般有两种状况:一种是:对现已录入的网页使用robots屏蔽,老网页依照robots规矩的删去时刻会很长,这个时分或许会形成百度没有遵守robots规矩。第二种状况是:假如你屏蔽的页面或栏目存在大量的外链,那么这个网页或栏目的URL会被百度录入,但内容不会被百度索引,一般这样的多见于首页域名。当然,假如你连URL都不想被录入,可以针对蜘蛛回来404即可。
【打印此页】【关闭】