常见问题:
案例:某网站
域名注册时间:2011
百度快照:不显示标题和描述
网站上线测试的时候用robots.txt禁止抓取过,之后将robots限制解除,打开一段时间之后robots.txt文件删除,删除之后几天又重新添加了robots.txt文件,经过6.2-22日日志观察,百度只访问robots.txt,代码为:
2011-06-16 06:27:11 W3SVC46543651 61.155.161.183GET /robots.txt - 80 - 119.63.196.120 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0
robots解除禁止抓取状态,需要一段时间生效的话,那这个周期又是多久呢,希望这个网站上的内容尽快恢复正常抓取、建立索引和显示!

评论列表