百度蜘蛛爬取状态码与网站HTTP状态码不一样

【百度蜘蛛爬取状态码与网站HTTP状态码不一样】

百度蜘蛛爬取状态码与网站HTTP状态码不一样

文章插图
百度的抓取状态码和网站HTTP状态码不一样 。导读:大家有没有遇到过这样的问题,就是蜘蛛抓取的时候,返回的状态码都是200,包括不存在的 。因为网站现在是全站静态的,之前的动态页面没有了,但是蜘蛛会抓取之前的动态页面,显示抓取成功 。