是否应该屏蔽蜘蛛抓取JS和CSS文件

【是否应该屏蔽蜘蛛抓取JS和CSS文件】

是否应该屏蔽蜘蛛抓取JS和CSS文件

文章插图
是否应该阻止蜘蛛抓取JS和CSS文件?导读:很多网站查日志的时候 ,  你会发现JS和CSS文件被蜘蛛抓取的频率特别高 ,  于是有人考虑在robots.txt中屏蔽蜘蛛抓取js和css文件 ,  为其他页面节省蜘蛛时间 。郭萍老师认为阻止这种文件不会