robots协议真的有用吗?

【robots协议真的有用吗?】

robots协议真的有用吗?

文章插图
robots协议真的有用吗?robots协议真的有用吗?简介:robots协议真的有用吗?我不认为机器人协议有任何实际效果 。虽然它明确告诉搜索引擎不要抓取某些页面,但仍然有一些搜索引擎强行抓取这些被明确指示不要抓取的页面 。难道没有一种可以直接阻止蜘蛛爬行的吗?