微信|微信突然出BUG!那种资源全被看光,目前无解

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片

微信|微信突然出BUG!那种资源全被看光,目前无解

文章图片



微信最近动作频频 , 除了日常的更新功能上新 , 小雷还发现了一个「漏洞」 。

微信居然放开限制 , 把自己的robots.txt文件给移除了...
事情是这样的 , 小雷因为工作(摸鱼)需要 , 经常要在各大搜索引擎辗转 , 以求搜到自己想要的资料 。
如果是英文资源还好说 , 海外的网页适用性依然很强 , 用谷歌和bing等搜索引擎 , 一般都能搜到结果 。

但如果要搜的是中文资源 , 不好意思 , 搜索突然就不好用了 。
即使是像百度、谷歌和bing这种顶级搜索引擎 , 也难以施展拳脚 。
想要搜到自己需要的东西 , 估计是越来越难喽 。

不过奇怪的是 , 而搜索引擎本身并无大改 , 抓取规则和原理都沿袭多年 , 期间也就小修小补 。
为啥现在就不好使了呢?
小雷想说 , 这确实不是搜索引擎的锅 , 都怪软件厂商们画了个圈圈 , 把自己围起来了 。

举个简单的例子 , 微信公众号的文章相比某些平台 , 整体质量确实要更高 。
但是嚯 , 你能在百度和谷歌搜到微信公众号和今日头条的文章吗?
搜不到吧 , 很蓝的啦 。
原因其实很简单 , 平台不允许搜索引擎去爬取它们的文章和其他内容了 。
再强的搜索引擎也得靠网络蜘蛛去爬取信息 , 当平台建起一堵墙 , 就能轻易把第三方搜索隔绝开来 。

大伙也别以为这堵墙有多高技术含量 , 其实就靠小雷开头提到的robots.txt文件 。
这个简单的文件 , 里面包含了一系列规则 , 它会告诉搜索引擎 , 哪些页面可抓取 , 哪些页面又不能抓取 。
要是规则一片空白 , 就别怪搜索引擎一顿搜刮了 。
反之 , 如果规则清晰明了 , 写着“禁止读取” , 搜索引擎自然会识趣溜走 。

喏 , 微信就在网站“weixin.qq.com”的根目录中放置了这个文件 , 并写上自己的规则 。

而小雷通过互联网档案馆看了一下 , 微信的规则比较狠 , 直接在末尾写上一条“Disallow:/” 。
给小伙伴们翻译一下 , 这规则的意思是 , 不让其他搜索引擎爬取微信任何文章...
这就能解释 , 为啥搜索引擎搜不到微信文章了 。 (搜狗是自家人 , 不计在内)

不过要说起来啊 , robots.txt算不上是规范 , 只是搜索引擎和网站们达成的一项约定 。