4G|Microsoft Bing、Yandex 创建新的搜索协议 5g网络|5g通信

微软必应和俄罗斯搜索引擎 Yandex 周一宣布了一项旨在加快网站搜索更新的新协议。

【4G|Microsoft Bing、Yandex 创建新的搜索协议】
该协议称为 IndexNow ，它使用 API 允许网站在创建、更新或删除内容时轻松通知搜索引擎。一旦搜索引擎收到更新通知，它们就可以快速抓取并在其索引和搜索结果中反映网站的变化。

“确保为搜索者提供及时的信息至关重要， ”微软在其 Bing 博客中解释道。

“但从历史上看， ”它继续说道， “网站所有者最大的痛点之一就是让搜索引擎快速发现并考虑他们最新的网站变化。在搜索引擎中发现新 URL 并为其编入索引可能需要数天甚至数周的时间，从而导致潜在流量、客户甚至销售额的损失。 ”

微软坚持认为 IndexNow 是一项旨在提高互联网效率和开放性的举措。

它解释说，通过告诉搜索引擎 URL 是否已更改，网站所有者提供了一个明确的信号，帮助搜索引擎优先抓取这些 URL 。这限制了探索性爬网来测试内容是否已更改的需要。

此外，搜索是开放的，因为通过通知一个搜索引擎，网站会通知所有采用 IndexNow 的搜索引擎。

缺乏标准
“IndexNow 是一个好主意，因为它简化了将新内容编入索引的过程， ”位于柏林的位置营销解决方案制造商 Uberall 的市场洞察副总裁 Greg Sterling 表示。

“它还确保新内容将被快速或立即编入索引， ”他告诉 TechNewsWorld 。

马萨诸塞州剑桥的内容交付网络服务提供商 Akamai Technologies 产品管理副总裁 Jon Alexander 解释说，目前没有更新搜索引擎的标准。

他向 TechNewsWorld 解释说：“数以千计的不同爬虫正试图监控互联网上网站的变化。 ”
“因为 Akamai 为许多这样的站点提供服务，所以我们亲眼目睹了这一点， ”他继续说道。“这是一项艰巨的工作，会为网站带来巨大负载并消耗大量电力，从而造成额外的环境影响。 ”

“我们更愿意看到一个开放的标准，允许每个人以相同的方式更新搜索引擎， ”他补充道。

浪费的访问
多年来，搜索引擎一直在互联网上搜寻信息，但这似乎是第一次发起一项旨在提高这一过程的效率的重大举措。

“我不能说微软和 Yandex 创造这个的动机，但它似乎已经姗姗来迟， ”斯特林说。

Alexander 解释说，对于某些网站，爬虫占网站流量的一半，并且一直在增长。

“在过去 20 年的任何时候，这个问题都可以得到解决， ”他说。“我们终于到了一个关键时刻，规模和效率低下迫使我们找到更好的解决方案。 ”

爬虫不仅会消耗网站的带宽，还会浪费它。

Cloudflare 博主 Abhi Das 和 Alex Krivit 在公司博客中指出，在研究了机器人重新访问未更改页面的频率后，他们得出结论， 53% 的爬虫流量浪费在对网站的此类访问上。

爬虫提示
Cloudflare 是旧金山的一家网络性能和安全公司。它有一个名为 Crawler Hints 的程序，可以让搜索引擎及时了解其客户网站的变化。

该公司在新闻稿中解释说，搜索引擎使用复杂的机器人网络来抓取互联网上不断变化的内容，以便人们可以找到相关的、及时的内容。今天，大约 45% 的互联网流量来自网络爬虫和机器人。

它指出，为了帮助提高网络爬虫的效率， Cloudflare 推出了爬虫提示——一种在内容已更改或添加到网站时向机器人开发人员发出信号的简单方法，以便他们可以更有效地选择要爬取的内容。