python爬虫是什么意思


python爬虫是什么意思?让我们一起知道吧?!
Python用 爬虫Python 程序开发的网络爬虫(网络蜘蛛、网络机器人)是一个程序或脚本,按照一定的规则自动捕获万维网络信息 。它主要用于搜索引擎,它阅读一个网站的所有内容和链接,并在数据库中建立相关的全文索引,然后跳到另一个网站 。
拓展:爬虫分类
爬虫可分为通用爬虫和聚焦爬虫 。
通用网络爬虫,又称全网爬虫,爬行对象来自一些种子 URL 扩展到整个 Web,主要是搜索引擎和大 Web 服务提供商收集数据 。
聚焦网络爬虫(Focused Crawler),它是指与预定义的主题相关页面有选择地爬行的网络爬虫 。
这就是今天的分享,希望对大家有所帮助 。
【python爬虫是什么意思】