WWDC|(干货)写爬虫的你一定有类似经历( 二 )



2.干货环节简单思考下:用浏览器爬数据 , 那当然要用浏览器插件才靠谱呀 。


那接下来推荐几款我用的比较舒服的插件 。
Web Scaper

一个谷歌浏览器爬虫可视化插件 。
免费 , 通过控制浏览器驱动来抓取网页数据 。 不用写代码 , 点点鼠标 , 配置规则即可抓取 。
  • 官方主页:
免费的 , 但只有一个线程 , 但也够用了 。 如果需要更多的服务 , 比如代理呀 , 并发也 , 可以去注册个账号 , 购买套餐 。

安装:谷歌浏览器安装下载

简单介绍下使用流程:
  • 打开F12 , 可以看到多了一个web scraper , 这里以acg动漫网为例 。

  • create new sitemap, 创建一个网站地图
  • 配置规则

  • 预览数据

  • 下载导出数据


如果有人愿意看的话 , 下一期我可以出一份详细教程 。

图片下载助手

自取起名 , 用起来很简单 , 这真的是爬取图片神器 , 不是我吹 。

安装完成以后呢

网站直接右键 , 提取图片!!!就是怎么方便 。


提取的图片可以自行筛选 , 选择下载 。


然后点击下载就能全下载下来啦!
3.最后的最后有个这两个工具 , 相信一般网站已经难不倒你了 , 即使不会写代码也不要紧!
如果觉得文章还不错 , 点个赞是我最大的鼓励!
本篇文章首发于公众号「有点用呢」