文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
更多内容欢迎关注~
大家好 , 欢迎收看思路实验室出品的Python入门教程 , 我是室长 。
我们已经学习了那么多pandas数据分析以及matplotlib制作图表的方法 , 可能很多同学已经手痒了 。 但是如何获得大量的数据呢?随机数肯定是不能满足我们的要求 。 爬虫是一种好方法 , 可对于没有基础的同学来说 , 我们现在的水平距离制作爬虫还隔了好几道坎 。 不过不用担心 , 今天室长给大家带来一个非常好用的模块 , 不用任何爬虫的知识 , 就可以让我们获取到非常多有价值的数据 。 这个模块就是gopup , 我们一起来了解一下吧!
不过说在前边 , 这个模块虽然内置了大量的公开数据的获取方法 , 但已经长期不更新了 。 大家或许能够了解到 , 爬虫这种东西本身就是一种对抗行为 , 爬虫方和反爬虫方本身就在进行着激烈的斗争 , 手段也是在不断地升级 , 一旦停止更新 , 爬虫方法就会很快地失效 。 所以模块中的很多方法已经失效了 , 只是终归有些方法还是可以用的 , 毕竟聊胜于无 , 而且后期当我们学习了爬虫的方法 , 也可以亲手修改 , 让它变得重新可用 。
首先我们还是安装gopup模块 , 安装名和导入名都是gopup:
然后我们直接调用方法获取数据 , 返回值就是pandas的DataFrame , 这里我们以获取豆瓣新片为例:
命令行里显示不完全 , 我们将数据直接存为csv格式:
一下子就获取了豆瓣前9的新片 , 包括中外标题 , 上映日期 , 演员等 , 以及电影海报和详细信息的链接 。 而我们并没有进行具体的设置 , 仅仅是调用了一个方法 , 是不是非常方便?
gopup支持的公开数据种类非常多 , 都是通过直接调用方法来进行获取的 , 我们在这里就不一一列举了 , 在gopup的官方文档里写得非常详细:
【苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!】不过这些数据的获取方法并非全部都如刚才那样简单 , 有一些要相对麻烦一点 , 不过也只是相对 。 比如诗词的数据:
这里有个token是需要我们填写的 。 如何获得token呢?我们需要到gopup的官网注册一个账号:
注册成功后这里的一长串乱七八糟的字符串就是我们的token , 我们把它填到token参数的位置:
注意我们是将调用pro_api方法后返回的结果存入到了变量g中 , 而后在变量g中调用的获取数据方法 , 这时不要再从gopup模块直接调用方法了 。
还有一种情况是需要获取cookies的 , 这种情况在gopup中仅限于从百度指数获取数据的情况 , 不过百度指数的爬取方法已经失效了 , 所以目前用不到 。
虽然gopup已经长期不更新了 , 许多功能都已经失效了 , 但它仍不失为一种获取数据的高效手段 。 想必随着反爬手段的日益更新 , 这个模块能够使用的方法也会越来越少 , 所以大家且用且珍惜吧!不过好在有些数据的获取 , 比如某些经济数据 , 还是比较稳定的 , 大家可以放心使用 。
- 苹果|苹果一块的抛光布145块,它到底有什么特别之处,个人认为并不值得
- 苹果|比亚迪和吉利都没说话,长城却怒怼华为又在割“韭菜”?
- 显卡|苹果取消home键能让iphone获得更高的屏占比,同时全新的交互方式也更简单
- 苹果|苹果刚刚出新模式,能让你的 iPhone 拥有总统级的安全性
- OLED|库克也没有想到,自己的苹果14竟然被截胡了
- 狗狗币|华为终端CEO说全球手机厂商就只有华为和苹果 这话让其他企业难受
- 苹果|优质短视频创作需要什么条件
- realme|平板电脑怎么选?认准这三点,怎么选都不会错
- 苹果|为什么说苹果一小步,安卓一大步?看到最后才会弄明白
- 小米科技|华为余承东又说大话了?外媒:数据不会说谎