【抓取某个网站 本地正常 服务器上却很快便503】

文章插图
对本地标准服务器上的网站进行爬网需要503分钟，但对本地标准服务器上的网站进行爬网需要503分钟 。导读:我们发现了这样一个问题 。当我们抓取一个网站时，在本地测试中一切正常，但当我们将其部署到服务器时，大约20秒后就会出现503服务不可用 。curl中的一个链接有这样的输出:

• 电脑版与手机版网站图片大小问题
• php curl优酷图片无法抓取保存到本地
• 求推荐“网站安全”技术资源学习书籍或网站
• 表格元素抓取疑问？为什么需要多余的tbody
• 电商网站，那么多筛选条件，如何保证翻页时不丢失？
• 高并发下，网站的用户登录信息保存在cookie还是session呢？
• 想知道本网站中的时间是怎么处理的
• 发两钓鱼网站给各位看官耍耍
• 用angularjs开发普通网站好不好呢？
• 【紧急】请推荐 python 动态网站开发的最佳书籍给我，要能够在短时间内实现动态网站开发的能力。