curl抓取页面的时候只能抓取一部分

【curl抓取页面的时候只能抓取一部分】

curl抓取页面的时候只能抓取一部分

文章插图
Curl抓取页面时只能抓取页面的一部分 。curl在我的主机上抓取了一部分页面,但在公司的测试机上可以抓取所有页面 。原因是什么?当然,两台主机配置差距有点大,同时要抓取的页面也有点大 。解决方法:由于页面有点大,有可能是缓存不够大 。