webmagic与curl命令的区别

【webmagic与curl命令的区别】

webmagic与curl命令的区别

文章插图
webmagic和curl命令的区别webmagic和curl命令的区别介绍:使用webmagic抓取网站时,如果没有设置User-Agent,会返回空(还是200)但是当我在终端中直接执行curl http://some.site.com时,我可以正常返回内容 。但是在卷曲中