多线程爬取数据方案?请问

【多线程爬取数据方案?请问】

多线程爬取数据方案?请问

文章插图
多线程抓取数据方案?请问多线程抓取数据方案?介绍:大家好,请问一个和爬行动物相关的问题 。目前我的要求是从固定网址上面的资源抓取网页,保存为本地文件 。最后,文件被全文索引 。(每年定期更新,后台执行 。大概有10-20w的记录)我想到了 。