scrapy 如何设置爬虫的深度和去除已经访问过的url?

13次阅读

scrapy 如何设置爬虫深度?

远方的人

去除已经访问过的url,用bloomfilter;

设置深度:取决于你递归爬取的次数。

MyDawnGLL

正文完