srapy多管道pipeline处理多个爬虫

如果有多个爬虫的item需交给多个爬虫管道类处理,可用if isinstance()函数匹配,如果不匹配必须else 返回item,由其他管理管道类处理。
class BookPipeline(object):
   def process_item(self, item, spider):
        if isinstance(spider, BookSpiderSpider):
             #todo 
             return item
        else:
        	#**如果不是这个spider爬虫,必须返回item,交给其他爬虫类处理。**
            return item
 
class carPipeline(object):
    def process_item(self, item, spider):
        if isinstance(spider, CarSpiderSpider):
             #todo 
             return item
        else:
        	#**如果不是这个spider爬虫,必须返回item,交给其他爬虫类处理。**
            return item


看视频教程,没有else,所以管道类中获得到item,这个了整整两天。。。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐