scrapy-redis在python分布式爬虫中怎么用-创新互联

这篇文章将为大家详细讲解有关scrapy-redis在python分布式爬虫中怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

成都创新互联自2013年起,是专业互联网技术服务公司,拥有项目成都网站设计、网站制作网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元万荣做网站,已为上家服务,为万荣各地企业和个人服务,联系电话:13518219792

在setting.py中修改和添加的内容

#  把scrapy中默认的去重组件替换为scrapy-redis中的去重组件
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 
#  把scrapy中默认的调度器替换成scrapy-redis中的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
 
#  任务持久化
SCHEDULER_PERSIST = True
 
#  添加scrapy-redis管道
ITEM_PIPELINES = {
    # 'guoke.pipelines.GuokePipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}
 
# 添加redis数据库的连接URL
# REDIS_URL = 'redis://127.0.0.1:6379'
 
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_PARAMS['password'] = '12345'


wenda.py添加的内容

from scrapy_redis.spiders import RedisSpider
# class WendaSpider(scrapy.Spider):
# 继承RedisSpoder类
class WendaSpider(RedisSpider):
    name = 'wenda'
    allowed_domains = ['guokr.com']
    #添加redis库,当redis中没有这个键的时候,程序会处于监听等待状态
    redis_key = 'python'

关于scrapy-redis在python分布式爬虫中怎么用就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


文章标题:scrapy-redis在python分布式爬虫中怎么用-创新互联
当前URL:http://bzwzjz.com/article/heoph.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 四川成都网站建设 成都h5网站建设 营销网站建设 网站制作公司 成都网站建设 成都网站建设公司 成都网站建设流程 成都网站建设 响应式网站设计 成都网站建设推广 手机网站制作设计 成都网站制作 达州网站设计 成都网站建设 重庆网站建设 企业网站建设公司 成都做网站建设公司 手机网站建设 成都网站建设 高端网站设计 四川成都网站设计 企业网站设计