Python进行Scrapy-redis分布式爬取的方法？这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容，让我们一起来看看吧！

平时爬虫一般都使用Scrapy框架，通常都是在一台机器上跑，爬取速度也不能达到预期效果，数据量小，而且很容易就会被封禁IP或者账号，这时候可以使用代理IP或者登录方式爬，然而代理IP很多时候都很鸡肋，除非使用付费版IP，但是和真实IP差别很大。这时候便有了Scrapy-redis分布式爬虫框架，它基于Scrapy改造，把Scrapy的调度器（scheduler）换成了Scrapy-redis的调度器，可以轻松达到目的，利用多台服务器来爬取数据，而且还可以自动去重，效率高。爬取的数据默认保存在redis缓存中，速度很快。

Scrapy工作原理：

Scrapy-redis工作原理：

中间的就是调度器

豆瓣电影简易分布式爬虫

我这里直接使用start_urls的方式，数据存入到Mysql中

classDoubanSpider(RedisSpider):name='douban'redis_key='douban:start_urls'allowed_domains=['douban.com']defstart_requests(self):urls=get_urls()forurlinurls:yieldscrapy.Request(url=url,callback=self.parse)defparse(self,response):#item_loader=MovieItemLoader(item=MovieItem,response=response)##item_loader.add_xpath('title','')item=MovieItem()print(response.url)item['movieId']=int(response.url.split('subject/')[1].replace('/',''))item['title']=response.xpath('//h2/span/text()').extract()[0]item['year']=response.xpath('//h2/span/text()').extract()[1].split('(')[1].split(')')[0]or'2019'item['url']=response.urlitem['cover']=response.xpath('//a[@class="nbgnbg"]/img/@src').extract()[0]try:item['director']=response.xpath('//a[@rel="v:directedBy"]/text()').extract()[0]or'无'exceptException:item['director']='暂无'item['major']='/'.join(response.xpath('//a[@rel="v:starring"]/text()').extract())item['category']=','.join(response.xpath('//span[@property="v:genre"]/text()').extract())item['time']=','.join(response.xpath('//span[@property="v:initialReleaseDate"]/text()').extract())try:item['duration']=response.xpath('//span[@property="v:runtime"]/text()').extract()[0]exceptException:item['duration']='暂无'item['score']=response.xpath('//strong[@property="v:average"]/text()').extract()[0]item['comment_nums']=response.xpath('//span[@property="v:votes"]/text()').extract()[0]or0item['desc']=response.xpath('//span[@property="v:summary"]/text()').extract()[0].strip()actor_list=response.xpath('//ul[@class="celebrities-listfrom-subject__oneline"]/li/a/@title').extract()actor_img_list=response.xpath('//ul[@class="celebrities-listfrom-subject__oneline"]/li/a/div/@style').extract()actor_img_list=[i.split('url(')[1].replace(')','')foriinactor_img_list]item['actor_name_list']='----'.join(actor_list)item['actor_img_list']='----'.join(actor_img_list)yielditem

settings.py文件

BOT_NAME='MovieSpider'SPIDER_MODULES=['MovieSpider.spiders']NEWSPIDER_MODULE='MovieSpider.spiders'#REDIS_HOST='127.0.0.1'#REDIS_PORT=6379REDIS_URL='redis://username:password@xxx.xxx.xxx.xxx:6379'#Obeyrobots.txtrulesROBOTSTXT_OBEY=FalseSCHEDULER="scrapy_redis.scheduler.Scheduler"#Ensureallspiderssharesameduplicatesfilterthroughredis.DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"ITEM_PIPELINES={'scrapy_redis.pipelines.RedisPipeline':300,'MovieSpider.pipelines.MysqlPipeline':200,}

这里只是为了多台服务器一起爬取，没有手动在redis中推入起始的URL

此时将爬虫项目上传到其他服务器上，一起开始

效果如下：

感谢各位的阅读！看完上述内容，你们对Python进行Scrapy-redis分布式爬取的方法大概了解了吗？希望文章内容对大家有所帮助。如果想了解更多相关文章内容，欢迎关注亿速云行业资讯频道。