这篇文章主要介绍Python中多线程爬取豆瓣影评API接口的方法，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

Python多线程豆瓣影评API接口爬虫

爬虫库

1.使用简单的requests库，这是一个阻塞的库，速度比较慢。

2.解析使用XPATH表达式。

3.总体采用类的形式。

多线程

使用concurrent.future并发模块，建立线程池，把future对象扔进去执行即可实现并发爬取效果。

数据存储

使用Python ORM sqlalchemy保存到数据库，也可以使用自带的csv模块存在CSV中。

API接口

因为API接口存在数据保护情况，一个电影的每一个分类只能抓取前25页，全部评论、好评、中评、差评所有分类能爬100页，每页有20个数据，即最多为两千条数据。

因为时效性原因，不保证代码能爬到数据，只是给大家一个参考思路，上代码：

fromdatetimeimportdatetimeimportrandomimportcsvfromconcurrent.futuresimportThreadPoolExecutor,as_completedfromlxmlimportetreeimportpymysqlimportrequestsfrommodelsimportcreate_session,Comments#随机UAUSERAGENT=['Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1','Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safari/537.36','Mozilla/5.0(WindowsNT6.1;WOW64;rv:6.0)Gecko/20100101Firefox/6.0','Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50','Opera/9.80(WindowsNT6.1;U;zh-cn)Presto/2.9.168Version/11.50','Mozilla/5.0(Windows;U;WindowsNT6.1;)AppleWebKit/534.12(KHTML,likeGecko)Maxthon/3.0Safari/534.12']classCommentFetcher:headers={'User-Agent':''}cookie=''cookies={'cookie':cookie}#cookie为登录后的cookie，需要自行复制base_node='//div[@class="comment-item"]'def__init__(self,movie_id,start,type=''):''':type:全部评论：''，好评：h中评：m差评：l:movie_id:影片的ID号:start:开始的记录数，0-480'''self.movie_id=movie_idself.start=startself.type=typeself.url='https://movie.douban.com/subject/{id}/comments?start={start}&limit=20&sort=new_score\&status=P&percent_type={type}&comments_only=1'.format(id=str(self.movie_id),start=str(self.start),type=self.type)#创建数据库连接self.session=create_session()#随机useragentdef_random_UA(self):self.headers['User-Agent']=random.choice(USERAGENT)#获取api接口，使用get方法，返回的数据为json数据，需要提取里面的HTMLdef_get(self):self._random_UA()res=''try:res=requests.get(self.url,cookies=self.cookies,headers=self.headers)res=res.json()['html']exceptExceptionase:print('IP被封，请使用代理IP')print('正在获取{}开始的记录'.format(self.start))returnresdef_parse(self):res=self._get()dom=etree.HTML(res)#id号self.id=dom.xpath(self.base_node+'/@data-cid')#用户名self.username=dom.xpath(self.base_node+'/div[@class="avatar"]/a/@title')#用户连接self.user_center=dom.xpath(self.base_node+'/div[@class="avatar"]/a/@href')#点赞数self.vote=dom.xpath(self.base_node+'//span[@class="votes"]/text()')#星级self.star=dom.xpath(self.base_node+'//span[contains(@class,"rating")]/@title')#发表时间self.time=dom.xpath(self.base_node+'//span[@class="comment-time"]/@title')#评论内容所有span标签class名为short的节点文本self.content=dom.xpath(self.base_node+'//span[@class="short"]/text()')#保存到数据库defsave_to_database(self):self._parse()foriinrange(len(self.id)):try:comment=Comments(id=int(self.id[i]),username=self.username[i],user_center=self.user_center[i],vote=int(self.vote[i]),star=self.star[i],time=datetime.strptime(self.time[i],'%Y-%m-%d%H:%M:%S'),content=self.content[i])self.session.add(comment)self.session.commit()return'finish'exceptpymysql.err.IntegrityErrorase:print('数据重复，不做任何处理')exceptExceptionase:#数据添加错误，回滚self.session.rollback()finally:#关闭数据库连接self.session.close()#保存到csvdefsave_to_csv(self):self._parse()f=open('comment.csv','w',encoding='utf-8')csv_in=csv.writer(f,dialect='excel')foriinrange(len(self.id)):csv_in.writerow([int(self.id[i]),self.username[i],self.user_center[i],int(self.vote[i]),self.time[i],self.content[i]])f.close()if__name__=='__main__':withThreadPoolExecutor(max_workers=4)asexecutor:futures=[]foriin['','h','m','l']:forjinrange(25):fetcher=CommentFetcher(movie_id=26266893,start=j*20,type=i)futures.append(executor.submit(fetcher.save_to_csv))forfinas_completed(futures):try:res=f.done()ifres:ret_data=f.result()ifret_data=='finish':print('{}成功保存数据'.format(str(f)))exceptExceptionase:f.cancel()

以上是Python中多线程爬取豆瓣影评API接口的方法的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！