这篇文章主要介绍抓取淘宝MM的方法，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

本篇目标

1.抓取淘宝MM的姓名，头像，年龄

2.抓取每一个MM的资料简介以及写真图片

3.把每一个MM的写真图片按照文件夹保存到本地

4.熟悉文件保存的过程

1.URL的格式

在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1，问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介，并附有超链接链接到个人详情页面。

我们需要抓取本页面的头像地址，MM姓名，MM年龄，MM居住地，以及MM的个人详情页面地址。

2.抓取简要信息

相信大家经过上几次的实战，对抓取和提取页面的地址已经非常熟悉了，这里没有什么难度了，我们首先抓取本页面的MM详情页面地址，姓名，年龄等等的信息打印出来，直接贴代码如下

__author__='CQC'#-*-coding:utf-8-*-importurllibimporturllib2importreclassSpider:def__init__(self):self.siteURL='http://mm.taobao.com/json/request_top_list.htm'defgetPage(self,pageIndex):url=self.siteURL+"?page="+str(pageIndex)printurlrequest=urllib2.Request(url)response=urllib2.urlopen(request)returnresponse.read().decode('gbk')defgetContents(self,pageIndex):page=self.getPage(pageIndex)pattern=re.compile('<divclass="list-item".*?pic-word.*?<ahref="(.*?)".*?<imgsrc="(.*?)".*?<aclass="lady-name.*?>(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)items=re.findall(pattern,page)foriteminitems:printitem[0],item[1],item[2],item[3],item[4]spider=Spider()spider.getContents(1)

运行结果如下：

2.文件写入简介

在这里，我们有写入图片和写入文本两种方式

1）写入图片

#传入图片地址，文件名，保存单张图片defsaveImg(self,imageURL,fileName):u=urllib.urlopen(imageURL)data=u.read()f=open(fileName,'wb')f.write(data)f.close()

2）写入文本

defsaveBrief(self,content,name):fileName=name+"/"+name+".txt"f=open(fileName,"w+")printu"正在偷偷保存她的个人信息为",fileNamef.write(content.encode('utf-8'))

3）创建新目录

#创建新目录defmkdir(self,path):path=path.strip()#判断路径是否存在#存在True#不存在FalseisExists=os.path.exists(path)#判断结果ifnotisExists:#如果不存在则创建目录#创建目录操作函数os.makedirs(path)returnTrueelse:#如果目录存在则不创建，并提示目录已存在returnFalse

3.代码完善

主要的知识点已经在前面都涉及到了，如果大家前面的章节都已经看了，完成这个爬虫不在话下，具体的详情在此不再赘述，直接帖代码啦。

spider.py

__author__='CQC'#-*-coding:utf-8-*-importurllibimporturllib2importreimporttoolimportos#抓取MMclassSpider:#页面初始化def__init__(self):self.siteURL='http://mm.taobao.com/json/request_top_list.htm'self.tool=tool.Tool()#获取索引页面的内容defgetPage(self,pageIndex):url=self.siteURL+"?page="+str(pageIndex)request=urllib2.Request(url)response=urllib2.urlopen(request)returnresponse.read().decode('gbk')#获取索引界面所有MM的信息，list格式defgetContents(self,pageIndex):page=self.getPage(pageIndex)pattern=re.compile('<divclass="list-item".*?pic-word.*?<ahref="(.*?)".*?<imgsrc="(.*?)".*?<aclass="lady-name.*?>(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)items=re.findall(pattern,page)contents=[]foriteminitems:contents.append([item[0],item[1],item[2],item[3],item[4]])returncontents#获取MM个人详情页面defgetDetailPage(self,infoURL):response=urllib2.urlopen(infoURL)returnresponse.read().decode('gbk')#获取个人文字简介defgetBrief(self,page):pattern=re.compile('<divclass="mm-aixiu-content".*?>(.*?)<!--',re.S)result=re.search(pattern,page)returnself.tool.replace(result.group(1))#获取页面所有图片defgetAllImg(self,page):pattern=re.compile('<divclass="mm-aixiu-content".*?>(.*?)<!--',re.S)#个人信息页面所有代码content=re.search(pattern,page)#从代码中提取图片patternImg=re.compile('<img.*?src="(.*?)"',re.S)images=re.findall(patternImg,content.group(1))returnimages#保存多张写真图片defsaveImgs(self,images,name):number=1printu"发现",name,u"共有",len(images),u"张照片"forimageURLinimages:splitPath=imageURL.split('.')fTail=splitPath.pop()iflen(fTail)>3:fTail="jpg"fileName=name+"/"+str(number)+"."+fTailself.saveImg(imageURL,fileName)number+=1#保存头像defsaveIcon(self,iconURL,name):splitPath=iconURL.split('.')fTail=splitPath.pop()fileName=name+"/icon."+fTailself.saveImg(iconURL,fileName)#保存个人简介defsaveBrief(self,content,name):fileName=name+"/"+name+".txt"f=open(fileName,"w+")printu"正在偷偷保存她的个人信息为",fileNamef.write(content.encode('utf-8'))#传入图片地址，文件名，保存单张图片defsaveImg(self,imageURL,fileName):u=urllib.urlopen(imageURL)data=u.read()f=open(fileName,'wb')f.write(data)printu"正在悄悄保存她的一张图片为",fileNamef.close()#创建新目录defmkdir(self,path):path=path.strip()#判断路径是否存在#存在True#不存在FalseisExists=os.path.exists(path)#判断结果ifnotisExists:#如果不存在则创建目录printu"偷偷新建了名字叫做",path,u'的文件夹'#创建目录操作函数os.makedirs(path)returnTrueelse:#如果目录存在则不创建，并提示目录已存在printu"名为",path,'的文件夹已经创建成功'returnFalse#将一页淘宝MM的信息保存起来defsavePageInfo(self,pageIndex):#获取第一页淘宝MM列表contents=self.getContents(pageIndex)foritemincontents:#item[0]个人详情URL,item[1]头像URL,item[2]姓名,item[3]年龄,item[4]居住地printu"发现一位模特,名字叫",item[2],u"芳龄",item[3],u",她在",item[4]printu"正在偷偷地保存",item[2],"的信息"printu"又意外地发现她的个人地址是",item[0]#个人详情页面的URLdetailURL=item[0]#得到个人详情页面代码detailPage=self.getDetailPage(detailURL)#获取个人简介brief=self.getBrief(detailPage)#获取所有图片列表images=self.getAllImg(detailPage)self.mkdir(item[2])#保存个人简介self.saveBrief(brief,item[2])#保存头像self.saveIcon(item[1],item[2])#保存图片self.saveImgs(images,item[2])#传入起止页码，获取MM图片defsavePagesInfo(self,start,end):foriinrange(start,end+1):printu"正在偷偷寻找第",i,u"个地方，看看MM们在不在"self.savePageInfo(i)#传入起止页码即可，在此传入了2,10,表示抓取第2到10页的MMspider=Spider()spider.savePagesInfo(2,10)

tool.py

__author__='CQC'#-*-coding:utf-8-*-importre#处理页面标签类classTool:#去除img标签,1-7位空格,&nbsp;removeImg=re.compile('<img.*?>|{1,7}|&nbsp;')#删除超链接标签removeAddr=re.compile('<a.*?>|</a>')#把换行的标签换为\nreplaceLine=re.compile('<tr>|<div>|</div>|</p>')#将表格制表<td>替换为\treplaceTD=re.compile('<td>')#将换行符或双换行符替换为\nreplaceBR=re.compile('<br><br>|<br>')#将其余标签剔除removeExtraTag=re.compile('<.*?>')#将多行空行删除removeNoneLine=re.compile('\n+')defreplace(self,x):x=re.sub(self.removeImg,"",x)x=re.sub(self.removeAddr,"",x)x=re.sub(self.replaceLine,"\n",x)x=re.sub(self.replaceTD,"\t",x)x=re.sub(self.replaceBR,"\n",x)x=re.sub(self.removeExtraTag,"",x)x=re.sub(self.removeNoneLine,"\n",x)#strip()将前后多余内容删除returnx.strip()

以上两个文件就是所有的代码内容，运行一下试试看，那叫一个酸爽啊

看看文件夹里面有什么变化

不知不觉，海量的MM图片已经进入了你的电脑，还不快快去试试看！！

以上是抓取淘宝MM的方法的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！