Python3爬虫带上cookie的方法
这篇文章将为大家详细讲解有关Python3爬虫带上cookie的方法,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
Cookie的英文原意是“点心”,它是在客户端访问Web服务器时,服务器在客户端硬盘上存放的信息,好像是服务器发送给客户的“点心”。服务器可以根据Cookie来跟踪客户状态,这对于需要区别客户的场合(如电子商务)特别有用。
当客户端首次请求访问服务器时,服务器先在客户端存放包含该客户的相关信息的Cookie,以后客户端每次请求访问服务器时,都会在HTTP请求数据中包含Cookie,服务器解析HTTP请求中的Cookie,就能由此获得关于客户的相关信息。
来看一下python3爬虫带上cookie的方法:
1、直接将Cookie写在header头部
#coding:utf-8importrequestsfrombs4importBeautifulSoupcookie='''cisession=19dfd70a27ec0eecf1fe3fc2e48b7f91c7c83c60;CNZZDATA1000201968=1815846425-1478580135-https%253A%252F%252Fwww.baidu.com%252F%7C1483922031;Hm_lvt_f805f7762a9a237a0deac37015e9f6d9=1482722012,1483926313;Hm_lpvt_f805f7762a9a237a0deac37015e9f6d9=1483926368'''header={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.143Safari/537.36','Connection':'keep-alive','accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','Cookie':cookie}url='https://kankandou.com/book/view/22353.html'wbdata=requests.get(url,headers=header).textsoup=BeautifulSoup(wbdata,'lxml')print(soup)
2、使用requests插入Cookie
#coding:utf-8importrequestsfrombs4importBeautifulSoupcookie={"cisession":"19dfd70a27ec0eecf1fe3fc2e48b7f91c7c83c60","CNZZDATA100020196":"1815846425-1478580135-https%253A%252F%252Fwww.baidu.com%252F%7C1483922031","Hm_lvt_f805f7762a9a237a0deac37015e9f6d9":"1482722012,1483926313","Hm_lpvt_f805f7762a9a237a0deac37015e9f6d9":"1483926368"}url='https://kankandou.com/book/view/22353.html'wbdata=requests.get(url,cookies=cookie).textsoup=BeautifulSoup(wbdata,'lxml')print(soup)
关于Python3爬虫带上cookie的方法就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。