这篇文章主要介绍了Python3爬虫中文件上传的基本操作，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

1. 文件上传

我们知道requests可以模拟提交一些数据。假如有的网站需要上传文件，我们也可以用它来实现，这非常简单，示例如下：

importrequestsfiles={'file':open('favicon.ico','rb')}r=requests.post("http://httpbin.org/post",files=files)print(r.text)

在前一节中我们保存了一个文件favicon.ico，这次用它来模拟文件上传的过程。需要注意的是，favicon.ico需要和当前脚本在同一目录下。如果有其他文件，当然也可以使用其他文件来上传，更改下代码即可。

运行结果如下：

{"args":{},"data":"","files":{"file":"data:application/octet-stream;base64,AAAAAA...="},"form":{},"headers":{"Accept":"*/*","Accept-Encoding":"gzip,deflate","Content-Length":"6665","Content-Type":"multipart/form-data;boundary=809f80b1a2974132b133ade1a8e8e058","Host":"httpbin.org","User-Agent":"python-requests/2.10.0"},"json":null,"origin":"60.207.237.16","url":"http://httpbin.org/post"}

以上省略部分内容，这个网站会返回响应，里面包含files这个字段，而form字段是空的，这证明文件上传部分会单独有一个files字段来标识。

2. Cookies

前面我们使用urllib处理过Cookies，写法比较复杂，而有了requests，获取和设置Cookies只需一步即可完成。

我们先用一个实例看一下获取Cookies的过程：

importrequestsr=requests.get("https://www.baidu.com")print(r.cookies)forkey,valueinr.cookies.items():print(key+'='+value)

运行结果如下：

<RequestsCookieJar[<CookieBDORZ=27315for.baidu.com/>,<Cookie__bsi=13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0for.www.baidu.com/>]>BDORZ=27315__bsi=13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0

这里我们首先调用cookies属性即可成功得到Cookies，可以发现它是RequestCookieJar类型。然后用items()方法将其转化为元组组成的列表，遍历输出每一个Cookie的名称和值，实现Cookie的遍历解析。

当然，我们也可以直接用Cookie来维持登录状态，下面以知乎为例来说明。首先登录知乎，将Headers中的Cookie内容复制下来，如图3-6所示。

图3-6 Cookie

这里可以替换成你自己的Cookie，将其设置到Headers里面，然后发送请求，示例如下：

importrequestsheaders={'Cookie':'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000;d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938";__utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0','Host':'www.zhihu.com','User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_11_4)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.116Safari/537.36',}r=requests.get('https://www.zhihu.com',headers=headers)print(r.text)

我们发现，结果中包含了登录后的结果，如图3-7所示，这证明登录成功。

图3-7 运行结果

当然，你也可以通过cookies参数来设置，不过这样就需要构造RequestsCookieJar对象，而且需要分割一下cookies。这相对烦琐，不过效果是相同的，示例如下：

importrequestscookies='q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000;d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938";__utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0'jar=requests.cookies.RequestsCookieJar()headers={'Host':'www.zhihu.com','User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_11_4)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.116Safari/537.36'}forcookieincookies.split(';'):key,value=cookie.split('=',1)jar.set(key,value)r=requests.get("http://www.zhihu.com",cookies=jar,headers=headers)print(r.text)

这里我们首先新建了一个RequestCookieJar对象，然后将复制下来的cookies利用split()方法分割，接着利用set()方法设置好每个Cookie的key和value，然后通过调用requests的get()方法并传递给cookies参数即可。当然，由于知乎本身的限制，headers参数也不能少，只不过不需要在原来的headers参数里面设置cookie字段了。

测试后，发现同样可以正常登录知乎。

3. 会话维持

在requests中，如果直接利用get()或post()等方法的确可以做到模拟网页的请求，但是这实际上是相当于不同的会话，也就是说相当于你用了两个浏览器打开了不同的页面。

设想这样一个场景，第一个请求利用post()方法登录了某个网站，第二次想获取成功登录后的自己的个人信息，你又用了一次get()方法去请求个人信息页面。实际上，这相当于打开了两个浏览器，是两个完全不相关的会话，能成功获取个人信息吗？那当然不能。

有小伙伴可能说了，我在两次请求时设置一样的cookies不就行了？可以，但这样做起来显得很烦琐，我们有更简单的解决方法。

其实解决这个问题的主要方法就是维持同一个会话，也就是相当于打开一个新的浏览器选项卡而不是新开一个浏览器。但是我又不想每次设置cookies，那该怎么办呢？这时候就有了新的利器——Session对象。

利用它，我们可以方便地维护一个会话，而且不用担心cookies的问题，它会帮我们自动处理好。示例如下：

importrequestsrequests.get('http://httpbin.org/cookies/set/number/123456789')r=requests.get('http://httpbin.org/cookies')print(r.text)

这里我们请求了一个测试网址http://httpbin.org/cookies/set/number/123456789。请求这个网址时，可以设置一个cookie，名称叫作number，内容是123456789，随后又请求了http://httpbin.org/cookies，此网址可以获取当前的Cookies。

这样能成功获取到设置的Cookies吗？试试看。

运行结果如下：

{"cookies":{}}

这并不行。我们再用Session试试看：

importrequestss=requests.Session()s.get('http://httpbin.org/cookies/set/number/123456789')r=s.get('http://httpbin.org/cookies')print(r.text)

再看下运行结果：

{"cookies":{"number":"123456789"}}

成功获取！这下能体会到同一个会话和不同会话的区别了吧！

所以，利用Session，可以做到模拟同一个会话而不用担心Cookies的问题。它通常用于模拟登录成功之后再进行下一步的操作。

Session在平常用得非常广泛，可以用于模拟在一个浏览器中打开同一站点的不同页面，后面会有专门的章节来讲解这部分内容。

4. SSL证书验证

此外，requests还提供了证书验证的功能。当发送HTTP请求的时候，它会检查SSL证书，我们可以使用verify参数控制是否检查此证书。其实如果不加verify参数的话，默认是True，会自动验证。

前面我们提到过，12306的证书没有被官方CA机构信任，会出现证书验证错误的结果。我们现在访问它，都可以看到一个证书问题的页面，如图3-8所示。

图3-8 错误页面

现在我们用requests来测试一下：

importrequestsresponse=requests.get('https://www.12306.cn')print(response.status_code)

运行结果如下：

requests.exceptions.SSLError:("badhandshake:Error([('SSLroutines','tls_process_server_certificate','certificateverifyfailed')],)",)

这里提示一个错误SSLError，表示证书验证错误。所以，如果请求一个HTTPS站点，但是证书验证错误的页面时，就会报这样的错误，那么如何避免这个错误呢？很简单，把verify参数设置为False即可。相关代码如下：

importrequestsresponse=requests.get('https://www.12306.cn',verify=False)print(response.status_code)

这样就会打印出请求成功的状态码：

/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852:InsecureRequestWarning:UnverifiedHTTPSrequestisbeingmade.Addingcertificateverificationisstronglyadvised.See:https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warningsInsecureRequestWarning)200

不过我们发现报了一个警告，它建议我们给它指定证书。我们可以通过设置忽略警告的方式来屏蔽这个警告：

importrequestsfromrequests.packagesimporturllib3urllib3.disable_warnings()response=requests.get('https://www.12306.cn',verify=False)print(response.status_code)

或者通过捕获警告到日志的方式忽略警告：

importloggingimportrequestslogging.captureWarnings(True)response=requests.get('https://www.12306.cn',verify=False)print(response.status_code)

当然，我们也可以指定一个本地证书用作客户端证书，这可以是单个文件（包含密钥和证书）或一个包含两个文件路径的元组：

importrequestsresponse=requests.get('https://www.12306.cn',cert=('/path/server.crt','/path/key'))print(response.status_code)

当然，上面的代码是演示实例，我们需要有crt和key文件，并且指定它们的路径。注意，本地私有证书的key必须是解密状态，加密状态的key是不支持的。

5. 代理设置

对于某些网站，在测试的时候请求几次，能正常获取内容。但是一旦开始大规模爬取，对于大规模且频繁的请求，网站可能会弹出验证码，或者跳转到登录认证页面，更甚者可能会直接封禁客户端的IP，导致一定时间段内无法访问。

那么，为了防止这种情况发生，我们需要设置代理来解决这个问题，这就需要用到proxies参数。可以用这样的方式设置：

importrequestsproxies={"http":"http://10.10.1.10:3128","https":"http://10.10.1.10:1080",}requests.get("https://www.taobao.com",proxies=proxies)

当然，直接运行这个实例可能不行，因为这个代理可能是无效的，请换成自己的有效代理试验一下。

若代理需要使用HTTP Basic Auth，可以使用类似http://user:password@host:port这样的语法来设置代理，示例如下：

importrequestsproxies={"http":"http://user:password@10.10.1.10:3128/",}requests.get("https://www.taobao.com",proxies=proxies)

除了基本的HTTP代理外，requests还支持SOCKS协议的代理。

首先，需要安装socks这个库：

pip3install'requests[socks]'

然后就可以使用SOCKS协议代理了，示例如下：

importrequestsproxies={'http':'socks5://user:password@host:port','https':'socks5://user:password@host:port'}requests.get("https://www.taobao.com",proxies=proxies)

6. 超时设置

在本机网络状况不好或者服务器网络响应太慢甚至无响应时，我们可能会等待特别久的时间才可能收到响应，甚至到最后收不到响应而报错。为了防止服务器不能及时响应，应该设置一个超时时间，即超过了这个时间还没有得到响应，那就报错。这需要用到timeout参数。这个时间的计算是发出请求到服务器返回响应的时间。示例如下：

importrequestsr=requests.get("https://www.taobao.com",timeout=1)print(r.status_code)

通过这样的方式，我们可以将超时时间设置为1秒，如果1秒内没有响应，那就抛出异常。

实际上，请求分为两个阶段，即连接（connect）和读取（read）。

上面设置的timeout将用作连接和读取这二者的timeout总和。

如果要分别指定，就可以传入一个元组：

r=requests.get('https://www.taobao.com',timeout=(5,11,30))

如果想永久等待，可以直接将timeout设置为None，或者不设置直接留空，因为默认是None。这样的话，如果服务器还在运行，但是响应特别慢，那就慢慢等吧，它永远不会返回超时错误的。其用法如下：

r=requests.get('https://www.taobao.com',timeout=None)

或直接不加参数：

r=requests.get('https://www.taobao.com')

7. 身份认证

在访问网站时，我们可能会遇到这样的认证页面，如图3-9所示。

图3-9 认证页面

此时可以使用requests自带的身份认证功能，示例如下：

importrequestsfromrequests.authimportHTTPBasicAuthr=requests.get('http://localhost:5000',auth=HTTPBasicAuth('username','password'))print(r.status_code)

如果用户名和密码正确的话，请求时就会自动认证成功，会返回200状态码，如果认证失败，则返回401状态码。

当然，如果参数都传一个HTTPBasicAuth类，就显得有点烦琐了，所以requests提供了一个更简单的写法，可以直接传一个元组，它会默认使用HTTPBasicAuth这个类来认证。

所以上面的代码可以直接简写如下：

importrequestsr=requests.get('http://localhost:5000',auth=('username','password'))print(r.status_code)

此外，requests还提供了其他认证方式，如OAuth认证，不过此时需要安装oauth包，安装命令如下：

pip3installrequests_oauthlib

使用OAuth2认证的方法如下：

importrequestsfromrequests_oauthlibimportOAuth2url='https://api.twitter.com/1.1/account/verify_credentials.json'auth=OAuth2('YOUR_APP_KEY','YOUR_APP_SECRET','USER_OAUTH_TOKEN','USER_OAUTH_TOKEN_SECRET')requests.get(url,auth=auth)

更多详细的功能可以参考requests_oauthlib的官方文档https://requests-oauthlib.readthedocs.org/，在此不再赘述了。

8. Prepared Request

前面介绍urllib时，我们可以将请求表示为数据结构，其中各个参数都可以通过一个Request对象来表示。这在requests里同样可以做到，这个数据结构就叫Prepared Request。我们用实例看一下：

fromrequestsimportRequest,Sessionurl='http://httpbin.org/post'data={'name':'germey'}headers={'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_11_4)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.116Safari/537.36'}s=Session()req=Request('POST',url,data=data,headers=headers)prepped=s.prepare_request(req)r=s.send(prepped)print(r.text)

这里我们引入了Request，然后用url、data和headers参数构造了一个Request对象，这时需要再调用Session的prepare_request()方法将其转换为一个Prepared Request对象，然后调用send()方法发送即可，运行结果如下：

{"args":{},"data":"","files":{},"form":{"name":"germey"},"headers":{"Accept":"*/*","Accept-Encoding":"gzip,deflate","Connection":"close","Content-Length":"11","Content-Type":"application/x-www-form-urlencoded","Host":"httpbin.org","User-Agent":"Mozilla/5.0(Macintosh;IntelMacOSX10_11_4)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.116Safari/537.36"},"json":null,"origin":"182.32.203.166","url":"http://httpbin.org/post"}

可以看到，我们达到了同样的POST请求效果。

有了Request这个对象，就可以将请求当作独立的对象来看待，这样在进行队列调度时会非常方便。后面我们会用它来构造一个Request队列。

感谢你能够认真阅读完这篇文章，希望小编分享Python3爬虫中文件上传的基本操作内容对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，遇到问题就找亿速云，详细的解决方法等着你来学习!