小编这次要给大家分享的是python如何获取整个网页源码，文章内容丰富，感兴趣的小伙伴可以来了解一下，希望大家阅读完这篇文章之后能够有所收获。

1、Python中获取整个页面的代码：

importrequestsres=requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')res.encoding='utf-8'print(res.text)

2、运行结果

实例扩展：

from bs4 import BeautifulSoupimport time,re,urllib2t=time.time()websiteurls={}def scanpage(url): websiteurl=url t=time.time() n=0 html=urllib2.urlopen(websiteurl).read() soup=BeautifulSoup(html) pageurls=[] Upageurls={} pageurls=soup.find_all("a",href=True) for links in pageurls: if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls: Upageurls[links.get("href")]=0 for links in Upageurls.keys(): try: urllib2.urlopen(links).getcode() except: print "connect failed" else: t2=time.time() Upageurls[links]=urllib2.urlopen(links).getcode() print n, print links, print Upageurls[links] t1=time.time() print t1-t2 n+=1 print ("total is "+repr(n)+" links") print time.time()-tscanpage(http://news.163.com/)

看完这篇关于python如何获取整个网页源码的文章，如果觉得文章内容写得不错的话，可以把它分享出去给更多人看到。