python爬虫通用框架

2024-11-12 技术教程

import requests

def getHTMLText(url):

try:

r = requests.get(url,timeout=30)

r.raise_for_status() # 如果状态不是200，引发HTTP-Error异常

#print(r.status_code)

r.encoding = r.apparent_encoding

return r.text

except:

return "产生异常"

if __name__=="__main__":

url = "https://item.jd.com/5107323.html"

print(getHTMLText(url))

声明：本站所有文章资源内容，如无特殊说明或标注，均为采集网络资源。如若本站内容侵犯了原著者的合法权益，可联系本站删除。