Python爬虫中搜索文档树的方法

2024-11-13 技术教程

这篇文章将为大家详细讲解有关Python爬虫中搜索文档树的方法，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

搜索文档树

1.find_all(name, attrs, recursive, text, **kwargs)

1)name参数

name参数可以查找所有名字为name的Tag，字符串对象会被自动忽略掉。

a.传字符串

最简单的过滤器就是字符串，在搜索方法中传入一个字符串参数，Beautiful Soup会查找与字符串完整匹配所有的内容，返回一个列表。

#!/usr/bin/python3#-*-coding:utf-8-*-frombs4importBeautifulSouphtml="""<html><head><title>TheDormouse'sstory</title></head><body><pclass="title"name="dromouse">TheDormouse'sstory<pclass="story">Onceuponatimetherewerethreelittlesisters;andtheirnameswere<ahref="http://example.com/elsie"class="sister"id="link1"></a>,<ahref="http://example.com/lacie"class="sister"id="link2">Lacie</a>and<ahref="http://example.com/tillie"class="sister"id="link3">Tillie</a>;andtheylivedatthebottomofawell.<pclass="story">..."""#创建BeautifulSoup对象，指定lxml解析器soup=BeautifulSoup(html,"lxml")print(soup.find_all("b"))print(soup.find_all("a"))

运行结果

[TheDormouse'sstory][<aclass="sister"href="http://example.com/elsie"id="link1"></a>,<aclass="sister"href="http://example.com/lacie"id="link2">Lacie</a>,<aclass="sister"href="http://example.com/tillie"id="link3">Tillie</a>]

B.传正则表达式

如果传入正则表达式作为参数，Beautiful Soup会通过正则表达式match()来匹配内容。

#!/usr/bin/python3#-*-coding:utf-8-*-frombs4importBeautifulSoupimportrehtml="""<html><head><title>TheDormouse'sstory</title></head><body><pclass="title"name="dromouse">TheDormouse'sstory<pclass="story">Onceuponatimetherewerethreelittlesisters;andtheirnameswere<ahref="http://example.com/elsie"class="sister"id="link1"></a>,<ahref="http://example.com/lacie"class="sister"id="link2">Lacie</a>and<ahref="http://example.com/tillie"class="sister"id="link3">Tillie</a>;andtheylivedatthebottomofawell.<pclass="story">..."""#创建BeautifulSoup对象，指定lxml解析器soup=BeautifulSoup(html,"lxml")fortaginsoup.find_all(re.compile("^b")):print(tag.name)

运行结果

bodyb

C.传列表

如果传入列表参数，Beautiful Soup会将与列表中任一元素匹配的内容以列表方式返回。

2)keyword参数

运行结果

[<aclass="sister"href="http://example.com/elsie"id="link1"></a>]

3)text参数

通过text参数可以搜索文档中的字符串内容，与name参数的可选值一样，text参数接受字符串，正则表达式，列表。

#!/usr/bin/python3#-*-coding:utf-8-*-frombs4importBeautifulSoupimportrehtml="""<html><head><title>TheDormouse'sstory</title></head><body><pclass="title"name="dromouse">TheDormouse'sstory<pclass="story">Onceuponatimetherewerethreelittlesisters;andtheirnameswere<ahref="http://example.com/elsie"class="sister"id="link1"></a>,<ahref="http://example.com/lacie"class="sister"id="link2">Lacie</a>and<ahref="http://example.com/tillie"class="sister"id="link3">Tillie</a>;andtheylivedatthebottomofawell.<pclass="story">..."""#创建BeautifulSoup对象，指定lxml解析器soup=BeautifulSoup(html,"lxml")#字符串print(soup.find_all(text="Elsie"))#列表print(soup.find_all(text=["Tillie","Elsie","Lacie"]))#正则表达式print(soup.find_all(text=re.compile("Dormouse")))

运行结果

['Elsie']['Elsie','Lacie','Tillie']["TheDormouse'sstory","TheDormouse'sstory"]

关于Python爬虫中搜索文档树的方法就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。