Python爬虫，爬数据什么时候最好使用bs4？xpath如何更具有通用性

大家好，欢迎来到IT知识分享网。

什么时候最好使用bs4

如果需求是要求解析出携带html标签的局部数据，例如<li> <p> <div>

这样带有标签符号的html文本，那就使用bs4解析。

使用bs4, bs4在实现标签定位的时候返回的直接就是定位到标签对应的字符串数据

xpath如何更加具有通用性？

xpath表达式中使用管道符分割的作用，可以表示管道符左右两侧的子xpath表达式同时生效或者一个生效

例子：将https://www.aqistudy.cn/historydata/ 所有的 城市名称解析出来

from lxml import etree import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36' } url = 'https://www.aqistudy.cn/historydata/' page_text = requests.get(url=url, headers=headers) tree = etree.HTML(page_text.text)

正常解析写法：

# 热门城市 hot_cities = tree.xpath('//div[@class="bottom"]/ul/li/a/text()') # 全部城市 all_cities = tree.xpath('//div[@class="bottom"]/ul/div[2]/li/a/text()')

管道符解析写法:

# 热门+全部城市 cities=tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()')

关注 Python涛哥，学习更多Python知识！