LXML与XPath基础：属性提取
lxml是一个功能强大的python库，用于解析html和xml文档，并支持使用xpath表达式进行数据提取。在网页抓取任务中，我们经常需要从标签中提取其href属性，以获取链接地址。虽然提取元素的文本内容是常见的操作，但提取特定属性值需要对xpath表达式进行细微调整。
传统的XPath表达式如//a/text()会提取标签内部的文本内容。然而，要获取href属性的值，我们需要使用@符号来指定目标属性。例如，//a/@href将直接返回所有标签的href属性值列表。
场景分析与问题解决
假设我们有一个现有的Python脚本，它使用LXML和XPath来从一个体育网站上抓取球队名称：
import requests
from lxml import html
boxScore = "CHA/CHA202206200"
url = "https://www.baseball-reference.com/boxes/" + boxScore + ".shtml"
page = requests.get(url)
# 过滤HTML注释以避免LXML解析错误
tree = html.fromstring(b''.join(line for line in page.content.splitlines() if b'<!--' not in line and b'-->' not in line))
getTeams = tree.xpath('//*[@class="scorebox"]/div/div/strong/a/text()')
for team in getTeams:
team = team.replace(" ", "")
stringy = '"all_' + team + 'pitching"'
# 原始XPath，用于提取文本内容
stringx = '//*[@id=' + stringy + ']/div/table/tbody/tr/th/a/text()'
tambellini = tree.xpath(stringx)
print(tambellini)上述代码能够成功打印出指定路径下标签的文本内容。然而，我们的目标是获取这些标签的href属性值，例如/players/b/berrijo01.shtml。
解决这个问题的关键在于修改XPath表达式stringx。我们需要将text()替换为@href，以直接定位并提取href属性的值。
修正XPath表达式与代码实现
将原始的XPath表达式：
stringx = '//*[@id=' + stringy + ']/div/table/tbody/tr/th/a/text()'
修改为：
stringx = '//*[@id=' + stringy + ']/div/table/tbody/tr/th/a/@href'
完整的修正后代码如下：
import requests
from lxml import html
boxScore = "CHA/CHA202206200"
url = "https://www.baseball-reference.com/boxes/" + boxScore + ".shtml"
page = requests.get(url)
# 过滤HTML注释以避免LXML解析错误
tree = html.fromstring(b''.join(line for line in page.content.splitlines() if b'<!--' not in line and b'-->' not in line))
getTeams = tree.xpath('//*[@class="scorebox"]/div/div/strong/a/text()')
all_player_hrefs = [] # 用于收集所有球员的链接
for team in getTeams:
team = team.replace(" ", "")
stringy = '"all_' + team + 'pitching"'
# 修正后的XPath，用于提取href属性值
stringx = '//*[@id=' + stringy + ']/div/table/tbody/tr/th/a/@href'
player_hrefs = tree.xpath(stringx)
all_player_hrefs.extend(player_hrefs) # 将结果添加到总列表中
print(all_player_hrefs)运行修正后的代码，预期将输出一个包含所有匹配标签的href属性值的列表，例如：
[ '/players/l/lynnla01.shtml', '/players/l/lopezre01.shtml', '/players/g/graveke01.shtml', '/players/k/kellyjo05.shtml' # ... 更多链接 ]
注意事项与最佳实践
- XPath的精确性： 编写XPath时应尽量精确，避免过度泛化，以减少意外匹配。使用id或class等唯一标识符是提高XPath稳定性的好方法。
- HTML结构变化： 网站的HTML结构可能会发生变化，导致XPath失效。定期检查并更新XPath是维护抓取脚本的必要工作。
- 处理相对路径： 提取到的href值可能是相对路径（如/players/b/berrijo01.shtml）。在需要完整URL时，需要将其与基URL（https://www.baseball-reference.com）拼接起来。
- 错误处理： 当XPath表达式未找到任何匹配项时，tree.xpath()会返回一个空列表。在实际应用中，应考虑对返回结果进行检查，避免对空列表进行操作。
- 网站政策： 在进行网页抓取时，请务必遵守网站的robots.txt协议和使用条款，尊重网站的数据。
总结
通过本教程，我们学习了如何利用LXML和XPath表达式从HTML文档中精确提取标签的href属性值。关键在于将XPath表达式中针对文本内容的text()替换为针对属性的@attribute_name（例如@href）。掌握这一技巧将极大地提升您在使用LXML进行网页数据抓取时的效率和灵活性。记住，精确的XPath和对HTML结构的理解是成功提取目标数据的基石。
