XPath是一种用于在HTML和XML中精准定位节点的语言，相比CSS选择器和正则表达式，其语法更灵活、支持复杂查询。1. 它可通过标签名、属性、文本内容等精确定位元素；2. 支持包含文本、属性前缀匹配等高级筛选；3. 主流库如lxml和Scrapy原生支持XPath。使用lxml解析时，html.fromstring()可将HTML转为树结构，再通过xpath()方法提取数据，如//h3[@class="title"]/text()获取商品名称。Scrapy中，response.xpath()直接解析响应，.//用于相对路径查找，get()获取首个结果，避免越界。掌握常用表达式如//a/@href提取链接、contains(text(), "关键词")匹配文本，能显著提升爬虫效率。XPath在处理结构复杂的页面时更具优势，是Python爬虫开发的重要工具。
在Python爬虫开发中，XPath是一种强大的工具，用于精准定位和提取HTML或XML文档中的元素。相比正则表达式或CSS选择器，XPath语法灵活、表达能力强，尤其适合处理结构复杂或标签嵌套较深的网页内容。
什么是XPath及其优势
XPath（XML Path Language） 是一种用于在XML和HTML文档中查找节点的语言。它通过路径表达式来导航节点树，支持多种条件筛选、函数调用和逻辑判断。
使用XPath解析网页的优势包括：
- 定位精确：可通过标签名、属性、文本内容、位置等多种方式定位元素
- 支持复杂查询：如包含某文本、属性以特定值开头等
- 兼容性好：lxml、Scrapy等主流爬虫库都原生支持XPath
结合lxml使用XPath提取数据
Python中最常用的XPath解析库是 lxml，它速度快且语法简洁。安装方式为：
立即学习“Python免费学习笔记（深入）”；
pip install lxml以下是一个基本使用示例：
假设我们要从一段HTML中提取所有商品名称和价格：
from lxml import html
<h1>示例HTML</h1><p>html_content = '''
<div class="product">
<h3 class="title">手机</h3>
<span class="price">¥2999</span>
</div>
<div class="product">
<h3 class="title">笔记本电脑</h3>
<span class="price">¥5999</span>
</div>
'''</p><h1>解析HTML</h1><p>tree = html.fromstring(html_content)</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/ai/857" title="ChatDOC"><img
src="https://img.php.cn/upload/ai_manual/001/503/042/68b6d657cd5a6840.png" alt="ChatDOC" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/ai/857" title="ChatDOC">ChatDOC</a>
<p>ChatDOC是一款基于chatgpt的文件阅读助手，可以快速从pdf中提取、定位和总结信息</p>
</div>
<a href="/ai/857" title="ChatDOC" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>使用XPath提取标题</h1><p>titles = tree.xpath('//h3[@class="title"]/text()')
prices = tree.xpath('//span[@class="price"]/text()')</p><p>print(titles) # ['手机', '笔记本电脑']
print(prices) # ['¥2999', '¥5999']</p>常用XPath语法技巧
掌握一些常用表达式能显著提升数据提取效率：
- //div[@id='content']：选取所有id为content的div元素
- //a/@href：提取所有链接的href属性值
- //p[contains(text(), "关键词")]：查找包含指定文本的p标签
- //img[not(@src)]：查找没有src属性的图片标签
- (//div)[2]：选取第二个div元素（注意括号）
例如提取页面所有外部链接：
links = tree.xpath('//a[starts-with(@href, "http")]/@href')在Scrapy中使用XPath
Scrapy框架内置了对XPath的强力支持，response对象可直接调用xpath方法：
def parse(self, response):
for product in response.xpath('//div[@class="product"]'):
yield {
'name': product.xpath('.//h3/text()').get(),
'price': product.xpath('.//span[@class="price"]/text()').get(),
}
注意使用 .// 表示相对当前节点查找子元素。get()方法返回第一个匹配结果，避免索引越界；若需全部结果可用getall()。
基本上就这些。熟练掌握XPath能让爬虫更稳定高效，尤其是在面对动态加载少、结构清晰的静态页面时，往往比CSS选择器更直观有力。
