XPath是一种用于在HTML和XML中精准定位节点的语言，相比CSS选择器和正则表达式，其语法更灵活、支持复杂查询。1. 它可通过标签名、属性、文本内容等精确定位元素；2. 支持包含文本、属性前缀匹配等高级筛选；3. 主流库如lxml和Scrapy原生支持XPath。使用lxml解析时，html.fromstring()可将HTML转为树结构，再通过xpath()方法提取数据，如//h3[@class="title"]/text()获取商品名称。Scrapy中，response.xpath()直接解析响应，.//用于相对路径查找，get()获取首个结果，避免越界。掌握常用表达式如//a/@href提取链接、contains(text(), "关键词")匹配文本，能显著提升爬虫效率。XPath在处理结构复杂的页面时更具优势，是Python爬虫开发的重要工具。
在Python爬虫开发中，XPath是一种强大的工具，用于精准定位和提取HTML或XML文档中的元素。相比正则表达式或CSS选择器，XPath语法灵活、表达能力强，尤其适合处理结构复杂或标签嵌套较深的网页内容。
什么是XPath及其优势
XPath（XML Path Language） 是一种用于在XML和HTML文档中查找节点的语言。它通过路径表达式来导航节点树，支持多种条件筛选、函数调用和逻辑判断。
使用XPath解析网页的优势包括：
- 定位精确：可通过标签名、属性、文本内容、位置等多种方式定位元素
- 支持复杂查询：如包含某文本、属性以特定值开头等
- 兼容性好：lxml、Scrapy等主流爬虫库都原生支持XPath
结合lxml使用XPath提取数据
Python中最常用的XPath解析库是 lxml，它速度快且语法简洁。安装方式为：
立即学习“Python免费学习笔记（深入）”；
pip install lxml以下是一个基本使用示例：
假设我们要从一段HTML中提取所有商品名称和价格：
from lxml import html示例HTML
html_content = '''
手机
¥2999'''笔记本电脑
¥5999解析HTML
tree = html.fromstring(html_content)
使用XPath提取标题
titles = tree.xpath('//h3[@class="title"]/text()') prices = tree.xpath('//span[@class="price"]/text()')
print(titles) # ['手机', '笔记本电脑'] print(prices) # ['¥2999', '¥5999']
常用XPath语法技巧
掌握一些常用表达式能显著提升数据提取效率：
- //div[@id='content']：选取所有id为content的div元素
- //a/@href：提取所有链接的href属性值
- //p[contains(text(), "关键词")]：查找包含指定文本的p标签
- //img[not(@src)]：查找没有src属性的图片标签
- (//div)[2]：选取第二个div元素（注意括号）
例如提取页面所有外部链接：
links = tree.xpath('//a[starts-with(@href, "http")]/@href')在Scrapy中使用XPath
Scrapy框架内置了对XPath的强力支持，response对象可直接调用xpath方法：
def parse(self, response):
for product in response.xpath('//div[@class="product"]'):
yield {
'name': product.xpath('.//h3/text()').get(),
'price': product.xpath('.//span[@class="price"]/text()').get(),
}
注意使用 .// 表示相对当前节点查找子元素。get()方法返回第一个匹配结果，避免索引越界；若需全部结果可用getall()。
基本上就这些。熟练掌握XPath能让爬虫更稳定高效，尤其是在面对动态加载少、结构清晰的静态页面时，往往比CSS选择器更直观有力。
