Scrapy Selector与XPath基础
Scrapy框架内置的Selector是其强大之处，它允许我们使用XPath或CSS选择器从HTML或XML文档中提取数据。XPath是一种在XML文档中查找信息的语言，它通过路径表达式来选取节点或节点集。在Scrapy中，我们通常会先将响应体转换为Selector对象，然后利用其.xpath()或.css()方法进行数据提取。
考虑以下HTML结构示例：
1
2
3
4
5
6
7
8
9
我们的目标是从每个
标签的文本内容，即期望得到1、4、7。
问题解析：为何只获取第一个元素？
许多初学者在使用Scrapy Selector进行循环提取时，可能会遇到只获取到第一个匹配项的问题。这通常是由于对XPath上下文和.get()方法行为的误解造成的。
让我们分析一个常见的错误示例：
from scrapy.selector import Selector body = '''
1
2
3
4
5
6
7
8
9
的文本 first = elem.xpath('.//li/p[1]/text()').get() print(first)
运行结果：
1
问题原因剖析：
- 循环目标误区： for elem in sel.xpath('//body'): 这行代码是问题的核心。由于示例HTML中只有一个标签，sel.xpath('//body')将返回一个只包含一个Selector对象的列表，该对象代表了整个标签。因此，这个for循环实际上只执行了一次。
-
.get()方法行为： 在循环的唯一一次迭代中，elem变量代表了整个标签的Selector。接着执行elem.xpath('.//li/p[1]/text()').get()。
- elem.xpath('.//li/p[1]/text()')这条XPath表达式在的上下文中，会找到所有
- 标签下的第一个
标签的文本节点，即1、4、7。
- 然而，.get()方法的作用是从匹配到的所有结果中只返回第一个。因此，它只返回了1，而4和7被忽略了。
要正确地实现对每个
文本的提取，我们需要调整循环的逻辑或提取方法。
解决方案一：精确迭代目标元素
最直观且符合预期逻辑的解决方案是，让循环直接作用于我们想要独立处理的每个元素上。在本例中，我们希望处理的是每个
from scrapy.selector import Selector body = '''
1
2
3
4
5
6
7
8
9
的文本 # 注意：这里使用相对路径 './' 或不带前缀的 'p[1]' first_p_text = li_elem.xpath('./p[1]/text()').get() print(first_p_text)
运行结果：
1 4 7
解析：
- for li_elem in sel.xpath('//li'):：现在，循环会遍历所有匹配到的
- 标签。每次迭代时，li_elem变量都代表一个独立的
- 标签的Selector对象。
- li_elem.xpath('./p[1]/text()').get()：在每次迭代中，XPath表达式./p[1]/text()是在当前li_elem（即当前的
- 标签）的相对上下文中执行的。./表示当前节点。因此，它会准确地找到当前
- 标签下的第一个
标签的文本，并使用.get()方法提取该文本。由于每次循环只处理一个
- ，所以.get()总是返回当前
- 中第一个
的文本。
这种方法清晰地表达了“对每个
解决方案二：一次性获取所有匹配项
如果你的目标仅仅是收集所有匹配的文本，而不需要对每个父级元素进行独立的处理或额外的逻辑，那么可以使用.getall()方法一次性获取所有结果。
from scrapy.selector import Selector body = '''
1
2
3
4
5
6
7
8
9
运行结果：
1 4 7
解析：
- sel.xpath('//li/p[1]/text()')：这个XPath表达式
