答案：处理Scrapy翻页需根据分页机制选择方法。1. 用response.follow提取“下一页”链接递归爬取；2. 构造规则URL批量请求；3. 利用meta传递分类等上下文信息；4. 针对Ajax动态加载，分析API接口直接请求JSON数据。
在使用Python的Scrapy框架爬取数据时，处理翻页是常见需求。核心思路是解析页面中的“下一页”链接，并将其加入待爬队列，直到没有下一页为止。以下是几种常用的翻页处理方法。
1. 使用response.follow自动处理分页链接
如果目标网站的分页结构清晰，比如每页底部有“下一页”的链接，可以直接提取该链接并用response.follow发起请求。
示例代码：
def parse(self, response):
# 解析当前页的数据
for item in response.css('.item'):
yield {
'title': item.css('h2::text').get(),
'link': item.css('a::attr(href)').get()
}
<pre class='brush:python;toolbar:false;'># 查找下一页链接
next_page = response.css('a.next::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, callback=self.parse)说明： response.follow会自动处理相对URL，推荐用于链接提取。只要“下一页”存在，就会递归调用parse方法。
立即学习“Python免费学习笔记（深入）”；
2. 构造分页URL（适用于规则页码）
有些网站的分页URL是规则的，如https://example.com/page/2、https://example.com/page/3等。这时可直接构造URL发起请求。
def start_requests(self):
base_url = "https://example.com/page/"
for page in range(1, 11): # 爬前10页
yield scrapy.Request(url=f"{base_url}{page}", callback=self.parse)
适用场景： 页数固定或可通过接口获取总页数，适合性能要求较高的情况。
3. 使用meta传递上下文信息
在翻页过程中，有时需要保留某些状态（如分类、关键词），可以通过meta参数传递。
def parse(self, response):
for item in response.css('.list-item'):
yield {
'name': item.css('.name::text').get(),
'category': response.meta.get('category')
}
<pre class='brush:python;toolbar:false;'>next_page = response.css('a[rel="next"]::attr(href)').get()
if next_page:
yield response.follow(
next_page,
callback=self.parse,
meta={'category': response.meta.get('category')}
)优势： 可在多级翻页中保持上下文，便于后续数据处理。
4. 处理Ajax加载（动态翻页）
对于通过JavaScript加载更多内容的页面（如点击“加载更多”），Scrapy默认无法抓取。此时需分析其背后的API接口。
操作建议：
- 打开浏览器开发者工具，查看网络请求
- 找到返回JSON数据的XHR/Fetch请求
- 直接向该API发送请求，带上必要的参数和Headers（如User-Agent、Cookie）
def start_requests(self):
api_url = "https://example.com/api/items?page=1"
headers = {
'User-Agent': 'Mozilla/5.0',
'X-Requested-With': 'XMLHttpRequest'
}
yield scrapy.Request(url=api_url, headers=headers, callback=self.parse_api)
基本上就这些常见的翻页处理方式。选择哪种方法取决于目标网站的分页机制。关键是要确保翻页逻辑不会陷入无限循环，同时注意遵守robots.txt和反爬策略。
