如何使用 Python 编写分页爬虫：安装 requests、bs4 和 time 库。分析目标网站的分页机制。根据分页机制构造分页 URL 函数。使用循环爬取所有分页结果。实现 extract_data() 函数以提取所需数据。处理提取的数据。通过检查“下一页”链接、最后一个分页链接或页面上的特定文字/元素来确定最后一页。
如何使用 Python 编写分页爬虫
简介
编写分页爬虫需要处理分页结果，以便从多个页面中提取数据。本文将介绍使用 Python 实现分页爬虫的步骤。
步骤 1：安装必要的库
立即学习“Python免费学习笔记（深入）”；
- requests：用于发送 HTTP 请求
- bs4：用于解析 HTML
- time：用于控制爬取速率
<code class="python">import requests from bs4 import BeautifulSoup import time</code>
步骤 2：确定分页机制
分析目标网站的分页机制，确定如何从一个页面导航到下一个页面。通常，网站会使用以下方式之一进行分页：
-
查询参数：分页信息包含在 URL 的查询字符串中，例如
"page=1"。 - 锚标记：点击“下一页”或“上一页”按钮会导航到另一个页面。
- JavaScript 加载更多按钮：单击按钮会动态加载更多结果，而无需导航到新页面。
步骤 3：构造分页 URL
根据步骤 2 确定的分页机制，构造一个函数来生成分页 URL。
查询参数：
<code class="python">def get_paginated_url(base_url, page_number):
return base_url + f"?page={page_number}"</code>锚标记：
<code class="python">def get_paginated_url(base_url, next_page_link):
return base_url + next_page_link</code>步骤 4：编写爬取循环
使用一个循环来爬取所有分页结果。在循环中，发送请求、解析 HTML 并提取所需数据。
<code class="python">page_number = 1
while True:
# 构造分页 URL
url = get_paginated_url(base_url, page_number)
# 发送请求
response = requests.get(url)
# 解析 HTML
soup = BeautifulSoup(response.text, "html.parser")
# 提取数据
data = extract_data(soup)
# 处理数据
# 确定是否已到达最后一页
if is_last_page(soup):
break
# 延迟爬取以避免请求限制
time.sleep(1)
# 递增页码
page_number += 1</code>步骤 5：提取所需数据
根据您要提取的数据类型，实现一个 extract_data() 函数。该函数应从解析的 HTML 中提取相关信息。
步骤 6：处理数据
在提取数据后，您可以将其存储到数据库、文件或进一步处理。
步骤 7：确定最后一页
最后，您需要确定何时到达最后一页。这可以根据以下条件来实现：
- 无法找到“下一页”链接或按钮
- 最后一个分页链接指向当前页面
- 页面中存在指示最后一页的文字或元素
