本文介绍了如何使用Python的requests和re模块，编写一个网络爬虫来递归地提取网站上的所有链接。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项，并提供了优化后的代码示例，避免无限循环，提高爬取效率。
网络爬虫是一种自动浏览网页并提取信息的程序。在Python中，requests库常用于发送HTTP请求获取网页内容，re模块则用于使用正则表达式从文本中提取所需信息。本文将介绍如何结合这两个库，编写一个递归爬虫，提取指定网站的所有链接。
爬虫实现思路
- 发送HTTP请求： 使用requests.get()方法向目标URL发送GET请求，获取网页的HTML内容。
- 提取链接： 使用re.findall()方法，通过正则表达式匹配HTML内容中的href属性，提取所有链接。
- 处理链接： 将提取到的相对链接转换为绝对链接，并去除锚点（#后面的部分）。
- 递归爬取： 对提取到的每个链接，递归调用爬取函数，继续提取链接。
- 避免无限循环： 使用集合记录已访问过的链接，避免重复爬取，防止无限循环。
- 限制爬取深度： 设置最大爬取深度，防止爬虫爬取过多的页面。
关键代码解析
以下是优化后的代码示例，并附带详细注释：
import requests
import re
from urllib.parse import urljoin, urlparse
def extract_links_from(url):
"""
从指定URL的网页中提取所有链接。
Args:
url: 要提取链接的URL。
Returns:
包含所有链接的列表。如果请求失败，返回空列表。
"""
try:
response = requests.get(url)
response.raise_for_status() # 检查HTTP状态码，如果不是200，则抛出异常
except requests.exceptions.RequestException as e:
print(f"Error fetching {url}: {e}")
return []
content = str(response.content)
links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)
return links
def crawl(url, domain, visited=set(), max_depth=5):
"""
递归地爬取指定网站的所有链接。
Args:
url: 要开始爬取的URL。
domain: 目标网站的域名。
visited: 已经访问过的URL集合，用于避免无限循环。
max_depth: 最大爬取深度。
Returns:
包含所有爬取到的链接的列表。
"""
if max_depth == 0 or url in visited:
return []
visited.add(url)
href_links = extract_links_from(url)
links_list = []
for link in href_links:
link = urljoin(url, link.split("#")[0]) # 将相对链接转换为绝对链接，并去除锚点
parsed_link = urlparse(link)
if parsed_link.netloc == domain and link not in visited:
links_list.append(link)
links_list.extend(crawl(link, domain, visited, max_depth - 1)) # 递归调用crawl函数
return links_list
# 示例用法
target_url = "https://www.free-power-point-templates.com/"
parsed_url = urlparse(target_url)
domain = parsed_url.netloc
result = crawl(target_url, domain)
print(result)代码解释：
立即学习“Python免费学习笔记（深入）”；
- extract_links_from(url)函数：
-
crawl(url, domain, visited=set(), max_depth=5)函数：
- 使用if max_depth == 0 or url in visited:作为递归终止条件，避免无限循环和超出最大深度。
- 使用visited.add(url)将当前URL添加到已访问集合中。
- 使用urljoin(url, link.split("#")[0])将提取到的相对链接转换为绝对链接，并去除锚点。
- 使用urlparse(link).netloc == domain判断链接是否属于目标域名。
- 使用links_list.extend(crawl(link, domain, visited, max_depth - 1))递归调用crawl函数，爬取新的链接。
注意事项
- 遵守Robots协议： 在爬取网站之前，应该先查看网站的robots.txt文件，了解网站的爬取规则，避免爬取禁止访问的页面。
- 设置User-Agent： 在发送HTTP请求时，应该设置User-Agent，模拟浏览器行为，避免被网站识别为爬虫。
- 控制爬取频率： 爬取速度过快可能会给网站服务器带来压力，甚至导致IP被封禁。应该控制爬取频率，设置合理的延迟时间。
- 异常处理： 在爬取过程中，可能会遇到各种异常，例如网络连接错误、页面不存在等。应该使用try-except语句捕获这些异常，并进行相应的处理。
- 数据存储： 将爬取到的数据存储到文件或数据库中，方便后续分析和使用。
- 避免无限循环： 这是最重要的一点，一定要使用visited集合记录已访问的链接，并设置最大爬取深度，防止爬虫陷入无限循环。
总结
本文介绍了使用Python的requests和re模块编写递归爬虫的方法。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项。在实际应用中，需要根据具体情况进行调整和优化，例如添加代理IP、使用多线程/多进程提高爬取效率等。记住，编写爬虫时一定要遵守网站的规则，尊重网站的权益。
