在使用Python `requests`库访问某些网页链接时，可能会遇到直接访问失败但通过点击源页面按钮却成功的现象。这通常是由于目标网站检查HTTP `Referer`头部信息所致。本文将详细讲解`Referer`头的作用，并提供使用`requests`库在Python中正确设置`Referer`头以成功获取目标资源的方法，旨在帮助开发者克服此类访问障碍。
理解HTTP Referer头部
在Web浏览中，当用户从一个页面（源页面）点击链接跳转到另一个页面（目标页面）时，浏览器通常会在发送给目标服务器的HTTP请求中包含一个Referer头部。这个头部字段包含了源页面的URL，即用户是从哪个页面“引用”或“推荐”过来的。
网站利用Referer头部有多种目的：
- 安全验证： 某些网站会检查Referer头，以确保请求是来自其预期的页面，防止未经授权的直接访问或热链接（hotlinking）。例如，下载链接可能只允许从其官方下载页面点击进入。
- 流量分析： 网站可以通过Referer了解用户来源，进行流量统计和分析。
- 会话管理： 在某些复杂的Web应用中，Referer也可能用于辅助会话状态的维护。
当通过Python requests库直接访问一个链接时，默认情况下，requests不会自动设置Referer头部。如果目标网站依赖此头部进行验证，那么直接请求就会被服务器拒绝或重定向到其他页面，导致无法获取预期的资源。
立即学习“Python免费学习笔记（深入）”；
解决策略：设置Referer头部
要解决此类问题，核心在于在Python requests请求中手动添加正确的Referer头部。你需要确定目标链接的“源页面”URL，并将其作为Referer的值。
示例场景分析
考虑以下场景： 一个下载按钮的HTML结构如下：
<a
href="https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download"
class="btn"
type="submit"
title="Download Video"
>
<i class="fas fa-download"></i> Download <i class="fas fa-file-video"></i>
<span class="small-text">(Video)</span>
</a>这个下载链接 (https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download) 只有在用户从其父页面 (https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7) 点击时才能正常跳转到实际的下载资源 (https://www.sabishare.com/file/mHxiMiZHW15-alchemy-of-souls-s01e07-netnaija-com-mp4)。直接访问下载链接，则会被重定向回父页面。
Python requests实现
为了模拟浏览器点击的行为，我们需要在requests.get()请求中包含Referer头部，其值应为包含下载按钮的那个页面的URL。
import requests
# 目标下载链接，直接访问会失败或重定向
target_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download'
# 包含下载按钮的源页面URL，这将作为Referer头部的值
referrer_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7'
# 构建请求头部，包含Referer
headers = {
'Referer': referrer_url,
# 还可以根据需要添加其他头部，如User-Agent等，以更好地模拟浏览器行为
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36'
}
print(f"尝试访问目标URL: {target_url}")
print(f"使用Referer: {referrer_url}")
try:
# 发送GET请求，并设置Referer头部
# allow_redirects=True 确保requests会自动处理服务器返回的重定向，直到最终资源
response = requests.get(target_url, headers=headers, allow_redirects=True)
# 打印最终请求的URL，这将是实际的下载资源URL
print(f"最终获取的URL: {response.url}")
# 打印响应状态码和部分内容（例如，如果是一个下载页面，可能包含下载链接）
print(f"响应状态码: {response.status_code}")
# print(response.text[:500]) # 打印前500个字符的内容，用于调试
# 如果需要下载文件，可以进一步处理response.content
# with open("downloaded_file.mp4", "wb") as f:
# f.write(response.content)
except requests.exceptions.RequestException as e:
print(f"请求发生错误: {e}")
在上述代码中：
- target_url 是你希望访问的下载链接。
- referrer_url 是包含下载按钮的那个页面的URL。
- headers 字典中设置了'Referer': referrer_url。
- requests.get() 方法使用这些自定义头部发送请求。allow_redirects=True 参数确保requests库会跟随任何由服务器发出的重定向，直到到达最终的目标页面（在本例中是实际的下载资源页面）。
通过这种方式，你的Python脚本就能模拟浏览器行为，欺骗服务器认为请求是来自合法的源页面，从而成功获取到被Referer限制的资源。
注意事项与总结
- User-Agent： 除了Referer，有时网站还会检查User-Agent头部，以判断请求是否来自常见的浏览器。在某些情况下，你可能还需要设置一个模拟浏览器的User-Agent来避免被识别为爬虫。
- 动态Referer： 如果Referer页面本身是动态生成的，或者需要登录才能访问，那么获取正确的Referer可能会更复杂，可能需要先模拟登录或处理JavaScript渲染。
- 网站政策： 在进行任何形式的网页抓取之前，请务必查阅目标网站的robots.txt文件和使用条款，确保你的行为符合其规定。不当的抓取行为可能导致IP被封禁或引发法律问题。
- 错误处理： 在实际应用中，应加入更完善的错误处理机制，例如处理网络连接问题、HTTP状态码非200的情况等。
通过正确设置HTTP Referer头部，你可以有效地解决Python requests库在访问受源页面限制的链接时遇到的问题。理解并合理利用HTTP头部信息是进行高效和稳定网络请求的关键。
