Python requests库获取HTTP重定向状态码的技巧与实践

在使用python的`requests`库进行http请求时，默认情况下它会自动跟随重定向，导致无法直接获取到3xx系列的状态码，而是返回最终页面的200状态码。本教程将详细解释这一机制，并提供通过设置`allow_redirects=false`参数来禁用自动重定向，从而准确捕获并处理http重定向响应的实用方法和代码示例。

理解requests库的默认重定向行为

requests库是Python中一个非常流行且功能强大的HTTP客户端库。它的设计理念是让HTTP请求变得简单直观。其中一个默认行为就是自动处理HTTP重定向（如301 Moved Permanently, 302 Found等）。当服务器返回一个3xx状态码时，requests库会自动解析响应头中的Location字段，并向新的URL发起另一个请求，直到遇到非重定向的状态码（通常是2xx成功响应）。

这种自动跟随重定向的机制在大多数情况下都非常方便，它允许开发者无需手动处理重定向链就能获取到最终的资源。然而，在某些特定场景下，例如需要分析重定向链、检测链接是否是重定向链接，或者统计不同类型的HTTP状态码时，这种默认行为就会导致问题——你无法直接获取到中间的3xx状态码，因为requests最终返回的是重定向链末端的响应状态。

为什么无法直接获取3xx状态码？

正如前文所述，当requests.get()方法发起请求并遇到服务器返回的301、302等重定向状态码时，它不会立即停止并返回这个3xx状态码。相反，它会像浏览器一样，根据响应头中的Location字段自动发起一个新的请求到目标URL。这个过程会持续进行，直到遇到一个非3xx的状态码（例如200 OK，404 Not Found，500 Internal Server Error等），然后requests库才会返回这个最终请求的响应对象。

因此，如果你期望通过response.status_code获取到302状态码，但实际上却得到了200，那么很可能就是requests库已经默默地完成了重定向，并返回了最终页面的状态。

立即学习“Python免费学习笔记（深入）”；

解决方案：禁用自动重定向

要解决这个问题，并能够捕获到原始的3xx重定向状态码，我们需要告诉requests库不要自动跟随重定向。这可以通过在requests.get()（或post()、head()等）方法中设置allow_redirects参数为False来实现。

Quillbot

一款AI写作润色工具，QuillBot的人工智能改写工具将提高你的写作能力。

下载

当allow_redirects=False时，requests库在接收到任何3xx重定向响应时，都会立即停止并返回该重定向响应本身，而不是继续请求重定向的目标URL。这样，你就可以直接通过response.status_code获取到301、302等重定向状态码。

示例代码：如何捕获重定向状态

以下是一个修改后的Python脚本，它读取CSV文件中的URL列表，并检查每个URL的状态，包括准确捕获重定向状态码。

import csv
import requests
from requests.exceptions import RequestException # 导入更具体的异常类型

def check_url_status(url):
    """
    检查URL状态并返回描述性状态字符串，支持捕获重定向。
    :param url: 待检查的URL字符串。
    :return: 描述URL状态的字符串。
    """
    try:
        # 禁用自动重定向，以便捕获3xx状态码
        # timeout参数用于设置请求超时时间，防止长时间等待
        response = requests.get(url, timeout=5, allow_redirects=False)
        status_code = response.status_code

        if 200 <= status_code < 300:
            return f"活动 ({status_code})"
        elif 300 <= status_code < 400:
            # 捕获到重定向状态码，可以进一步细分
            if status_code == 301:
                return f"永久重定向 ({status_code})"
            elif status_code == 302:
                return f"临时重定向 ({status_code})"
            elif status_code == 303:
                return f"查看其他 ({status_code})"
            elif status_code == 307:
                return f"临时重定向 (HTTP/1.1) ({status_code})"
            elif status_code == 308:
                return f"永久重定向 (HTTP/1.1) ({status_code})"
            else:
                return f"其他重定向 ({status_code})"
        elif 400 <= status_code < 500:
            return f"客户端错误 ({status_code})"
        elif 500 <= status_code < 600:
            return f"服务器错误 ({status_code})"
        else:
            return f"未知状态 ({status_code})"
    except RequestException as e:
        # 捕获requests库特有的请求异常，如连接错误、超时等
        return f"请求错误: {e}"
    except Exception as e:
        # 捕获其他未知异常
        return f"其他错误: {e}"

# 示例用法：
if __name__ == "__main__":
    # 为了演示，我们先创建一个示例的urls.csv文件
    # 实际应用中，您可能已经有了这个文件
    sample_urls_data = [
        "http://httpbin.org/redirect/1",  # 会重定向一次 (302)
        "http://httpbin.org/status/200",  # 正常 (200)
        "http://httpbin.org/status/404",  # 客户端错误 (404)
        "http://httpbin.org/status/500",  # 服务器错误 (500)
        "https://www.google.com",         # 外部正常网站 (200)
        "http://invalid-domain-example.com" # 可能导致请求错误
    ]
    csv_filename_input = "urls.csv"
    csv_filename_output = "url_status.csv"

    print(f"正在创建示例文件 {csv_filename_input}...")
    with open(csv_filename_input, "w", newline="", encoding="utf-8") as f:
        writer = csv.writer(f)
        for url in sample_urls_data:
            writer.writerow([url])
    print(f"示例文件 {csv_filename_input} 创建成功。")

    # 从CSV文件读取URL
    urls_to_check = []
    try:
        with open(csv_filename_input, "r", encoding="utf-8") as csvfile:
            reader = csv.reader(csvfile)
            for row in reader:
                if row: # 确保行不为空
                    urls_to_check.append(row[0].strip()) # strip()去除可能的空白字符
    except FileNotFoundError:
        print(f"错误: {csv_filename_input} 文件未找到。请确保文件存在并包含URL列表。")
        exit()

    print(f"\n正在检查 {len(urls_to_check)} 个URL的状态...")
    results = []
    for url in urls_to_check:
        status = check_url_status(url)
        print(f"URL: {url} -> 状态: {status}")
        results.append([url, status])

    # 将结果写入新的CSV文件
    print(f"\n正在将结果写入 {csv_filename_output}...")
    with open(csv_filename_output, "w", newline="", encoding="utf-8") as outfile:
        writer = csv.writer(outfile)
        writer.writerow(["URL", "状态"])
        writer.writerows(results)

    print(f"\nURL状态已成功写入 {csv_filename_output}！")

在上述代码中，关键的改动在于requests.get(url, timeout=5, allow_redirects=False)这一行。通过设置allow_redirects=False，check_url_status函数现在能够准确捕获并报告重定向状态码（如301、302），而不是仅仅返回最终页面的200状态码。

注意事项与总结

1. 手动处理重定向目标： 当allow_redirects=False时，如果响应是3xx状态码，你可以通过response.headers.get('Location')来获取重定向的目标URL。如果你需要追踪完整的重定向链，就需要手动编写逻辑来递归地请求Location头指定的URL。
2. 错误处理： 在进行网络请求时，务必考虑各种异常情况，例如网络连接中断、DNS解析失败、请求超时等。使用try-except块捕获requests.exceptions.RequestException及其子类可以有效地处理这些问题。
3. 性能考量： 禁用自动重定向后，如果你的应用程序需要获取最终页面内容，并且重定向链很长，那么你需要进行多次请求，这可能会增加代码的复杂性和执行时间。在大多数情况下，如果只是获取最终内容，默认的allow_redirects=True是更高效的选择。
4. 适用场景： 禁用自动重定向主要适用于以下场景：
   • 需要精确记录或分析HTTP重定向过程。
   • 检测链接是否为重定向链接。
   • 测试服务器的重定向配置是否正确。
   • 防止无限重定向循环导致程序崩溃。

通过理解requests库的重定向机制并灵活运用allow_redirects参数，开发者可以更好地控制HTTP请求行为，满足更复杂的网络数据抓取和分析需求。