设置请求头可模拟浏览器行为，避免被识别为爬虫。通过requests的headers参数添加user-agent、accept等字段，使服务器误认为请求来自真实用户，提高爬取成功率，并可通过随机切换user-agent增强隐蔽性。
在使用Python编写爬虫时，很多网站会通过检查请求头（Request Headers）来判断是否为浏览器访问。如果发现是爬虫程序发起的请求，可能会返回错误页面或直接拒绝访问。为了让爬虫更像真实用户行为，需要设置合适的请求头来模拟浏览器访问。
为什么要设置请求头
默认情况下，requests库发出的请求没有携带浏览器常见的头部信息，服务器很容易识别出这是自动化脚本。通过添加如 User-Agent、Accept、Referer 等字段，可以让服务器认为请求来自正常浏览器，从而提高爬取成功率。
常见请求头参数说明
以下是一些关键的请求头字段及其作用：
- User-Agent：标识客户端浏览器类型和操作系统，最常用也最重要。
- Accept：告诉服务器客户端能接收的内容类型。
- Accept-Language：表示语言偏好，比如中文用户通常设为 zh-CN。
- Accept-Encoding：指定压缩方式，如 gzip, deflate。
- Connection：连接管理，常设为 keep-alive。
- Referer：表示请求来源页面，某些网站防盗链会检查此项。
使用 requests 设置请求头的方法
可以通过 headers 参数传入一个字典，自定义所有请求头信息。下面是一个完整示例：
立即学习“Python免费学习笔记（深入）”；
import requests
url = "https://httpbin.org/get"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Connection": "keep-alive",
"Referer": "https://www.google.com/"
}
response = requests.get(url, headers=headers)
print(response.text)
这个请求现在看起来就像从Chrome浏览器发出的一样，大大降低被拦截的概率。
随机切换 User-Agent 提高隐蔽性
为了进一步避免被封IP或识别为机器人，可以准备多个 User-Agent，在每次请求时随机选择：
import requests
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36...",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36..."
]
headers = {
"User-Agent": random.choice(user_agents),
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive"
}
response = requests.get("https://example.com", headers=headers)
这样每次请求使用的浏览器标识都不一样，更接近真实用户行为。
基本上就这些。合理设置请求头是爬虫基础但关键的一步，不仅能提升成功率，还能减少对目标网站的压力。注意遵守robots协议，控制请求频率，做负责任的数据采集。
