requests是python爬虫最该先掌握的库，因其简单稳定且能满足90%静态页面抓取需求；包含安装与基础请求、带参与请求头、响应数据处理、异常处理与会话保持四大核心用法。
想用 Python 写爬虫，requests 是最该先掌握的库——它简单、稳定、功能够用，90% 的静态页面抓取任务靠它就能搞定。
一、安装和基础请求：三行代码拿下网页
先确保已安装 requests（没装就运行 pip install requests）。然后：
- 用 requests.get(url) 发起 GET 请求，返回一个 Response 对象
- 用 .text 获取字符串内容（适合 HTML、JSON 文本）
- 用 .content 获取原始字节（适合图片、PDF 等二进制数据）
示例：
import requests
res = requests.get('https://httpbin.org/get')
print(res.status_code) # 看状态码，200 表示成功
print(res.text) # 打印响应正文
二、带参数和请求头：让请求更像真人
很多网站会检查 User-Agent，直接请求可能被拒绝或返回 403。加上 headers 就能绕过基础反爬：
立即学习“Python免费学习笔记（深入）”；
python基础教程至60课_python入门基础资料 word版
下载
python基础教程至60课，这篇教程开始就为大家介绍了，为什么学习python，python有什么优点等，确实让你想快点学习python。为什么用Python作为编程入门语言？ 原因很简单。 每种语言都会有它的支持者和反对者。去Google一下“why python”，你会得到很多结果，诸如应用范围广泛、开源、社区活跃、丰富的库、跨平台等等等等，也可能找到不少对它的批评，格式死板、效率低、国内用的人很少之类。不过这些优缺点的权衡都是程序员们的烦恼。作为一个想要学点
- URL 参数用 params=字典 自动拼接（比手动拼 '?a=1&b=2' 更安全）
- 请求头用 headers=字典，常见字段如 'User-Agent'、'Referer'
示例：
url = 'https://httpbin.org/get'
params = {'page': 1, 'limit': 10}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
res = requests.get(url, params=params, headers=headers)
三、处理响应数据：提取关键信息不靠猜
拿到响应后，别急着正则或手撕 HTML。先判断类型再选工具：
- 如果返回的是 JSON（比如接口），直接用 res.json() 解析成 Python 字典
- 如果是 HTML，推荐后续配合 BeautifulSoup 或 lxml 解析结构化数据
- 注意检查 res.encoding，中文乱码时可手动设为 'utf-8' 或 'gbk'
示例（解析 JSON 接口）：
res = requests.get('https://httpbin.org/json')
data = res.json() # 自动解析，不用 json.loads(res.text)
print(data['slideshow']['title']) # 直接按键取值
四、异常处理和会话保持：让爬虫稳一点
真实环境中网络不稳定、目标站改版、超时都是常态，加一层防护很必要：
- 用 try-except 捕获 requests.exceptions.RequestException（含超时、连接失败等）
- 设置 timeout=(连接超时, 读取超时)，避免卡死，比如 timeout=(3, 10)
- 需要登录或保持 Cookie 时，用 requests.Session() 替代 get/post，自动管理会话
示例（带超时和会话）：
session = requests.Session()
session.headers.update({'User-Agent': 'xxx'})
<p>try:
res = session.get('<a href="https://www.php.cn/link/d9976f1c2c0c972d1cee0c3647cbd194">https://www.php.cn/link/d9976f1c2c0c972d1cee0c3647cbd194</a>', timeout=(3, 10))
res.raise_for_status() # 非2xx状态码抛异常
except requests.exceptions.RequestException as e:
print("请求失败：", e)
