掌握API爬虫需先定位目标接口，使用浏览器开发者工具分析XHR请求，获取URL、参数及请求头信息；接着用Python的requests库模拟请求，携带必要的User-Agent、Referer或Authorization等头部信息；成功响应后通过response.json()解析JSON数据；针对频率限制、身份验证、加密参数等反爬机制，应合理设置延时、处理认证并还原加密逻辑；最后将提取的数据保存为JSON、CSV文件或存入数据库。整个过程高效稳定，是进阶爬虫的核心技术。
抓取网站API数据是Python爬虫中非常高效的方式，相比解析HTML页面，直接调用API能更快速、准确地获取结构化数据。掌握调用和解析API接口的方法，是进阶爬虫开发的关键一步。
确认目标API接口
很多现代网站通过JavaScript动态加载内容，实际数据来自后端API。要抓取这些数据，先要找到对应的请求地址。
- 打开浏览器开发者工具（F12），切换到“Network”选项卡
- 刷新页面或触发数据加载操作，观察出现的XHR或Fetch请求
- 查找返回JSON格式数据的请求，这类通常是API接口
- 点击请求查看“Headers”中的请求方式、URL、请求头（User-Agent、Referer等）以及参数
例如，一个商品列表页可能从https://www.php.cn/link/55ff3e8766bfb3f0f8174d957ad082d3?page=1获取数据，这就是你可以直接调用的接口。
使用requests发起API请求
Python中requests库是最常用的HTTP请求工具。构造与浏览器一致的请求，才能成功获取数据。
立即学习“Python免费学习笔记（深入）”；
import requests
<p>url = "<a href="https://www.php.cn/link/55ff3e8766bfb3f0f8174d957ad082d3">https://www.php.cn/link/55ff3e8766bfb3f0f8174d957ad082d3</a>"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": "<a href="https://www.php.cn/link/632e3ccec223290601ef00e26aa62bd0">https://www.php.cn/link/632e3ccec223290601ef00e26aa62bd0</a>",
"Authorization": "Bearer your_token" # 如果需要认证
}
params = {
"page": 1,
"limit": 20
}</p><p>response = requests.get(url, headers=headers, params=params)
if response.status_code == 200:
data = response.json() # 直接解析为Python字典
print(data)
</p>注意：某些接口需要登录或携带token，需在请求头中添加Cookie或Authorization字段。
处理常见限制和反爬机制
API接口虽结构清晰，但也常设有访问限制。
- 频率限制：避免高频请求，可使用time.sleep()控制请求间隔
- 身份验证：部分API需OAuth、Token或签名，需按文档规则生成合法请求
- 加密参数：有些接口参数经过加密（如sign、timestamp），需分析JS代码还原算法
- IP封禁：长时间运行建议使用代理IP池，requests支持通过proxies参数设置
对于复杂加密逻辑，可结合PyExecJS执行JavaScript代码，或使用selenium模拟浏览器行为获取临时token。
解析和保存数据
API通常返回JSON格式，Python内置json()方法即可解析。提取所需字段后，可保存为本地文件或存入数据库。
import json
import csv
<h1>解析数据</h1><p>for item in data['items']:
product = {
"id": item['id'],
"name": item['name'],
"price": item['price']
}</p><h1>保存为JSON</h1><pre class="brush:php;toolbar:false;">with open('products.json', 'a', encoding='utf-8') as f:
f.write(json.dumps(product, ensure_ascii=False) + '\n')
# 或写入CSV
with open('products.csv', 'a', newline='', encoding='utf-8') as f:
writer = csv.DictWriter(f, fieldnames=product.keys())
writer.writerow(product)
建议根据数据量选择合适的存储方式，小数据用文件，大数据推荐数据库如MongoDB或MySQL。
基本上就这些。关键在于精准定位API、模拟合法请求、合理处理反爬，再结构化解析返回内容。只要接口可用，这种方式比HTML解析稳定高效得多。
