绝大多数情况下直接用 requests.get() 可获取 JSON,但需注意接口是否校验 User-Agent、登录态或加密签名;生产环境常返回 403 或空响应,应检查状态码、Content-Type,并用 Session、超时、并发控制等优化请求。

直接用 requests.get() 请求 API 地址就能拿到 JSON?
绝大多数情况下可以,但前提是目标接口不校验 User-Agent、不强制登录、不走前端加密签名。很多公开 API(比如 GitHub、JSONPlaceholder)确实支持裸请求;但更多生产环境接口会返回 403 或空响应体——不是代码写错了,是被服务端拒绝了。
实操建议:
- 先用浏览器或
curl -v <url></url>看真实响应头,确认Content-Type是application/json,且状态码为200 - 加基础请求头:
headers={'User-Agent': 'Mozilla/5.0'},绕过最简单的反爬 - 如果接口需要认证,检查文档是否要求
Authorization: Bearer xxx或X-API-Key请求头 - 别默认用
response.json()—— 先打印response.text[:200]看原始内容,避免解析 HTML 或错误提示页
response.json() 报 JSONDecodeError 怎么办
这不是 Python 问题,是服务端没给你 JSON。常见原因:接口返回了重定向(302)、登录跳转页(HTML)、限流提示(纯文本)、或者字段值里混了非法 Unicode 字符。
排查步骤:
立即学习“Python免费学习笔记(深入)”;
- 检查
response.status_code,非200时别急着调.json() - 打印
response.headers.get('Content-Type'),如果不是application/json,就别强转 - 用
response.content而非response.text查看原始字节,避免编码干扰(比如返回的是utf-8-sigBOM 头) - 实在要硬解,加
try/except json.JSONDecodeError,并把response.content写入临时文件人工查看
拿到字典后取值总报 KeyError?
API 返回结构经常动态变化:字段名大小写不一致、嵌套层级比文档深、列表为空导致 data[0] 失败、或者字段压根没返回(服务端做了字段裁剪)。硬写 resp['data']['list'][0]['title'] 极易崩。
安全取值方式:
- 用
.get()链式调用:resp.get('data', {}).get('list', [{}])[0].get('title', '') - 对可能为
None或非字典的中间值做类型检查:isinstance(resp, dict) - 关键字段缺失时,记录日志并跳过该条数据,别让整个爬虫停摆
- 别依赖
response.json()返回的类型——有些接口会把数字返回成字符串,比如"123"而非123,后续做数值计算前记得int()或float()
并发请求 API 时为什么大量超时或被封?
HTTP 连接复用、请求频率、会话保持这些细节,直接影响你能不能稳定拿到数据。Requests 默认不复用连接,高频请求下容易耗尽本地端口或触发服务端限流。
必须做的优化:
- 用
requests.Session()复用 TCP 连接和 Cookie,减少握手开销 - 加
timeout=(3, 7)参数(连接 3 秒,读取 7 秒),避免单个请求卡死整个线程 - 控制并发数:用
concurrent.futures.ThreadPoolExecutor(max_workers=5),别无脑开 50 线程 - 在请求之间加随机延迟(
time.sleep(random.uniform(0.5, 2))),模拟真实用户行为










