0

0

Python爬虫怎么抓JSON数据_API接口直接请求与response.json()字典解析

P粉602998670

P粉602998670

发布时间:2026-03-17 11:41:31

|

437人浏览过

|

来源于php中文网

原创

绝大多数情况下直接用 requests.get() 可获取 JSON,但需注意接口是否校验 User-Agent、登录态或加密签名;生产环境常返回 403 或空响应,应检查状态码、Content-Type,并用 Session、超时、并发控制等优化请求。

python爬虫怎么抓json数据_api接口直接请求与response.json()字典解析

直接用 requests.get() 请求 API 地址就能拿到 JSON?

绝大多数情况下可以,但前提是目标接口不校验 User-Agent、不强制登录、不走前端加密签名。很多公开 API(比如 GitHub、JSONPlaceholder)确实支持裸请求;但更多生产环境接口会返回 403 或空响应体——不是代码写错了,是被服务端拒绝了。

实操建议:

  • 先用浏览器或 curl -v <url></url> 看真实响应头,确认 Content-Typeapplication/json,且状态码为 200
  • 加基础请求头:headers={'User-Agent': 'Mozilla/5.0'},绕过最简单的反爬
  • 如果接口需要认证,检查文档是否要求 Authorization: Bearer xxxX-API-Key 请求头
  • 别默认用 response.json() —— 先打印 response.text[:200] 看原始内容,避免解析 HTML 或错误提示页

response.json()JSONDecodeError 怎么办

这不是 Python 问题,是服务端没给你 JSON。常见原因:接口返回了重定向(302)、登录跳转页(HTML)、限流提示(纯文本)、或者字段值里混了非法 Unicode 字符。

排查步骤:

立即学习Python免费学习笔记(深入)”;

皮卡智能
皮卡智能

AI驱动高效视觉设计平台

下载
  • 检查 response.status_code,非 200 时别急着调 .json()
  • 打印 response.headers.get('Content-Type'),如果不是 application/json,就别强转
  • response.content 而非 response.text 查看原始字节,避免编码干扰(比如返回的是 utf-8-sig BOM 头)
  • 实在要硬解,加 try/except json.JSONDecodeError,并把 response.content 写入临时文件人工查看

拿到字典后取值总报 KeyError

API 返回结构经常动态变化:字段名大小写不一致、嵌套层级比文档深、列表为空导致 data[0] 失败、或者字段压根没返回(服务端做了字段裁剪)。硬写 resp['data']['list'][0]['title'] 极易崩。

安全取值方式:

  • .get() 链式调用:resp.get('data', {}).get('list', [{}])[0].get('title', '')
  • 对可能为 None 或非字典的中间值做类型检查:isinstance(resp, dict)
  • 关键字段缺失时,记录日志并跳过该条数据,别让整个爬虫停摆
  • 别依赖 response.json() 返回的类型——有些接口会把数字返回成字符串,比如 "123" 而非 123,后续做数值计算前记得 int()float()

并发请求 API 时为什么大量超时或被封?

HTTP 连接复用、请求频率、会话保持这些细节,直接影响你能不能稳定拿到数据。Requests 默认不复用连接,高频请求下容易耗尽本地端口或触发服务端限流。

必须做的优化:

  • requests.Session() 复用 TCP 连接和 Cookie,减少握手开销
  • timeout=(3, 7) 参数(连接 3 秒,读取 7 秒),避免单个请求卡死整个线程
  • 控制并发数:用 concurrent.futures.ThreadPoolExecutor(max_workers=5),别无脑开 50 线程
  • 在请求之间加随机延迟(time.sleep(random.uniform(0.5, 2))),模拟真实用户行为
实际跑起来才发现,最麻烦的从来不是解析 JSON,而是接口随时改返回结构、悄悄加风控、或者文档里根本没写的字段含义。留好日志,把每次响应存下来,比反复改代码快得多。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

458

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

549

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

337

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

84

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

597

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

108

2025.10.23

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6501

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

369

2023.11.23

c++ 字符处理
c++ 字符处理

本专题整合了c++字符处理教程、字符串处理函数相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号