0

0

Python之Requests模块使用详解

巴扎黑

巴扎黑

发布时间:2017-09-19 11:12:45

|

1588人浏览过

|

来源于php中文网

原创

requests模块是一个用于网络访问的模块,其实类似的模块有很多,比如urllib,urllib2,httplib,httplib2,他们基本都提供相似的功能,那为什么requests模块就能够脱引而出呢?可以打开它的官网看一下,是一个“人类“用的http模块。那么,它究竟怎样的人性化呢?相信如果你之前用过urllib之类的模块的话,对比下就会发现它确实很人性化。

一、导入

下载完成后,导入模块很简单,代码如下:

import requests

二、请求url

这里我们列出最常见的发送get或者post请求的语法。

1.发送无参数的get请求:

r=requests.get("http://php.cn/justTest")

现在,我们得到了一个响应对象r,我们可以利用这个对象得到我们想要的任何信息。

上面的例子中,get请求没有任何参数,那如果请求需要参数怎么办呢?

立即学习Python免费学习笔记(深入)”;

2.发送带参数的get请求

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://php.cn/justTest", params=payload)

以上得知,我们的get参数是以params关键字参数传递的。

我们可以打印请求的具体url来看看到底对不对:

>>>print r.url
http://php.cn/justTest?key2=value2&key1=value1

可以看到确实访问了正确的url。

还可以传递一个list给一个请求参数:

>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get("http://php.cn/justTest", params=payload)
>>> print r.url
http://php.cn/justTest?key1=value1&key2=value2&key2=value3

以上就是get请求的基本形式。

3.发送post请求

r = requests.post("http://php.cn/postTest", data = {"key":"value"})

以上得知,post请求参数是以data关键字参数来传递的。

现在的data参数传递的是字典,我们也可以传递一个json格式的数据,如下:

>>> import json
>>> import requests
>>> payload = {"key":"value"}
>>> r = requests.post("http://php.cn/postTest", data = json.dumps(payload))

由于发送json格式数据太常见了,所以在Requests模块的高版本中,又加入了json这个关键字参数,可以直接发送json数据给post请求而不用再使用json模块了,见下:

>>> payload = {"key":"value"}
>>> r = requests.post("http://php.cn/postTest", json=payload)

如果我们想post一个文件怎么办呢?这个时候就需要用到files参数了:

>>> url = 'http://php.cn/postTest'
>>> files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=files)
>>> r.text

我们还可以在post文件时指定文件名等额外的信息:

>>> url = 'http://php.cn/postTest'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
>>> r = requests.post(url, files=files)

tips:强烈建议使用二进制模式打开文件,因为如果以文本文件格式打开时,可能会因为“Content-Length”这个header而出错。

可以看到,使用Requests发送请求简单吧!

三、获取返回信息

下面我们来看下发送请求后如何获取返回信息。我们继续使用最上面的例子:

>>> import requests
>>> r=requests.get('http://php.cn/justTest')
>>> r.text

r.text是以什么编码格式输出的呢?

>>> r.encoding
'utf-8'

原来是以utf-8格式输出的。那如果我想改一下r.text的输出格式呢?

>>> r.encoding = 'ISO-8859-1'

这样就把输出格式改为“ISO-8859-1”了。

PHP轻论坛
PHP轻论坛

简介PHP轻论坛是一个简单易用的PHP论坛程序,适合小型社区和个人网站使用。v3.0版本是完全重构的版本,解决了之前版本中的所有已知问题,特别是MySQL保留字冲突问题。主要特点• 简单易用:简洁的界面,易于安装和使用• 响应式设计:适配各种设备,包括手机和平板• 安全可靠:避免使用MySQL保留字,防止SQL注入• 功能完善:支持分类、主题、回复、用户管理等基本功能• 易于扩展:模块化设计,便于

下载

还有一个输出语句,叫r.content,那么这个和r.text有什么区别呢?r.content返回的是字节流,如果我们请求一个图片地址并且要保存图片的话,就可以用到,这里举个代码片段如下:

def saveImage( imgUrl,imgName ="default.jpg" ):
    r = requests.get(imgUrl, stream=True)
    image = r.content
    destDir="D:\"
    print("保存图片"+destDir+imgName+"\n")
    try:
        with open(destDir+imgName ,"wb") as jpg:
            jpg.write(image)     
            return
    except IOError:
        print("IO Error")
        return
    finally:
        jpg.close

刚才介绍的r.text返回的是字符串,那么,如果请求对应的响应是一个json,那我可不可以直接拿到json格式的数据呢?r.json()就是为这个准备的。

我们还可以拿到服务器返回的原始数据,使用r.raw.read()就可以了。不过,如果你确实要拿到原始返回数据的话,记得在请求时加上“stream=True”的选项,如:

r = requests.get('https://api.github.com/events', stream=True)。

我们也可以得到响应状态码:

>>> r = requests.get('http://php.cn/justTest')
>>> r.status_code
200

也可以用requests.codes.ok来指代200这个返回值:

>>> r.status_code == requests.codes.ok
True

四、关于headers

我们可以打印出响应头:

>>> r= requests.get("http://php.cn/justTest")
>>> r.headers

`r.headers`返回的是一个字典,例如:

{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '147ms',
    'etag': '"e1ca502697e5c9317743dc078f67693a"',
    'content-type': 'application/json'
}

我们可以使用如下方法来取得部分响应头以做判断:

r.headers['Content-Type']

或者

r.headers.get('Content-Type')

如果我们想获得请求头(也就是我们向服务器发送的头信息)该怎么办呢?可以使用r.request.headers直接获得。

同时,我们在请求数据时也可以加上自定义的headers(通过headers关键字参数传递):

>>> headers = {'user-agent': 'myagent'}
>>> r= requests.get("http://php.cn/justTest",headers=headers)

五、关于Cookies

如果一个响应包含cookies的话,我们可以使用下面方法来得到它们:

>>> url = 'http://www.php.cn'
>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']
'example_cookie_value'

我们也可以发送自己的cookie(使用cookies关键字参数):

>>> url = 'http://php.cn/cookies'
>>> cookies={'cookies_are':'working'}
>>> r = requests.get(url, cookies=cookies)

六、关于重定向

有时候我们在请求url时,服务器会自动把我们的请求重定向,比如github会把我们的http请求重定向为https请求。我们可以使用r.history来查看重定向:

>>> r = requests.get('http://php.cn/')
>>> r.url
'http://pythontab.com/'
>>> r.history
[]

从上面的例子中可以看到,我们使用http协议访问,结果在r.url中,打印的却是https协议。那如果我非要服务器使用http协议,也就是禁止服务器自动重定向,该怎么办呢?使用allow_redirects 参数:

r = requests.get('http://php.cn', allow_redirects=False)

七、关于请求时间

我们可以使用timeout参数来设定url的请求超时时间(时间单位为秒):

requests.get('http://php.cn', timeout=1)

八、关于代理

我们也可以在程序中指定代理来进行http或https访问(使用proxies关键字参数),如下:

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}
requests.get("http://php.cn", proxies=proxies)

九、关于session

我们有时候会有这样的情况,我们需要登录某个网站,然后才能请求相关url,这时就可以用到session了,我们可以先使用网站的登录api进行登录,然后得到session,最后就可以用这个session来请求其他url了:

s=requests.Session()
login_data={'form_email':'youremail@example.com','form_password':'yourpassword'}
s.post("http://php.cn/testLogin",login_data)
r = s.get('http://php.cn/notification/')
print r.text

其中,form_email和form_password是豆瓣登录框的相应元素的name值。

十、下载页面

使用Requests模块也可以下载网页,代码如下:

r=requests.get("http://www.php.cn")
with open("haha.html","wb") as html:
    html.write(r.content)
html.close()

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

c++ 字符串格式化
c++ 字符串格式化

本专题整合了c++字符串格式化用法、输出技巧、实践等等内容,阅读专题下面的文章了解更多详细内容。

9

2026.01.30

java 字符串格式化
java 字符串格式化

本专题整合了java如何进行字符串格式化相关教程、使用解析、方法详解等等内容。阅读专题下面的文章了解更多详细教程。

12

2026.01.30

python 字符串格式化
python 字符串格式化

本专题整合了python字符串格式化教程、实践、方法、进阶等等相关内容,阅读专题下面的文章了解更多详细操作。

4

2026.01.30

java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

20

2026.01.29

java配置环境变量教程合集
java配置环境变量教程合集

本专题整合了java配置环境变量设置、步骤、安装jdk、避免冲突等等相关内容,阅读专题下面的文章了解更多详细操作。

18

2026.01.29

java成品学习网站推荐大全
java成品学习网站推荐大全

本专题整合了java成品网站、在线成品网站源码、源码入口等等相关内容,阅读专题下面的文章了解更多详细推荐内容。

19

2026.01.29

Java字符串处理使用教程合集
Java字符串处理使用教程合集

本专题整合了Java字符串截取、处理、使用、实战等等教程内容,阅读专题下面的文章了解详细操作教程。

3

2026.01.29

Java空对象相关教程合集
Java空对象相关教程合集

本专题整合了Java空对象相关教程,阅读专题下面的文章了解更多详细内容。

6

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号