0

0

Python 异步调用命令行工具

伊谢尔伦

伊谢尔伦

发布时间:2016-11-21 13:41:14

|

1648人浏览过

|

来源于php中文网

原创

  当你在自己的 python 程序中采用了基于事件循环的异步编程方法之后,你就会发现自己不自觉地被其牢牢吸引住,并不是说这一方法多么棒,而是因为你不得不想办法保证程序中的任意环节都不能是阻塞的!

  例如当前的场景是希望从 mongodb 中读取每一条未处理过的数据,下载并保存其中的图片信息,然后更新数据库的内容。python 常用的 mongodb 异步驱动是 motor:    

 结合 asyncio 使用方法如下: 

import motor.motor_asyncio
  import asyncio
  client = motor.motor_asyncio.AsyncIOMotorClient()
  db = client.test_database
  async def run():
  async for mm in db.test_database.find({"status": 0}):
  print(mm['img_src'])
  # Download Image Here
  # dl_img(mm['img_src'])
  await db.test_database.update({"_id": mm['_id']}, {"$set": {"status":1}})
  loop = asyncio.get_event_loop()
  loop.run_until_complete(run())

此时如果 dl_img() 处的操作是阻塞的,那么异步处理就没有意义了。当然这里依然可以借助异步网络请求库 aiohttp 来实现图片下载:

  async with session.get(img) as resp:
  with open(img.split("/")[-1], 'wb') as fd:
  while True:
  chunk = await resp.content.read(1024)
  if not chunk:
  break
  fd.write(chunk)

当然也可以不需要自己动手下载,直接调用系统命令行工具(例如 wget)来完成下载任务。Python 通过 subprocess 标准库实现系统命令调用(取代旧的os.system(cmd)),执行下载任务只需要:

import subprocess as sb
sb.run(['wget', img], shell=True)

但是这种调用方式是无法直接在asyncio的事件循环中使用的,但是asyncio提供了对应的 subprocess接口:

立即学习Python免费学习笔记(深入)”;

Android adb的应用及操作命令 中文WORD版
Android adb的应用及操作命令 中文WORD版

Android 调试桥(adb)是多种用途的工具,该工具可以帮助你你管理设备或模拟器 的状态。 可以通过下列几种方法加入adb: • 在设备上运行shell命令 • 通过端口转发来管理模拟器或设备 • 从模拟器或设备上拷贝来或拷贝走文件

下载
asyncio.create_subprocess_exec(*args, ...)
asyncio.create_subprocess_shell(cmd, ...)

这两个方法均返回一个 asyncio.subprocess.Process 实例,而它的接口设计完全模仿了 subprocess.Popen(上面提到 subprocess.run()的底层实现),因此很容易将其用法移植到事件循环中:  

async def dl_img(src):
  dl = await asyncio.create_subprocess_shell('wget {} -O {}'.format(src, src.split("/")[-1])
  await dl.wait()

除了上面场景中的用法,也可以直接将命令行的执行作为任务放入事件循环:

  loop = asyncio.get_event_loop()
  sb = asyncio.create_subprocess_shell('exit 7', loop=loop)
  proc = loop.run_until_complete(sb)
  exitcode = loop.run_until_complete(proc.wait())

小结

在 Python 异步编程的意义就在于不要让 CPU 堵在 IO 上,因此需要在每一处涉及到阻塞的操作都需要注意使用正确的异步方法,而一旦这些操作被封装成异步的 Task 之后,其后续的调度执行就无需再顾虑了。

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

37

2026.01.14

php与html混编教程大全
php与html混编教程大全

本专题整合了php和html混编相关教程,阅读专题下面的文章了解更多详细内容。

19

2026.01.13

PHP 高性能
PHP 高性能

本专题整合了PHP高性能相关教程大全,阅读专题下面的文章了解更多详细内容。

37

2026.01.13

MySQL数据库报错常见问题及解决方法大全
MySQL数据库报错常见问题及解决方法大全

本专题整合了MySQL数据库报错常见问题及解决方法,阅读专题下面的文章了解更多详细内容。

19

2026.01.13

PHP 文件上传
PHP 文件上传

本专题整合了PHP实现文件上传相关教程,阅读专题下面的文章了解更多详细内容。

16

2026.01.13

PHP缓存策略教程大全
PHP缓存策略教程大全

本专题整合了PHP缓存相关教程,阅读专题下面的文章了解更多详细内容。

6

2026.01.13

jQuery 正则表达式相关教程
jQuery 正则表达式相关教程

本专题整合了jQuery正则表达式相关教程大全,阅读专题下面的文章了解更多详细内容。

3

2026.01.13

交互式图表和动态图表教程汇总
交互式图表和动态图表教程汇总

本专题整合了交互式图表和动态图表的相关内容,阅读专题下面的文章了解更多详细内容。

45

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

9

2026.01.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 3.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号