0

0

使用 Node.js 子进程与 Python 脚本交互:解决数据传递问题

聖光之護

聖光之護

发布时间:2025-09-11 17:52:01

|

845人浏览过

|

来源于php中文网

原创

使用 node.js 子进程与 python 脚本交互:解决数据传递问题

本文旨在解决在使用 Node.js 的 child_process.spawn 方法调用 Python 脚本,并在异步函数中处理数据时遇到的常见问题。我们将详细介绍如何正确地传递数据给 Python 脚本,并从 Python 脚本中获取结果,确保在 MERN 栈应用中顺利集成 Python 机器学习算法。主要内容包括文件路径问题、数据序列化与反序列化、以及异步函数中的正确使用方法。

理解 child_process.spawn

child_process.spawn 是 Node.js 中用于创建子进程的强大工具。它允许你执行外部命令,例如运行 Python 脚本,并与其进行数据交互。

问题分析:数据为空的原因

在异步函数(如 async 函数)中使用 child_process.spawn 时,常见的问题是接收到的数据为空。这通常由以下几个原因导致:

  1. 文件路径错误:Node.js 可能无法找到 Python 脚本。
  2. 数据序列化/反序列化问题:传递给 Python 脚本的数据格式不正确,或者从 Python 脚本返回的数据无法被 Node.js 正确解析。
  3. 异步操作处理不当:在异步函数中,数据可能在子进程完成之前就被处理,导致数据为空。

解决方案

以下是一个完整的解决方案,包括代码示例和详细解释。

立即学习Python免费学习笔记(深入)”;

1. 确保 Python 脚本路径正确

这是最常见的问题。确保 Node.js 能够找到你的 Python 脚本。建议使用绝对路径或相对于 Node.js 脚本的相对路径。

const { spawn } = require("child_process");
const path = require('path');

const pythonScriptPath = path.join(__dirname, '..', 'python', 'model.py'); // 假设 model.py 在上一级目录的 python 文件夹下
const python = spawn('python', [pythonScriptPath]);

注意: 使用 path.join 可以确保跨平台兼容性。

2. 数据序列化与反序列化

Node.js 和 Python 之间的数据交换通常需要序列化和反序列化。JSON 是一种常用的格式。

Node.js (发送数据):

const createSchedule = async (req, res) => {
    const { spawn } = require("child_process");
    const path = require('path');
    const pythonScriptPath = path.join(__dirname, '..', 'python', 'model.py'); // 假设 model.py 在上一级目录的 python 文件夹下
    const python = spawn('python', [pythonScriptPath]);
    const buffers = [];

    python.stdout.on('data', (chunk) => buffers.push(chunk));
    python.stdout.on('end', () => {
        console.log(buffers)
        if (buffers.length > 0) {
            try {
                const result = JSON.parse(Buffer.concat(buffers).toString());
                console.log('Python process exited, result:', result);
                res.status(200).json(result);
            } catch (error) {
                console.error("Error parsing JSON:", error);
                res.status(500).json({ error: "Failed to parse Python output" });
            }

        } else {
            console.log('Python process exited with no output');
            res.status(400).json({ error: "Python script returned no output" })
        }
    });

    python.stderr.on('data', (data) => {
        console.error(`Python script error: ${data}`);
    });

    let num_tas = 5
    let num_days = 6
    let num_slots = 5
    let num_courses = 3
    let num_tutorialGroups = 5

    // 5
    let taCourseAssignment = [
        [9, 6, 0],
        [3, 6, 0],
        [3, 0, 12],
        [9, 0, 0],
        [6, 0, 6]
    ]
    console.log(taCourseAssignment)

    // 6
    let taDayOffPreference = [
        [6, 5, 3, 4, 2, 1],
        [1, 2, 6, 5, 4, 3],
        [1, 2, 3, 4, 5, 6],
        [1, 2, 3, 6, 4, 5],
        [6, 1, 5, 4, 3, 2],
    ]

    // 7
    let sessionNumberPreference = [
        [2, 2, 2, 2, 2, 2],
        [2, 2, 2, 2, 2, 2],
        [0, 2, 2, 2, 2, 2],
        [0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0],
    ]

    // 8
    let schedule = [
        // sat
        [[[1, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[1, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 1, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[1, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]
        ],
        // sun
        [[[0, 0, 0, 0, 0], [0, 0, 0, 1, 0], [0, 0, 0, 0, 1]],
        [[0, 0, 0, 1, 1], [0, 0, 1, 0, 0], [0, 1, 0, 0, 0]],
        [[0, 1, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 1, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 1]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]
        ],
        // mon
        [[[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]
        ],
        // tue
        [[[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]
        ],
        // wed
        [[[0, 0, 0, 0, 0], [0, 0, 0, 1, 0], [0, 0, 0, 0, 1]],
        [[0, 0, 0, 1, 1], [0, 0, 1, 0, 0], [0, 1, 0, 0, 0]],
        [[0, 1, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 1, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 1]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]
        ],
        // thu
        [[[0, 0, 0, 0, 0], [0, 0, 0, 1, 0], [0, 0, 0, 0, 1]],
        [[0, 0, 0, 1, 1], [0, 0, 1, 0, 0], [0, 1, 0, 0, 0]],
        [[0, 1, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]],
        [[0, 0, 1, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 1]],
        [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]]
        ],
    ]

    python.stdin.write(JSON.stringify([num_tas, num_days, num_slots, num_courses, num_tutorialGroups, taCourseAssignment, taDayOffPreference, sessionNumberPreference, schedule]));
    python.stdin.end()
}

Python (接收和发送数据):

uBrand
uBrand

一站式AI品牌创建平台,在线品牌设计,AI品牌策划,智能品牌营销;uBrand帮助创业者轻松打造个性品牌!

下载
import sys
import json

# 读取 Node.js 传递的数据
data = json.loads(sys.stdin.read())

num_tas, num_days, num_slots, num_courses, num_tutorialGroups, taCourseAssignment, taDayOffPreference, sessionNumberPreference, schedule = data

# 在这里执行你的机器学习算法
result = {"message": "Hello from Python!", "data": data} # 示例结果

# 将结果序列化为 JSON 并发送回 Node.js
print(json.dumps(result))
sys.stdout.flush()

注意:

  • 在 Python 中,使用 sys.stdin.read() 读取所有输入数据。
  • 使用 json.dumps() 将 Python 对象序列化为 JSON 字符串。
  • 使用 sys.stdout.flush() 确保数据被立即发送到 Node.js。
  • 在 Node.js 中,使用 Buffer.concat(buffers).toString() 将缓冲区数据转换为字符串,然后使用 JSON.parse() 将其解析为 JavaScript 对象。

3. 错误处理

添加错误处理可以帮助你诊断问题。

Node.js:

python.stderr.on('data', (data) => {
    console.error(`Python script error: ${data}`);
});

Python:

import traceback
import sys

try:
    # 你的代码
    pass
except Exception as e:
    traceback.print_exc()
    sys.exit(1)

4. 异步函数中的正确使用

确保你在 stdout.on('end', ...) 中处理数据,因为这是 Python 脚本执行完毕并返回数据的时间点。

完整示例

Node.js:

const { spawn } = require("child_process");
const path = require('path');

const createSchedule = async (req, res) => {
    const pythonScriptPath = path.join(__dirname, '..', 'python', 'model.py');
    const python = spawn('python', [pythonScriptPath]);
    const buffers = [];

    python.stdout.on('data', (chunk) => buffers.push(chunk));

    python.stdout.on('end', () => {
        if (buffers.length > 0) {
            try {
                const result = JSON.parse(Buffer.concat(buffers).toString());
                console.log('Python process exited, result:', result);
                res.status(200).json(result);
            } catch (error) {
                console.error("Error parsing JSON:", error);
                res.status(500).json({ error: "Failed to parse Python output" });
            }
        } else {
            console.log('Python process exited with no output');
            res.status(400).json({ error: "Python script returned no output" });
        }
    });

    python.stderr.on('data', (data) => {
        console.error(`Python script error: ${data}`);
    });

    // 示例数据
    const dataToSend = { message: "Hello from Node.js!" };

    python.stdin.write(JSON.stringify(dataToSend));
    python.stdin.end();
};

Python:

import sys
import json

try:
    data = json.loads(sys.stdin.read())
    print(json.dumps({"message": "Hello from Python!", "received": data}))
    sys.stdout.flush()
except Exception as e:
    import traceback
    traceback.print_exc()
    sys.exit(1)

总结

通过正确处理文件路径、数据序列化/反序列化以及异步操作,你可以成功地在 Node.js 应用中使用 child_process.spawn 调用 Python 脚本,并进行数据交互。 确保添加适当的错误处理,以便在出现问题时能够快速诊断和解决。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

420

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

536

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

312

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

77

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

320

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

212

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1503

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

625

2023.11.24

2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

8

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 4.4万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 2.6万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号