Pybind11中C++函数修改Python列表内对象不生效问题的解决方案

本教程探讨了Pybind11在C++函数中通过引用修改Python列表内自定义对象时，更改不生效的问题。核心问题在于Pybind11默认将Python列表转换为std::vector时可能创建副本。文章提出并演示了通过在C++函数中使用std::vector（即指向对象的指针列表）作为参数，来确保C++端对对象内容的修改能够正确反映回Python端的解决方案。

在使用Pybind11将C++代码暴露给Python时，一个常见的需求是在C++函数中修改传入的Python对象，并期望这些修改能反映回Python端。对于单个自定义对象，Pybind11通常能够很好地处理引用传递（CustomClass&），确保C++中的修改同步到Python。然而，当处理包含自定义对象的列表时，例如将Python列表转换为C++的std::vector&，情况却可能变得复杂，C++函数内的修改往往不会反映到原始的Python列表中。

理解Pybind11的类型转换行为

为了更好地理解这个问题，我们首先需要区分Pybind11处理不同类型参数时的行为：

1. 单个自定义对象按值传递 (CustomClass a): 当C++函数接收一个自定义对象的值副本时，例如void func(A a)，C++函数内部对a的任何修改都只会作用于这个局部副本，而不会影响原始的Python对象。这是C++的预期行为。

   // C++ 类定义
   class A {
   public:
       int n = 0;
       double val = 0.0;
       A() = default;
   };
   
   // C++ 函数：按值传递对象
   inline void modify_by_value(A a) {
       a.n = 1;
       a.val = 0.1;
   }
   
   // Pybind11 绑定
   // 假设在名为 'm' 的 py::module 中绑定
   py::class_(m, "A")
       .def(py::init<>())
       .def_readwrite("n", &A::n)
       .def_readwrite("val", &A::val);
   m.def("modify_by_value", &modify_by_value);

   在Python中执行：

   

   Giiso写作机器人

   Giiso写作机器人，让写作更简单

   下载

   立即学习“Python免费学习笔记（深入）”；

   a_obj = py_module.A() # 假设 py_module 是你的 pybind11 模块
   print(f"Before: n={a_obj.n}, val={a_obj.val}") # Output: n=0, val=0.0
   py_module.modify_by_value(a_obj)
   print(f"After: n={a_obj.n}, val={a_obj.val}")  # Output: n=0, val=0.0 (未修改)

2. 单个自定义对象按引用传递 (CustomClass& a): 当C++函数接收一个自定义对象的引用时，例如void func(A& a)，C++函数内部对a的修改会直接作用于原始的Python对象。Pybind11在这种情况下能够正确地将Python对象映射到C++引用，并确保修改的同步。

   // C++ 函数：按引用传递对象
   inline void modify_by_reference(A& a) {
       a.n = 1;
       a.val = 0.1;
   }
   
   // Pybind11 绑定
   m.def("modify_by_reference", &modify_by_reference);

   在Python中执行：

   立即学习“Python免费学习笔记（深入）”；

   a_obj = py_module.A()
   print(f"Before: n={a_obj.n}, val={a_obj.val}") # Output: n=0, val=0.0
   py_module.modify_by_reference(a_obj)
   print(f"After: n={a_obj.n}, val={a_obj.val}")  # Output: n=1, val=0.1 (已修改)

3. 自定义对象列表按引用传递 (std::vector& alist): 这是导致问题的核心场景。尽管C++函数接收的是std::vector&，期望能够修改列表中的元素，但在Pybind11的默认行为下，当Python列表转换为std::vector时，通常会创建列表内A对象的副本。这意味着C++函数操作的是这些副本，而不是原始Python列表中的对象。

   // C++ 函数：按引用传递对象列表
   inline void modify_list_by_reference(std::vector& alist) {
       for (auto& a : alist) {
           a.n = 1;
           a.val = 0.1;
       }
   }
   
   // Pybind11 绑定
   m.def("modify_list_by_reference", &modify_list_by_reference);

   在Python中执行：

   立即学习“Python免费学习笔记（深入）”；

   list_of_a = [py_module.A(), py_module.A()]
   print(f"Before: {[(obj.n, obj.val) for obj in list_of_a]}") # Output: [(0, 0.0), (0, 0.0)]
   py_module.modify_list_by_reference(list_of_a)
   print(f"After: {[(obj.n, obj.val) for obj in list_of_a]}")  # Output: [(0, 0.0), (0, 0.0)] (未修改)

   可以看到，即使C++函数签名使用了引用，列表中的对象也未被修改。

解决方案：传递对象指针列表 (std::vector)

解决上述问题的有效且直接的方法是，在C++函数中将参数类型定义为指向自定义对象的指针列表，即std::vector。通过传递对象的指针，C++函数可以直接访问和修改Python端对象的底层内存表示，从而确保修改的持久性。

// C++ 函数：按引用传递对象指针列表
inline void modify_list_by_pointer_reference(std::vector& alist) {
    for (auto* a_ptr : alist) { // 遍历指针列表
        if (a_ptr) { // 确保指针非空
            a_ptr->n = 2