在 Pandas 或 NumPy 中进行逻辑与运算时，如果数据包含 NaN 值，默认行为可能不符合预期。本文将探讨如何自定义逻辑与运算的行为，使其满足以下条件：
- True & NaN == True
- False & False == False
- NaN & NaN == NaN
我们将介绍两种实现方法，并分析它们在不同数据分布情况下的性能表现，以便选择最优方案。
方法一：使用 mask
mask 方法可以根据条件替换 DataFrame 或 Series 中的值。我们可以先对 DataFrame 进行 all(1) 操作，计算每一行的逻辑与结果（将 NaN 视为 True），然后使用 mask 方法将所有元素均为 NaN 的行替换为 NaN。
import pandas as pd from itertools import product # 创建包含 True, False 和 NaN 的 DataFrame a = pd.DataFrame((product([True, False, None], [True, False, None]))) print(a) # 使用 mask 方法实现自定义逻辑与 result = a.all(1).mask(a.isna().all(1)) print(result)
这段代码首先创建了一个包含 True, False 和 NaN 的 DataFrame a。然后，它使用 a.all(1) 计算每一行的逻辑与，将 NaN 视为 True。最后，它使用 mask(a.isna().all(1)) 将所有元素均为 NaN 的行替换为 NaN。
输出结果:
0 1 0 True True 1 True False 2 True None 3 False True 4 False False 5 False None 6 None True 7 None False 8 None None 0 True 1 False 2 True 3 False 4 False 5 False 6 True 7 False 8 NaN dtype: bool
方法二：使用 stack 和 groupby
另一种方法是使用 stack 方法将 DataFrame 转换为 Series，然后使用 groupby 和 all 方法计算每一行的逻辑与。最后，使用 reindex 方法将结果重新索引为原始 DataFrame 的索引。
import pandas as pd from itertools import product # 创建包含 True, False 和 NaN 的 DataFrame a = pd.DataFrame((product([True, False, None], [True, False, None]))) print(a) # 使用 stack 和 groupby 方法实现自定义逻辑与 result = a.stack().groupby(level=0).all().reindex(a.index) print(result)
这段代码首先创建了一个包含 True, False 和 NaN 的 DataFrame a。然后，它使用 a.stack() 将 DataFrame 转换为 Series，并丢弃 NaN 值。 接着，它使用 groupby(level=0).all() 对每一行进行逻辑与运算。 最后，它使用 reindex(a.index) 将结果的索引恢复为原始 DataFrame 的索引。
输出结果:
0 1 0 True True 1 True False 2 True None 3 False True 4 False False 5 False None 6 None True 7 None False 8 None None 0 True 1 False 2 True 3 False 4 False 5 False 6 True 7 False 8 NaN dtype: bool
性能分析
两种方法的性能取决于数据中 NaN 值的分布情况。
- 大量 NaN 值: 当数据中包含大量 NaN 值时，stack 方法通常更有效率，因为它在计算之前会丢弃 NaN 值，从而减少计算量。
- 少量 NaN 值: 当数据中只有少量 NaN 值时，mask 方法可能更有效率，因为它避免了 stack 和 groupby 操作的开销。
以下代码展示了在不同 NaN 值分布情况下的性能对比：
import pandas as pd
from itertools import product
import timeit
# 创建包含 True, False 和 NaN 的 DataFrame
a = pd.DataFrame((product([True, False, None], [True, False, None])))
# 创建包含少量 NaN 值的 DataFrame
b = a.sample(int(1e5), weights=[1, 1, 1, 1, 1, 1, 1, 1, 0.01], ignore_index=True, replace=True)
print(f"b 中包含全 NaN 的行数: {b.isna().all(axis='columns').sum()}")
# 创建包含大量 NaN 值的 DataFrame
c = a.sample(int(1e5), weights=[1, 1, 1, 1, 1, 1, 1, 1, 80], ignore_index=True, replace=True)
print(f"c 中包含全 NaN 的行数: {c.isna().all(axis='columns').sum()}")
# 性能测试
print("少量 NaN 值:")
print(f" mask 方法: {timeit.timeit(lambda: b.all(1).mask(b.isna().all(1)), number=100):.3f} 秒")
print(f" stack 方法: {timeit.timeit(lambda: b.stack().groupby(level=0).all().reindex(b.index), number=100):.3f} 秒")
print("大量 NaN 值:")
print(f" mask 方法: {timeit.timeit(lambda: c.all(1).mask(c.isna().all(1)), number=100):.3f} 秒")
print(f" stack 方法: {timeit.timeit(lambda: c.stack().groupby(level=0).all().reindex(c.index), number=100):.3f} 秒")输出结果示例:
b 中包含全 NaN 的行数: 117 c 中包含全 NaN 的行数: 88816 少量 NaN 值: mask 方法: 0.235 秒 stack 方法: 0.375 秒 大量 NaN 值: mask 方法: 0.178 秒 stack 方法: 0.091 秒
从结果可以看出，当数据中包含大量 NaN 值时，stack 方法的性能明显优于 mask 方法。
总结
本文介绍了两种在 Pandas/NumPy 中处理包含 NaN 值的逻辑与运算的方法。mask 方法适用于 NaN 值较少的情况，而 stack 方法更适合 NaN 值较多的情况。选择哪种方法取决于具体的数据分布情况。在实际应用中，建议根据数据的特点进行性能测试，选择最适合的解决方案。
