本教程旨在解决在Python数据处理中，如何高效地从包含`NaN`值的序列中，为每个`NaN`点智能地选取其前后指定数量的有效数值。文章将深入探讨一种结合`pandas`和`numpy`库的巧妙方法，利用布尔掩码、前向填充（`ffill`）、滑动窗口视图（`sliding_window_view`）以及数据框连接（`join`）等功能，实现复杂条件下的精确数据筛选与对齐，尤其适用于处理大规模数据集时的性能需求。
1. 问题背景与挑战
在数据分析和预处理过程中，我们经常会遇到含有缺失值（NaN）的数值型数据序列。一个常见的需求是，当遇到一个NaN值时，我们需要从其周围提取固定数量的“有效”数值（即非NaN值）作为上下文信息。这个任务的复杂性在于以下几点：
- 动态窗口大小： 选取的有效数值数量是固定的，例如20个，但这些数值可能并非紧邻NaN值，因为中间可能夹杂其他NaN。
- 边缘情况处理： 当NaN值位于序列的开头或结尾附近时，其一侧可能没有足够的有效数值。此时，需要从另一侧补充选取，以达到总数要求。
- 效率： 对于大型数据集，使用循环遍历每个NaN并手动搜索有效邻居的方法效率低下，需要更优化的向量化解决方案。
传统的做法可能涉及筛选出NaN值，保留原始索引，然后进行复杂的索引映射和数据提取，这通常会导致代码冗长且难以维护。因此，寻找一种简洁、高效且健壮的方法至关重要。
2. 核心概念与工具
解决此类问题，pandas和numpy提供了强大的工具集，它们能够以向量化的方式处理数据，大大提高效率。本教程将主要利用以下核心功能：
立即学习“Python免费学习笔记（深入）”；
- pandas.Series.notna(): 用于生成一个布尔掩码，标识序列中哪些元素不是NaN。
- pandas.Series.ffill() (Forward Fill): 对序列中的NaN值进行前向填充，即用前一个有效值填充当前的NaN。这在处理索引对齐时非常有用，可以将NaN位置映射到最近的前一个有效值的索引。
- numpy.lib.stride_tricks.sliding_window_view: numpy的一个高级功能，可以高效地在数组上创建滑动窗口视图，而无需复制数据。这对于从连续的有效数据中提取固定大小的子序列非常有用。
- pandas.DataFrame.join(): 用于根据索引将两个DataFrame连接起来，实现数据的合并。
- pandas.DataFrame.mask(): 根据布尔条件替换DataFrame中的值。
3. 解决方案详解
我们将通过一个具体的示例来演示如何结合上述工具，实现NaN附近有效数据的智能选取。假设我们有一个包含NaN的pandas Series，目标是为每个NaN值，选取其前面B个和后面A个有效数值。
3.1 示例数据准备
首先，我们创建一个示例DataFrame：
import pandas as pd
import numpy as np
from numpy.lib.stride_tricks import sliding_window_view as swv
data = {
'col': [np.nan, 0.0, 1.0, 2.0, np.nan, np.nan, 3.0, 4.0, 5.0, np.nan, 6.0, np.nan, 7.0, 8.0, 9.0, np.nan, 10.0]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)输出:
原始DataFrame:
col
0 NaN
1 0.0
2 1.0
3 2.0
4 NaN
5 NaN
6 3.0
7 4.0
8 5.0
9 NaN
10 6.0
11 NaN
12 7.0
13 8.0
14 9.0
15 NaN
16 10.03.2 定义选取参数
我们设定在NaN之前选取B个有效值，之后选取A个有效值。
B = 2 # 在NaN之前选取的非NaN值数量 A = 3 # 在NaN之后选取的非NaN值数量
3.3 提取列并处理索引
为了确保操作的简便性和准确性，我们将目标列提取为Series，并重置其索引为默认的整数范围索引。
# 提取目标列为Series，并确保为范围索引 s = df['col'].reset_index(drop=True)
3.4 识别有效数据与索引映射
这是解决方案中的一个关键步骤。我们首先创建一个布尔掩码m来标识所有非NaN的行。然后，我们利用ffill()将NaN位置的索引映射到它前面最近的有效值的索引。
# 识别非NaN行 m = s.notna() # 掩盖NaN的索引，并进行前向填充。 # 这将使得NaN位置的索引被其前面最近的非NaN值的索引所填充。 idx = s.index.to_series().where(m).ffill()
例如，如果s[4]是NaN，而s[3]是有效值，那么idx[4]的值将变为3.0。
3.5 创建滑动窗口视图
接下来，我们只对原始Series中的有效数据（s[m]）创建滑动窗口视图。每个窗口的大小为A+B。sliding_window_view会生成一个多维数组，其中每一行代表一个窗口。
# 从非NaN值中创建滑动窗口视图 # 窗口大小为A+B，即总共选取的有效值数量 tmp = pd.DataFrame(swv(s[m], A + B))
为了将这些窗口与原始DataFrame中的NaN位置对齐，我们需要为tmp DataFrame生成一个合适的索引。这个索引的生成方式是：从idx中筛选出有效值对应的索引（idx[m]），然后进行B-1位的负向偏移。这样做的目的是将滑动窗口的起始点与它所代表的“中心”NaN值对齐。
# 为tmp DataFrame设置索引，使其与原始NaN位置对齐 # idx[m]是所有非NaN值的原始索引，shift(-B+1)是为了将窗口的起始点与NaN的"中心"对齐 # 比如B=2，shift(-1)意味着窗口的第一个元素对应原始NaN前一个有效值的索引 tmp.index = idx[m].shift(-B + 1)[:m.sum() - (A + B) + 1]
3.6 重建索引并连接
现在，tmp DataFrame包含了所有可能被选取的有效值窗口，其索引已经经过特殊处理。我们需要将其重新索引到我们之前生成的ffill后的idx上，然后将其索引设置为原始DataFrame的索引，最后连接回原始DataFrame。
# 使用ffill后的索引重新索引tmp，然后设置回原始DataFrame的索引 # 这样，原始DataFrame中每个NaN的行，都会根据其ffill后的索引，获取到tmp中对应的窗口数据 aligned_windows = tmp.reindex(idx).set_axis(df.index) # 将结果连接回原始DataFrame # 使用mask(m)确保只有原始col为NaN的行才显示新加入的窗口数据 out = df.join(aligned_windows.mask(m))
mask(m)这一步非常重要，它会将aligned_windows中对应原始col不为NaN的行（即m为True的行）的值设置为NaN。这样，最终输出中，只有原始col为NaN的行才会显示其选取的邻近有效值。
3.7 完整示例代码
import pandas as pd
import numpy as np
from numpy.lib.stride_tricks import sliding_window_view as swv
# 示例数据
data = {
'col': [np.nan, 0.0, 1.0, 2.0, np.nan, np.nan, 3.0, 4.0, 5.0, np.nan, 6.0, np.nan, 7.0, 8.0, 9.0, np.nan, 10.0]
}
df = pd.DataFrame(data)
# 定义选取参数
B = 2 # 在NaN之前选取的非NaN值数量
A = 3 # 在NaN之后选取的非NaN值数量
# 1. 提取列为Series，并确保为范围索引
s = df['col'].reset_index(drop=True)
# 2. 识别非NaN行
m = s.notna()
# 3. 掩盖NaN的索引，并进行前向填充
# 这将使得NaN位置的索引被其前面最近的非NaN值的索引所填充
idx = s.index 
