Pandas处理缺失值需掌握isnull()、notnull()、dropna()和fillna()。首先用isnull().sum()统计各列缺失值数量，快速识别缺失情况；dropna()用于删除缺失值，how='any'表示有缺失即删，how='all'表示全缺失才删，thresh=n表示至少保留n个非缺失值的行；fillna()用于填充，可指定值、均值或使用ffill/bfill进行前后向填充，适用于时间序列数据中保持连续性。
Pandas处理缺失值主要依靠
isnull()、
notnull()、
dropna()和
fillna()这几个函数，它们分别用于检测、排除和填充缺失值。核心在于理解这些函数的作用对象和参数，以及如何灵活组合使用。
解决方案
Pandas处理缺失值，本质上就是识别、剔除和填充。具体步骤如下：
识别缺失值： 使用
isnull()
和notnull()
函数，它们返回布尔类型的DataFrame或Series，指示每个元素是否为缺失值。isnull()
返回True表示缺失，notnull()
返回True表示非缺失。-
剔除缺失值： 使用
dropna()
函数。dropna()
可以删除包含缺失值的行或列。立即学习“Python免费学习笔记（深入）”；
df.dropna()
：默认删除包含任何缺失值的行。df.dropna(axis=1)
：删除包含任何缺失值的列。df.dropna(how='all')
：只删除所有值都为缺失值的行。df.dropna(thresh=n)
：删除至少有n个非缺失值的行。
-
填充缺失值： 使用
fillna()
函数。fillna()
可以将缺失值替换为指定的值。df.fillna(value)
：将所有缺失值替换为value。df.fillna(method='ffill')
：使用前一个有效值填充（前向填充）。df.fillna(method='bfill')
：使用后一个有效值填充（后向填充）。df.fillna(df.mean())
：使用该列的平均值填充缺失值。df.fillna({'col1': value1, 'col2': value2})：针对不同列使用不同的值填充。
如何高效检测DataFrame中的缺失值？
isnull()和
notnull()是基础，但当DataFrame很大时，直接查看所有布尔值并不现实。可以结合
sum()函数来统计每列的缺失值数量：
df.isnull().sum()。 这会返回一个Series，显示每列有多少个缺失值。
更进一步，可以使用
df.isnull().sum().sort_values(ascending=False)来按缺失值数量降序排列各列，快速定位缺失值最多的列。 此外，
df.isnull().any()会返回一个Series，指示哪些列包含缺失值（只要有一列有缺失值，对应的值就为True）。
dropna()的参数how和thresh有什么区别？
how参数决定了删除行的条件。
how='any'（默认值）表示只要该行有任何缺失值，就删除该行。
how='all'则表示只有当该行所有值都是缺失值时，才删除该行。
thresh参数则设定了一个阈值。
thresh=n表示只有当该行至少有n个非缺失值时，才保留该行。换句话说，如果某行非缺失值的数量小于n，则删除该行。
举个例子，假设DataFrame
df有5列。
df.dropna(thresh=3)会删除任何少于3个非缺失值的行。如果某行只有两个非缺失值，它就会被删除。
how和
thresh是互斥的，不能同时使用。选择哪个取决于具体的需求。
fillna()中method参数的ffill和bfill在时间序列数据中有什么应用？
在处理时间序列数据时，缺失值常常会带来问题。
ffill（前向填充）和
bfill（后向填充）在这种情况下非常有用。
ffill
假设缺失值应该与前一个时间点的值相同，适用于数据具有连续性的情况，比如传感器数据、股票价格等。它会将缺失值替换为前一个有效值，直到遇到下一个有效值。bfill
则相反，它假设缺失值应该与后一个时间点的值相同。适用于需要“预知未来”的情况，或者后一个值更能代表当前值的场景。
例如，假设有一个时间序列DataFrame，记录了每天的温度。如果某天的数据缺失，可以使用
ffill用前一天的温度填充，或者使用
bfill用后一天的温度填充。选择哪种方法取决于数据的特性和业务逻辑。
