答案：数据清洗需用Pandas、NumPy等库处理缺失值与异常值。先用isnull().sum()统计缺失值，再按需填充均值、中位数或插值，也可删除缺失行/列；结合业务判断异常值处理方式，可用SimpleImputer等工具辅助清洗。
Python代码清洗数据，核心在于利用各种库（如Pandas、NumPy）来处理数据中的脏数据、缺失值、异常值等，让数据更干净、更规范，从而提升后续分析的准确性。处理缺失值是数据清洗的重要一环，常见的技巧包括删除、填充（均值、中位数、众数、特定值）、插值等。
解决方案
数据清洗是一个迭代的过程，没有一蹴而就的方法。你需要先理解数据的含义，然后根据具体情况选择合适的清洗策略。以下是一些常用的Python数据清洗技巧，重点关注缺失值处理。
如何快速定位并统计Python DataFrame中的缺失值？
使用Pandas DataFrame时，快速定位和统计缺失值是数据清洗的第一步。isnull()和isna()函数可以用来检测缺失值，sum()函数则可以统计每列的缺失值数量。
import pandas as pd
import numpy as np
# 创建一个包含缺失值的DataFrame
data = {'col1': [1, 2, np.nan, 4],
'col2': [5, np.nan, 7, 8],
'col3': [9, 10, 11, np.nan]}
df = pd.DataFrame(data)
# 检测缺失值并统计
missing_values = df.isnull().sum()
print("每列缺失值数量：\n", missing_values)
# 或者使用 isna()
missing_values_isna = df.isna().sum()
print("\n每列缺失值数量 (使用 isna()):\n", missing_values_isna)这段代码首先创建了一个包含缺失值的DataFrame。然后，使用isnull().sum()和isna().sum()来统计每列的缺失值数量。这两个函数的效果是相同的。输出结果会告诉你每列有多少个缺失值，方便你决定下一步的处理策略。如果想查看具体哪些行包含缺失值，可以用df[df.isnull().any(axis=1)]。
立即学习“Python免费学习笔记（深入）”；
Python中填充缺失值有哪些常用的方法？
填充缺失值是数据清洗中常见的操作。Pandas提供了多种填充方法，包括使用常数、均值、中位数、众数，以及使用插值法。
- 使用常数填充：
df_filled_constant = df.fillna(0) # 将所有缺失值填充为0
print("\n使用常数填充后的DataFrame：\n", df_filled_constant)- 使用均值、中位数、众数填充：
df_filled_mean = df.fillna(df.mean()) # 使用均值填充
print("\n使用均值填充后的DataFrame：\n", df_filled_mean)
df_filled_median = df.fillna(df.median()) # 使用中位数填充
print("\n使用中位数填充后的DataFrame：\n", df_filled_median)
df_filled_mode = df.fillna(df.mode().iloc[0]) # 使用众数填充
print("\n使用众数填充后的DataFrame：\n", df_filled_mode)- 使用插值法填充：
df_interpolated = df.interpolate() # 使用线性插值填充
print("\n使用插值法填充后的DataFrame：\n", df_interpolated)选择哪种填充方法取决于数据的性质和业务需求。例如，对于数值型数据，可以使用均值或中位数填充；对于时间序列数据，可以使用插值法。
如何删除包含缺失值的行或列，并评估其影响？
删除包含缺失值的行或列是一种简单粗暴的方法，但需要谨慎使用，因为它可能导致数据丢失。在删除之前，应该评估缺失值的比例以及删除操作对数据分析结果的影响。
# 删除包含缺失值的行
df_dropna_rows = df.dropna()
print("\n删除包含缺失值的行后的DataFrame：\n", df_dropna_rows)
# 删除包含缺失值的列 (不推荐，除非该列缺失值过多)
df_dropna_cols = df.dropna(axis=1)
print("\n删除包含缺失值的列后的DataFrame：\n", df_dropna_cols)在删除行或列之前，最好先计算缺失值的比例，如果缺失值比例过高，删除可能会导致数据量大幅减少，影响分析结果。可以使用以下代码计算每列的缺失值比例：
missing_percentage = df.isnull().sum() / len(df)
print("\n每列缺失值比例：\n", missing_percentage)根据缺失值比例和业务需求，综合考虑是否删除行或列。
除了Pandas，还有哪些Python库可以用于数据清洗？
除了Pandas，还有一些其他的Python库可以用于数据清洗，例如NumPy、Scikit-learn等。
- NumPy： NumPy主要用于数值计算，可以用来处理数值型数据的缺失值和异常值。
import numpy as np
# 使用NumPy处理缺失值
data = np.array([[1, 2, np.nan], [4, np.nan, 6]])
# 创建一个包含缺失值的NumPy数组
# 使用NumPy填充缺失值 (例如，使用均值)
mean = np.nanmean(data) # 计算忽略缺失值的均值
data_filled = np.nan_to_num(data, nan=mean) # 将缺失值替换为均值
print("\n使用NumPy填充后的数组：\n", data_filled)-
Scikit-learn： Scikit-learn提供了一些用于数据预处理的工具，例如
SimpleImputer，可以用来填充缺失值。
from sklearn.impute import SimpleImputer
import numpy as np
# 创建一个包含缺失值的NumPy数组
data = np.array([[1, 2, np.nan], [4, np.nan, 6]])
# 使用SimpleImputer填充缺失值
imputer = SimpleImputer(strategy='mean') # 使用均值填充
data_filled = imputer.fit_transform(data)
print("\n使用Scikit-learn填充后的数组：\n", data_filled)选择哪个库取决于你的具体需求和数据类型。Pandas更适合处理结构化数据，NumPy更适合处理数值型数据，Scikit-learn提供了一些更高级的预处理工具。
如何处理Python数据清洗中常见的异常值？
异常值是指明显偏离正常范围的数据点。处理异常值的方法包括删除、替换、缩尾等。
- 删除异常值：
可以使用条件筛选来删除异常值。例如，删除大于3倍标准差的数据点：
# 删除大于3倍标准差的异常值
std = df['col1'].std()
mean = df['col1'].mean()
df_filtered = df[(df['col1'] >= mean - 3 * std) & (df['col1'] <= mean + 3 * std)]
print("\n删除异常值后的DataFrame：\n", df_filtered)- 替换异常值：
可以将异常值替换为特定的值，例如均值、中位数，或者上下限值。
# 将大于3倍标准差的异常值替换为上限值
upper_limit = mean + 3 * std
df['col1'] = np.where(df['col1'] > upper_limit, upper_limit, df['col1'])
print("\n替换异常值后的DataFrame：\n", df)- 缩尾：
缩尾是指将超出一定范围的数据点拉回到该范围内。例如，将大于99%分位数的数据点替换为99%分位数的值，将小于1%分位数的数据点替换为1%分位数的值。
处理异常值需要结合业务知识和数据特点，选择合适的处理方法。没有一种方法适用于所有情况。
