Python怎么用pandas筛选数据_Pandas数据筛选实用技巧

Pandas筛选数据核心是布尔索引，通过条件生成True/False序列来选择行；结合loc、iloc、query()、isin()、between()及.str方法可实现多条件组合与复杂场景筛选，处理缺失值可用isnull()/notna()，配合括号明确优先级，提升代码可读性与效率。

Pandas在Python里筛选数据，核心就是利用布尔索引（Boolean Indexing）。你给它一个条件，它会返回一个True/False的序列，然后Pandas就用这个序列来挑选出所有对应为True的行。此外，

loc

iloc

query()

import pandas as pd
import numpy as np

# 假设我们有一个DataFrame
data = {
    '姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九'],
    '年龄': [25, 30, 22, 35, 28, 40, 32],
    '城市': ['北京', '上海', '广州', '北京', '深圳', '上海', '杭州'],
    '收入': [8000, 12000, 7000, 15000, 10000, 18000, 9500],
    '是否在职': [True, True, False, True, True, True, False]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)

# 1. 基本布尔索引筛选：筛选年龄大于30的人
filtered_df_age = df[df['年龄'] > 30]
print("筛选年龄大于30的人:")
print(filtered_df_age)
print("-" * 30)

# 2. 使用loc进行筛选：筛选城市是北京且收入高于10000的人
# loc的强大之处在于可以同时指定行和列的标签
filtered_df_loc = df.loc[(df['城市'] == '北京') & (df['收入'] > 10000)]
print("筛选城市是北京且收入高于10000的人 (使用loc):")
print(filtered_df_loc)
print("-" * 30)

# 3. 使用query()方法：筛选年龄在25到35之间，且不在职的人
# query方法用字符串表达式，有时候写起来更直观
filtered_df_query = df.query('25 <= 年龄 <= 35 and not 是否在职')
print("筛选年龄在25到35之间，且不在职的人 (使用query):")
print(filtered_df_query)
print("-" * 30)

# 4. 使用isin()方法：筛选城市是北京或上海的人
filtered_df_isin = df[df['城市'].isin(['北京', '上海'])]
print("筛选城市是北京或上海的人 (使用isin):")
print(filtered_df_isin)
print("-" * 30)

# 5. 字符串方法筛选：筛选姓名包含“三”或“七”的人
# 注意这里需要访问.str属性
filtered_df_str = df[df['姓名'].str.contains('三|七')]
print("筛选姓名包含“三”或“七”的人 (使用str.contains):")
print(filtered_df_str)
print("-" * 30)

# 6. 筛选缺失值：如果DataFrame中有缺失值
df_with_nan = df.copy()
df_with_nan.loc[0, '收入'] = np.nan
df_with_nan.loc[2, '城市'] = np.nan
print("包含缺失值的DataFrame:")
print(df_with_nan)
print("-" * 30)

# 筛选收入不为空的行
filtered_not_null = df_with_nan[df_with_nan['收入'].notna()]
print("筛选收入不为空的行:")
print(filtered_not_null)
print("-" * 30)

# 筛选城市为空的行
filtered_null_city = df_with_nan[df_with_nan['城市'].isnull()]
print("筛选城市为空的行:")
print(filtered_null_city)
print("-" * 30)

如何用多条件组合筛选数据？

在实际的数据分析中，我们很少只用一个条件来筛选数据。通常都需要结合多个条件，比如“年龄大于30且城市是上海”或者“收入低于8000或不在职”。Pandas在这方面做得非常灵活，主要依赖于布尔运算符

&

|

~

举个例子，我们想找出那些“年龄大于30”并且“收入高于15000”的人。

立即学习“Python免费学习笔记（深入）”；

# 筛选年龄大于30 并且 收入高于15000的人
filtered_and = df[(df['年龄'] > 30) & (df['收入'] > 15000)]
print("年龄大于30 并且 收入高于15000的人:")
print(filtered_and)
print("-" * 30)

# 如果我们想找“城市是北京”或者“是否在职为False”的人
filtered_or = df[(df['城市'] == '北京') | (df['是否在职'] == False)]
print("城市是北京 或者 是否在职为False 的人:")
print(filtered_or)
print("-" * 30)

# 组合“非”操作：筛选不是北京人，且年龄小于30的人
filtered_not_and = df[(~(df['城市'] == '北京')) & (df['年龄'] < 30)]
print("不是北京人，且年龄小于30的人:")
print(filtered_not_and)
print("-" * 30)

这里有个小细节，如果你不加括号，像

df['年龄'] > 30 & df['收入'] > 15000

30 & df['收入']

除了布尔索引，还有哪些高效的筛选方法？

布尔索引确实是基石，但Pandas还提供了不少“语法糖”或者说更“高阶”的筛选方法，它们在特定场景下能让代码更简洁、更具可读性。我个人觉得，这些方法并不是要取代布尔索引，而是作为它的补充，或者说，是布尔索引在特定模式下的优化封装。

Flowise

一款开源的低代码/无代码AI应用开发工具

下载

1. query()

   方法： 这个方法我有时候会偷懒用，特别是条件比较多、比较复杂的时候。它允许你用字符串的形式表达筛选条件，非常类似于SQL的

   WHERE

   子句。对于熟悉SQL的人来说，上手会很快。它内部会进行一些优化，在处理大型数据集时可能比直接的布尔索引效率更高，因为它避免了创建大量的中间布尔Series。

   # 筛选年龄大于25，收入小于12000，且城市不是上海的人
   filtered_query_complex = df.query('年龄 > 25 and 收入 < 12000 and 城市 != "上海"')
   print("使用query()筛选：年龄大于25，收入小于12000，且城市不是上海的人:")
   print(filtered_query_complex)
   print("-" * 30)
   
   # query()方法也支持引用外部变量，前面加一个'@'符号
   min_age = 28
   target_city = '北京'
   filtered_query_var = df.query('年龄 >= @min_age and 城市 == @target_city')
   print(f"使用query()和外部变量筛选：年龄大于等于{min_age}，且城市是{target_city}的人:")
   print(filtered_query_var)
   print("-" * 30)

   query()

   的缺点是，如果你条件非常简单，写成字符串反而显得有点重，而且调试字符串表达式有时候不如直接的Python表达式直观。但对于复杂条件，它确实能让代码更像“人话”。

2. isin()

   方法： 当你想筛选某一列的值是否在给定的一组值中时，

   isin()

   方法简直是神器。它比写一堆

   or

   条件要优雅得多。

   # 筛选城市是北京、上海或深圳的人
   target_cities = ['北京', '上海', '深圳']
   filtered_isin_list = df[df['城市'].isin(target_cities)]
   print(f"使用isin()筛选：城市在{target_cities}中的人:")
   print(filtered_isin_list)
   print("-" * 30)

3. between()

   方法： 对于数值型数据，如果你想筛选一个范围内的值，

   between()

   方法非常方便，它默认是包含边界的（inclusive）。

   # 筛选收入在8000到12000之间的人 (包含8000和12000)
   filtered_between_income = df[df['收入'].between(8000, 12000)]
   print("使用between()筛选：收入在8000到12000之间的人:")
   print(filtered_between_income)
   print("-" * 30)

4. 字符串方法 (

   .str

   accessor)： 当你的列是字符串类型时，Pandas提供了

   .str

   访问器，里面封装了很多字符串操作方法，比如

   contains()

   、

   startswith()

   、

   endswith()

   、

   match()

   等，它们都能直接用于筛选。

   # 筛选姓名以“张”开头的人
   filtered_str_start = df[df['姓名'].str.startswith('张')]
   print("使用str.startswith()筛选：姓名以“张”开头的人:")
   print(filtered_str_start)
   print("-" * 30)
   
   # 筛选城市名称中包含“京”字的行
   filtered_str_contains = df[df['城市'].str.contains('京')]
   print("使用str.contains()筛选：城市名称中包含“京”字的行:")
   print(filtered_str_contains)
   print("-" * 30)

   这些方法在处理文本数据时，真的能让代码变得非常简洁和高效。

处理缺失值或特定类型数据时，筛选有什么技巧？

处理缺失值（NaN, Not a Number）是数据清洗的常见环节，筛选出或排除缺失值也是一种重要的筛选操作。Pandas为此提供了非常直观的方法：

isnull()

notnull()

isna()

notna()

1. 筛选缺失值 (

   isnull()

   /

   isna()

   ): 如果你想找出某一列中所有值为缺失值的行，就用这个。这对于理解数据质量，或者专门处理那些不完整的数据非常有用。

   # 假设我们有一个DataFrame，其中包含一些缺失值
   df_with_missing = df.copy()
   df_with_missing.loc[1, '年龄'] = np.nan
   df_with_missing.loc[4, '收入'] = np.nan
   df_with_missing.loc[6, '城市'] = np.nan
   print("包含缺失值的DataFrame:")
   print(df_with_missing)
   print("-" * 30)
   
   # 筛选年龄列中存在缺失值的行
   missing_age_rows = df_with_missing[df_with_missing['年龄'].isnull()]
   print("筛选年龄列中存在缺失值的行:")
   print(missing_age_rows)
   print("-" * 30)
   
   # 筛选收入列中存在缺失值的行
   missing_income_rows = df_with_missing[df_with_missing['收入'].isna()]
   print("筛选收入列中存在缺失值的行 (使用isna()):")
   print(missing_income_rows)
   print("-" * 30)

2. 筛选非缺失值 (

   notnull()

   /

   notna()

   ): 与

   isnull()

   相反，

   notnull()

   用于筛选出某一列中所有非缺失值的行。这在很多情况下更常用，因为我们通常希望处理完整的数据。

   # 筛选收入列中没有缺失值的行
   non_missing_income_rows = df_with_missing[df_with_missing['收入'].notnull()]
   print("筛选收入列中没有缺失值的行:")
   print(non_missing_income_rows)
   print("-" * 30)
   
   # 筛选城市列中没有缺失值的行
   non_missing_city_rows = df_with_missing[df_with_missing['城市'].notna()]
   print("筛选城市列中没有缺失值的行 (使用notna()):")
   print(non_missing_city_rows)
   print("-" * 30)

3. 结合多列缺失值筛选： 我们也可以结合多个条件来筛选，比如筛选所有至少有一列缺失值的行，或者所有特定几列都非缺失值的行。

   # 筛选任何一列存在缺失值的行 (axis=1表示在行方向上检查)
   rows_with_any_nan = df_with_missing[df_with_missing.isnull().any(axis=1)]
   print("筛选任何一列存在缺失值的行:")
   print(rows_with_any_nan)
   print("-" * 30)
   
   # 筛选所有列都非缺失值的行 (即删除所有包含缺失值的行)
   rows_with_no_nan = df_with_missing[df_with_missing.notnull().all(axis=1)]
   # 这其实和 df_with_missing.dropna() 的效果类似，但这里是筛选，dropna是直接删除
   print("筛选所有列都非缺失值的行:")
   print(rows_with_no_nan)
   print("-" * 30)

至于“特定类型数据”的筛选，这通常不是直接筛选数据内容，而是筛选DataFrame的列。比如，我们可能想找出所有数值型的列，或者所有对象（字符串）类型的列。这通常通过

select_dtypes()

apply()

type()

# 假设年龄列里不小心混入了一个字符串
df_mixed_type = df.copy()
df_mixed_type.loc[0, '年龄'] = '二十五'
print("包含混合类型数据的DataFrame:")
print(df_mixed_type)
print("-" * 30)

# 筛选年龄列中不是数值类型的行
# 这里需要用apply和type()来检查每个元素
non_numeric_age_rows = df_mixed_type[df_mixed_type['年龄'].apply(lambda x: not isinstance(x, (int, float)))]
print("筛选年龄列中不是数值类型的行:")
print(non_numeric_age_rows)
print("-" * 30)

这种对数据类型进行筛选的场景，虽然不那么常见，但在数据质量检查时确实能派上用场。总的来说，Pandas的筛选功能非常强大和灵活，只要掌握了布尔索引的原理，再结合各种辅助方法，就能游刃有余地处理各种数据筛选需求了。