0

0

Python中如何处理缺失值?pandas数据清洗技巧

蓮花仙者

蓮花仙者

发布时间:2025-07-11 12:12:02

|

1103人浏览过

|

来源于php中文网

原创

处理缺失值的方法包括检查、删除、填充和标记。1. 使用isna()或isnull()检查缺失值,通过sum()统计每列缺失数量,或用any().any()判断整体是否存在缺失;2. 采用dropna()删除缺失比例高的行或列,subset参数指定检查范围,inplace=true直接修改原数据;3. 用fillna()填充缺失值,数值型可用均值、中位数,类别型用众数,时间序列可用前后值填充;4. 对于缺失本身含信息的情况,可新增列标记是否缺失,并将缺失作为特征使用,提升模型表现。

Python中如何处理缺失值?pandas数据清洗技巧

处理缺失值是数据分析中非常基础但也非常关键的一步,特别是在使用pandas进行数据清洗时。很多时候,原始数据中都会存在空值、NaN或者无效值,如果不做处理,会影响后续分析甚至导致错误结果。好在pandas提供了很多实用的方法,可以灵活应对这些情况。

Python中如何处理缺失值?pandas数据清洗技巧

1. 检查缺失值

在动手处理之前,首先要知道数据中哪些地方有缺失值。pandas提供了一个非常方便的函数:isna() 或者 isnull(),它可以标记出数据中的缺失值。

Python中如何处理缺失值?pandas数据清洗技巧
import pandas as pd

df = pd.read_csv('data.csv')
print(df.isna().sum())

这段代码会输出每一列中有多少个缺失值,帮助你快速定位问题所在。

立即学习Python免费学习笔记(深入)”;

如果你只想看看整个DataFrame有没有缺失值,可以用:

Python中如何处理缺失值?pandas数据清洗技巧
df.isna().any().any()

这样就能知道是否需要进一步处理了。

2. 删除缺失值

如果某列或某行的缺失值比例非常高,比如超过70%,通常可以选择直接删除这部分数据。pandas中使用dropna()方法来实现这个操作。

df.dropna(subset=['列名'], inplace=True)

上面这行代码的意思是,在指定列中如果有缺失值,就删除对应的整行数据。如果不指定subset参数,默认会检查所有列。

笔头写作
笔头写作

AI为论文写作赋能,协助你从0到1。

下载
小贴士: 使用inplace=True可以直接修改原数据,而不是返回一个新对象。如果你不确定后果,建议先复制一份数据再操作。

不过要注意,这种方法虽然简单粗暴,但可能会损失大量有效信息,特别是当数据量本身就不大的时候。

3. 填充缺失值

相比直接删除,填充缺失值是一种更温和的做法,常见的方式包括用均值、中位数、众数或者前后值来填充。

  • 数值型数据常用平均值或中位数:
df['列名'].fillna(df['列名'].mean(), inplace=True)
  • 类别型数据更适合用众数(也就是出现次数最多的值):
df['列名'].fillna(df['列名'].mode()[0], inplace=True)
  • 如果是时间序列数据,可以用前一个或后一个非空值来填充:
df['列名'].fillna(method='ffill', inplace=True)  # 前向填充

这些方法可以根据数据类型和上下文灵活选择,有时候也可以组合使用。

4. 标记缺失值

有些时候,缺失本身也是一种信息。比如在用户填写问卷时,某些字段没填,可能意味着用户对该项不感兴趣或不了解。

这时候可以在填充的同时新增一列,用来标记该字段是否曾经缺失:

df['列名缺失'] = df['列名'].isna().astype(int)
df['列名'].fillna(0, inplace=True)

这样不仅保留了原始数据结构,还把“缺失”作为一个特征加入了模型训练中,有时反而能提升模型表现。


基本上就这些。处理缺失值看起来不复杂,但在实际项目中很容易被忽略细节,比如填充方式不合适、误删重要数据等。只要根据具体场景灵活选用合适的方法,就可以避免这些问题。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

60

2025.12.04

数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

309

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

222

2025.10.31

treenode的用法
treenode的用法

​在计算机编程领域,TreeNode是一种常见的数据结构,通常用于构建树形结构。在不同的编程语言中,TreeNode可能有不同的实现方式和用法,通常用于表示树的节点信息。更多关于treenode相关问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

538

2023.12.01

C++ 高效算法与数据结构
C++ 高效算法与数据结构

本专题讲解 C++ 中常用算法与数据结构的实现与优化,涵盖排序算法(快速排序、归并排序)、查找算法、图算法、动态规划、贪心算法等,并结合实际案例分析如何选择最优算法来提高程序效率。通过深入理解数据结构(链表、树、堆、哈希表等),帮助开发者提升 在复杂应用中的算法设计与性能优化能力。

17

2025.12.22

深入理解算法:高效算法与数据结构专题
深入理解算法:高效算法与数据结构专题

本专题专注于算法与数据结构的核心概念,适合想深入理解并提升编程能力的开发者。专题内容包括常见数据结构的实现与应用,如数组、链表、栈、队列、哈希表、树、图等;以及高效的排序算法、搜索算法、动态规划等经典算法。通过详细的讲解与复杂度分析,帮助开发者不仅能熟练运用这些基础知识,还能在实际编程中优化性能,提高代码的执行效率。本专题适合准备面试的开发者,也适合希望提高算法思维的编程爱好者。

27

2026.01.06

clawdbot ai使用教程 保姆级clawdbot部署安装手册
clawdbot ai使用教程 保姆级clawdbot部署安装手册

Clawdbot是一个“有灵魂”的AI助手,可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等,并且可以接入用户常用的任何聊天APP,所有的操作均可通过WhatsApp、Telegram等平台完成,用户只需通过对话,就能操控设备自动执行各类任务。

2

2026.01.29

clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址
clawdbot龙虾机器人官网入口 clawdbot ai官方网站地址

clawdbot龙虾机器人官网入口:https://clawd.bot/,clawdbot ai是一个“有灵魂”的AI助手,可以帮用户清空收件箱、发送电子邮件、管理日历、办理航班值机等等,并且可以接入用户常用的任何聊天APP,所有的操作均可通过WhatsApp、Telegram等平台完成,用户只需通过对话,就能操控设备自动执行各类任务。

0

2026.01.29

Golang 网络安全与加密实战
Golang 网络安全与加密实战

本专题系统讲解 Golang 在网络安全与加密技术中的应用,包括对称加密与非对称加密(AES、RSA)、哈希与数字签名、JWT身份认证、SSL/TLS 安全通信、常见网络攻击防范(如SQL注入、XSS、CSRF)及其防护措施。通过实战案例,帮助学习者掌握 如何使用 Go 语言保障网络通信的安全性,保护用户数据与隐私。

5

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号