0

0

Pandas怎么填充缺失值_fillna(0)与ffill/bfill前后向插值填充技巧

P粉602998670

P粉602998670

发布时间:2026-03-12 08:57:32

|

256人浏览过

|

来源于php中文网

原创

fillna(0)会静默覆盖nan、none、pd.nat等所有缺失类型,易掩盖数据质量问题;ffill/bfill仅复制最近有效值而非插值;混合填充须分步处理,不可链式调用。

pandas怎么填充缺失值_fillna(0)与ffill/bfill前后向插值填充技巧

fillna(0) 会静默覆盖所有缺失类型,包括 NaN、None、pd.NaT

很多同学以为 fillna(0) 只填 NaN,其实它对 Nonepd.NaT(时间缺失)、甚至某些空字符串(如果列是 object 类型且含空字符串)也会一并替换——但不会报错,容易掩盖数据质量问题。

实操建议:

  • 先用 df.isna().sum() 看清每列缺失值真实构成,尤其注意时间列是否混有 pd.NaT
  • 若只想填数值型缺失,优先限定列: df[["col_a", "col_b"]] = df[["col_a", "col_b"]].fillna(0)
  • 对时间列慎用 fillna(0),0 会被转成 1970-01-01,改用 fillna(pd.Timestamp("2000-01-01")) 更安全

ffill 和 bfill 不是“插值”,它们只复制最近的有效值

ffill(forward fill)和 bfill(backward fill)本质是“搬运”而非计算,不依赖数值规律。比如温度序列中连续三天缺失,ffill 会把前一个有效值重复三次,而不是线性推算。

常见错误现象:

  • 在带趋势的数据上滥用 ffill,导致平直假象(如股价突降后连续多日被“冻结”在降前值)
  • 对分类列(如 "status")误用 ffill,把 “pending” 填满后续本该是 “done” 的行
  • 未设 limit 参数,跨过长空白段传播错误值(例如用户行为日志中断一周,ffill 把中断前的操作“延续”到下周)

推荐写法:df["value"].ffill(limit=3) 控制最多向前补 3 行,留出明显断点供人工核查

Kacha
Kacha

KaCha是一款革命性的AI写真工具,用AI技术将照片变成杰作!

下载

混合填充策略必须分步做,不能链式调用 fillna 后再 ffill

df.fillna(0).ffill() 这种写法看似简洁,实际会先强行把所有缺失变 0,再用 0 去 forward fill——结果是整段都变成 0,完全失去原始分布特征。

正确顺序取决于业务逻辑:

  • 想优先保留局部趋势?先 ffill/bfill,再对仍空的头尾用 fillna(0)fillna(df["x"].mean())
  • 想确保数值列不为 null,但分类列保持原缺失?分开处理:df.select_dtypes(include="number").fillna(0) + df.select_dtypes(include="object").ffill()
  • 时间序列中需按组填充?必须用 groupby + applydf.groupby("user_id")["score"].ffill()

fillna 传字典时键名必须严格匹配列名,且不支持正则或通配

df.fillna({"col_*": 0}) 是无效的,Pandas 不解析通配符。键必须是真实存在的列名字符串,且大小写、空格、下划线全要对得上。

容易踩的坑:

  • 列名含空格(如 "sales amount"),字典里写成 "sales_amount" → 完全不生效
  • 从 Excel 读入后列名末尾带不可见空格,用 df.columns.tolist() 一眼看不出来,得用 repr(df.columns) 检查
  • 想批量匹配数值列但又怕漏,不如用 df.fillna(df.select_dtypes(include="number").mean().to_dict())

性能提示:对超大表(千万行+),避免用 fillna 传函数(如 lambda x: x.mean()),会触发逐列 apply,比传标量慢一个数量级

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

78

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

32

2026.01.31

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

254

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1089

2024.03.01

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号