0

0

Pandas数据处理:高效解析混合文本与数字词的复杂列

聖光之護

聖光之護

发布时间:2025-11-06 12:29:24

|

798人浏览过

|

来源于php中文网

原创

pandas数据处理:高效解析混合文本与数字词的复杂列

本文介绍如何在Pandas DataFrame中处理包含混合数据类型(如数字词和数值字符串)及多种分隔符的复杂列。通过结合正则表达式、`word2number`库进行文本到数字的转换,并利用Pandas的字符串操作与数据类型转换功能,实现将原始列高效拆分为多个标准数值列,解决`ValueError: No valid number words found!`等常见问题,提升数据清洗效率。

在数据分析和预处理过程中,我们经常会遇到数据格式不规范的情况,尤其是在从非结构化或半结构化源导入数据时。一个常见的挑战是,单个DataFrame列中可能包含多种类型的信息,例如文本描述的数字("three hundred")、数值字符串("203.0"),并且这些信息可能由不同的分隔符(如;、,、_)连接。本教程将详细讲解如何使用Pandas结合word2number库和正则表达式,高效地将这类复杂列拆分成多个结构化的数值列。

场景描述与问题分析

假设我们有一个DataFrame,其中包含 cement_water 和 coarse_fine_aggregate 等列。这些列的特点是:

  • cement_water 列: 包含文本形式的数字(如 "three hundred and two")和数值字符串(如 "203.0"),两者之间由 ;、_ 等分隔符连接。
  • coarse_fine_aggregate 列: 包含两个数值字符串,由 ;、, 等分隔符连接。
  • 目标: 将这些列拆分为 cement、water、coarse_aggregate、fine_aggregate 等独立的浮点数类型列。

一个常见的错误尝试是先将所有分隔符替换为空格,然后尝试用 word2number 转换所有部分,这可能导致 ValueError: No valid number words found!,因为 word2number 期望输入的是纯粹的数字词,而不是包含数字词和数值字符串的混合文本。

Machine Translation
Machine Translation

聚合多个来源的AI翻译

下载

原始数据示例:

cement_water                  coarse_fine_aggregate
three hundred and two;203.0     974.0,817.0
one hundred and fifty-one;184.4     992.0;815.9
three hundred and sixty-two_164.9   944.7;755.8

期望输出格式:

cement  water   coarse_aggregate    fine_aggregate
302.0   203.0     974.0                    817.0
151.0   184.4      992.0               815.9

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

531

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

258

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

767

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

219

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

357

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

293

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

245

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

549

2023.12.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

2

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 10.3万人学习

JavaScript正则表达式基础与实战
JavaScript正则表达式基础与实战

共11课时 | 1.5万人学习

布尔教育正则表达式视频教程
布尔教育正则表达式视频教程

共14课时 | 4.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号