0

0

掌握Pandas中‘object’类型数据的数值分析与智能转换:以计算平均值为例

碧海醫心

碧海醫心

发布时间:2025-11-23 14:23:36

|

299人浏览过

|

来源于php中文网

原创

掌握pandas中'object'类型数据的数值分析与智能转换:以计算平均值为例

本教程详细讲解了在Pandas中处理包含数值信息的'object'类型数据以进行描述性统计分析的方法。针对数据集中常见的数值与单位混合、小数分隔符不一致等问题,文章提供了一套智能转换策略,通过逐列遍历和条件解析,将非标准数值字符串转换为可计算的浮点数,最终实现对这些复杂'object'列的平均值等统计量计算。

在数据分析过程中,我们经常会遇到Pandas DataFrame中某些列的数据类型被错误识别为object,但实际上这些列包含的是数值信息,例如"15.6 inches"、"2 - 4 kg"或"1 TB"。直接对这些object类型的列进行平均值、中位数等描述性统计计算会导致错误或无法进行。本教程旨在提供一套系统的方法,帮助用户识别、清理并智能转换这些看似复杂的数据,使其能够正确地进行数值分析。

数据探索与问题识别

首先,我们通过df.info()和df.head()来初步了解数据集的结构和数据类型。

import pandas as pd
import numpy as np

# 假设数据已从 'data.xlsx' 加载
df = pd.read_excel('data.xlsx')
print(df.info())

从df.info()的输出中,我们可以看到许多列,如Memory Speed、Device Weight、Screen Size、GPU Memory Size、Max Processor Speed、RAM (System Memory)和SSD Capacity等,都被识别为object类型,但它们的名称明显暗示了数值含义。

df.head()的输出进一步证实了这一点,例如:

阿里云AI平台
阿里云AI平台

阿里云AI平台

下载
  • Memory Speed: "1066 MHz", "3200 MHz"
  • Device Weight: "2 - 4 kg", "1 - 2 kg"
  • Screen Size: "10 inches", "15.6 inches"
  • GPU Memory Size: "Shared", "1 GB", "2 GB"
  • SSD Capacity: "1 TB", "512 GB"
  • Max Screen Resolution: "1920 x 1080"

直接使用df.describe(include='all')可以对所有列进行描述性统计,但对于非数值的object列,它只能提供计数、唯一值、最常见值等信息,无法计算平均值、标准差等数值统计量。例如,Backlit Keyboard列在df.info()中显示为int64,因此可以直接计算其平均值,但其他object列则不行。

'Object'类型数据的挑战

当Pandas将一列识别为object类型时,通常意味着该列包含了混合数据类型(如字符串和数字),或者其所有值都是字符串,但这些字符串需要进一步解析才能提取数值。常见的挑战包括:

  1. 数值与单位混合: 例如 "15.6 inches",需要提取 "15.6"。
  2. 数值范围: 例如 "2 - 4 kg",可能需要取中间值或转换为范围。
  3. 小数分隔符不一致: 某些地区使用逗号作为小数分隔符(例如 "1,23" 而非 "1.23")。
  4. 特殊格式: 例如 "1920 x 1080" 表示分辨率,不直接是单个数值。
  5. 单位转换: 例如 "1 TB" 和 "512 GB" 需要统一单位(如都转换为 TB)才能进行比较和计算。
  6. 非数值描述: 例如 "Shared" (GPU Memory Size) 或 "Very Low" (Price),这些本身就不是数值。
  7. 缺失值处理: NaN(Not a Number)或空字符串需要被正确识别和处理。

智能类型转换策略

为了对这些object类型的列进行数值分析,我们需要设计一个智能的转换流程。核心思想是遍历每个object类型的列,并对其中的每个值进行条件判断和解析。

以下是实现这一策略的Python代码示例:

import pandas as pd
import numpy as np

# 假设 df 已经加载
# df = pd.read_excel("Dataset.xlsx") # 使用你的实际文件名

# 创建一个空的DataFrame副本,用于存储转换后的数据
df_converted = pd.DataFrame(columns=df.columns)

for col in df.columns: # 遍历原始DataFrame的每一列
    if df[col].dtype == "object": # 检查列的数据类型是否为 'object'
        converted_values = [] # 初始化一个列表,用于存储当前列转换后的值
        for val in df[col].values: # 遍历当前列的每一个值
            if pd.isna(val): # 如果是缺失值 (NaN),则直接添加 NaN
                converted_values.append(np.nan)
            elif isinstance(val, (int, float)): # 如果值已经是数字类型,直接添加
                converted_values.append(val)
            elif isinstance(val, str): # 确保值是字符串类型,以便进行字符串操作
                val_stripped = val.strip() # 去除首尾空格

                # 处理小数分隔符,将逗号替换为点
                if "," in val_stripped:
                    val_stripped = val_stripped.replace(",", ".")

                # 尝试分割字符串以处理数值和单位
                if " " in val_stripped:
                    val_splitted = val_stripped.split(" ")

                    if len(val_splitted) >= 2: # 如果分割后有多部分
                        try:
                            numeric_part = float(val_splitted[0])
                            unit_part = val_splitted[1].lower() # 获取单位并转为小写

                            if col == "SSD Capacity": # 特殊处理 SSD 容量列,进行单位统一
                                if unit_part == "gb":
                                    converted_values.append(numeric_part / 1000) # GB 转换为 TB
                                elif unit_part == "tb":
                                    converted_values.append(numeric_part)
                                else: # 未知单位,保留原始值
                                    converted_values.append(val)
                            elif col == "Device Weight": # 处理 Device Weight 范围,取平均值
                                if "-" in val_splitted[0]: # "2-4" 这种形式
                                    try:
                                        lower, upper = map(float, val_splitted[0].split('-'))
                                        converted_values.append

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

80

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

33

2026.01.31

数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

338

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

225

2025.10.31

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

138

2026.02.12

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

761

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1568

2023.10.24

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 21.3万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号