本教程详细介绍了如何将DataFrame中包含字典列表的复杂列展开为新的、扁平化的DataFrame。文章提供了两种主要的解决方案：一种利用`str`访问器和`apply(pd.Series)`处理列表中的单个字典，另一种则通过引入默认字典结构来更健壮地处理空列表或缺失值，确保数据转换的完整性和准确性。
从包含字典列表的DataFrame列创建新DataFrame
在数据处理中，我们经常会遇到DataFrame的某一列存储着复杂的数据结构，例如字典列表。将这些复杂结构展开为新的、独立的列是数据清洗和分析的关键步骤。本教程将介绍如何高效地实现这一转换，并处理可能出现的空列表或缺失值情况。
场景描述与初始数据
假设我们有一个DataFrame，其中一个名为stats的列包含了不同长度的列表，每个列表可能包含一个字典或为空。我们的目标是将这些字典中的键（如city和last_time）提取出来，作为新的列添加到DataFrame中。
示例输入数据：
import pandas as pd
import numpy as np
df = pd.DataFrame(
{
"stats": [
[{"city": None, "last_time": 1234567}],
[],
[{"city": "Seattle", "last_time": 45678999876}]]
}
)
print("原始DataFrame:")
print(df)输出：
原始DataFrame:
stats
0 [{'city': None, 'last_time': 1234567}]
1 []
2 [{'city': 'Seattle', 'last_time': 45678999876}]我们期望的输出是一个包含city和last_time两列的DataFrame，其中第二行（对应原始的空列表）应显示为NA或None。
解决方案一：使用 str 访问器和 apply(pd.Series)
如果可以确定列表通常只包含一个字典，或者我们只关心列表中的第一个字典，那么结合使用Series.str访问器和apply(pd.Series)是一种简洁有效的方法。
-
df["stats"].str[0]:
- str访问器允许我们对Series中的字符串或列表元素执行字符串/列表操作。
- str[0]会尝试访问每个列表的第一个元素。如果一个元素不是列表，或者列表为空，它将返回NaN。
-
.apply(pd.Series):
- 对于str[0]返回的每个字典（或NaN），apply(pd.Series)会将其转换为一个Pandas Series。
- Pandas在将这些Series堆叠时，会自动将字典的键转换为新的列名。对于NaN值，它会相应地填充NaN。
实现代码：
# 方案一：直接提取第一个字典并展开
# 注意：此方法对于空列表会产生NaN，后续可以根据需要进行处理
out1 = df["stats"].str[0].apply(pd.Series)
print("\n方案一输出:")
print(out1)输出：
方案一输出:
city last_time
0 NaN 1234567.00
1 NaN NaN
2 Seattle 45678999876.00注意事项：
PHPWind（简称：PW，中国国家版权局著作权登记号为:2004SR06082）的使命是让网站更具价值，让更多人从网络中享受便利，以提升生活品质。 PHPWind的两位创始人王学集、林耀纳于2003年发布了PHPWind的前身版本ofstar，并发展成为包含BBS、CMS、博客、SNS等一系列程序的通用型建站软件。至今累计已有超过120万网站使用phpwind，每天还有1000个新增网站，这些
- 此方法简洁，但对于原始数据中的city: None，Pandas会将其识别为缺失值并显示为NaN。
- 对于空列表[]，str[0]会返回NaN，进而.apply(pd.Series)也会为对应的行生成全NaN。
- 如果列表可能包含多个字典，此方法只会处理第一个字典。
解决方案二：更健壮地处理空列表和缺失值
在某些情况下，我们可能希望对空列表或None值有更明确的控制，例如用一个默认的字典结构来填充，以确保所有行都有相同的列结构，即使数据缺失。
- stats = df["stats"].str[0]: 同方案一，先尝试提取第一个字典。
- templ = dict.fromkeys(["city", "last_time"]): 创建一个默认字典模板，其键与我们期望的输出列名一致，值为None。
-
stats.where(stats.notnull(), templ):
- Series.notnull() 返回一个布尔Series，指示哪些元素不是NaN。
- Series.where(condition, other) 方法会根据condition替换Series中的值。如果condition为False（即元素为NaN），则使用other（即我们的templ字典）来替换。
- 这样，原始的空列表（在str[0]后变为NaN）现在会被{'city': None, 'last_time': None}这个默认字典替换。
- .apply(pd.Series): 再次使用apply(pd.Series)来展开所有字典。
实现代码：
# 方案二：处理空列表，用默认字典填充
stats_series = df["stats"].str[0]
# 创建一个默认字典，用于填充空列表转换后的NaN
templ = dict.fromkeys(["city", "last_time"])
# 使用where方法，如果stats_series中的元素为NaN（来自空列表），则用templ填充
out2 = stats_series.where(stats_series.notnull(), templ).apply(pd.Series)
print("\n方案二输出:")
print(out2)输出：
方案二输出:
city last_time
0 NaN 1234567.00
1 None NaN
2 Seattle 45678999876.00对比与分析：
- 第一行 (city: None): 两种方案都将None处理为NaN。这是Pandas在处理混合类型数据时的常见行为，尤其是在数值列中，None通常会被转换为NaN。如果需要保留None作为字符串，可能需要后续类型转换。
-
第二行 (空列表 []):
- 方案一直接将其转换为全NaN行。
- 方案二将其转换为{'city': None, 'last_time': None}，然后展开。这使得city列显示None，last_time列显示NaN（因为None在数值列中会被转换为NaN）。这种处理方式在某些情况下更符合预期，因为它明确表示了这些字段的缺失。
总结与最佳实践
在从包含字典列表的DataFrame列创建新DataFrame时，选择哪种方法取决于您的具体需求和数据特性：
- 如果您的列表总是包含一个字典，且对空列表直接生成NaN可以接受，或者您会进行后续的缺失值处理，那么方案一（df["column"].str[0].apply(pd.Series)）是最简洁高效的选择。
- 如果您需要更精细地控制空列表或NaN值的填充行为，例如用一个预定义的结构来表示缺失数据，那么方案二（结合where和默认字典）提供了更强的鲁棒性。
在实际应用中，处理完数据展开后，您可能还需要进一步进行数据类型转换（例如，将city列的NaN转换为字符串"NA"或None），以满足后续分析的需求。
# 最终数据类型和缺失值处理示例 (基于out2)
out_final = out2.copy()
# 将city列的NaN替换为"NA"，并将None转换为字符串"None"
out_final['city'] = out_final['city'].replace({np.nan: 'NA', None: 'None'})
# last_time列的NaN保持不变，或根据需要填充
# out_final['last_time'] = out_final['last_time'].fillna(0) # 示例：填充0
print("\n最终处理后的输出示例:")
print(out_final)输出：
最终处理后的输出示例:
city last_time
0 NA 1234567.00
1 None NaN
2 Seattle 45678999876.00通过上述方法，您可以灵活高效地处理DataFrame中复杂嵌套的数据结构，将其转换为更易于分析的扁平化格式。
