本文详细介绍了如何在python中高效处理复杂的嵌套字典与列表数据结构。通过逐步解析数据层级，文章演示了如何遍历深层嵌套的元素，并应用自定义过滤条件（例如排除特定值组合的记录），最终提取出目标键（如'asset', 'free', 'locked'）的对应值。教程包含完整的代码示例、详细解释及优化建议，旨在帮助读者掌握复杂数据提取与清洗的实用技巧。
正文
引言：处理Python复杂嵌套数据
在现代数据处理中，我们经常会遇到结构复杂的JSON或类JSON数据，它们通常以Python字典和列表的嵌套形式呈现。从这些深层嵌套的数据中准确地提取所需信息，并根据特定条件进行过滤，是Python编程中一项常见的任务。本教程将以一个具体的示例，详细讲解如何有效地导航这些复杂结构，实现数据的提取与过滤。
理解数据结构
首先，我们来看一个典型的嵌套数据结构示例。这是一个字典，其中包含一个列表，列表的每个元素又是一个字典，再往里又嵌套了字典和列表。
repo_data = {
'code': 200,
'msg': '',
'snapshotVos': [
{
'data': {
'balances': [
{'asset': 'ADD', 'free': '10', 'locked': '0'},
{'asset': 'RDP', 'free': '0', 'locked': '0'},
{'asset': 'SHIB', 'free': '0', 'locked': '947415'}
],
'totalAsset': '152'
},
'type': 'spot',
'updateTime': 1703807999000
}
]
}我们的目标是从'balances'列表中提取每个元素的'asset'、'free'和'locked'值，但要排除那些'free'和'locked'都为'0'的记录。
逐层访问与数据提取
要访问深层嵌套的数据，我们需要像剥洋葱一样，一层一层地深入。
立即学习“Python免费学习笔记（深入）”；
-
访问顶层键： 数据首先是一个字典，我们可以通过键'snapshotVos'访问其对应的值，这是一个列表。
snapshot_vos_list = repo_data['snapshotVos']
-
遍历列表元素： snapshot_vos_list是一个列表，我们需要遍历它来访问每个字典元素。
for snapshot_item in snapshot_vos_list: # snapshot_item 现在是 {'data': {...}, 'type': 'spot', ...} pass -
访问嵌套字典： 在每个snapshot_item中，我们可以通过键'data'访问另一个字典。
for snapshot_item in snapshot_vos_list: data_content = snapshot_item['data'] # data_content 现在是 {'balances': [...], 'totalAsset': '152'} pass -
访问目标列表： 在data_content中，我们可以通过键'balances'访问我们最终的目标列表，其中包含了多个资产余额信息。
for snapshot_item in snapshot_vos_list: data_content = snapshot_item['data'] balances_list = data_content['balances'] # balances_list 现在是 [{'asset': 'ADD', ...}, {'asset': 'RDP', ...}, ...] pass 遍历目标列表并提取数据： 最后，我们需要遍历balances_list中的每个字典，并从中提取'asset'、'free'和'locked'的值。
实现数据过滤逻辑
在提取数据的同时，我们需要应用一个过滤条件：如果一个余额记录的'free'和'locked'值都为'0'，则将其排除。
过滤条件可以表示为： if not (balance['free'] == '0' and balance['locked'] == '0'):
这个条件会检查当前balance字典中'free'和'locked'键对应的值是否都等于字符串'0'。如果两者都为'0'，则balance['free'] == '0' and balance['locked'] == '0'为真，not操作符使其变为假，从而跳过该记录。反之，如果至少有一个不为'0'，则条件为真，该记录将被处理。
提取目标键值
一旦通过过滤条件，我们就需要从当前的balance字典中提取'asset'、'free'和'locked'的值。一种直接的方法是创建一个新的字典或一个包含这些值的列表。考虑到原问题中的示例答案使用了list(balance.values())，我们将采用提取值的列表形式。需要注意的是，dict.values()返回值的顺序在Python 3.7+中是按照插入顺序的，因此对于固定结构的字典，可以保证值的顺序。
完整解决方案代码
将上述所有步骤整合起来，形成一个完整的解决方案：
repo_data = {
'code': 200,
'msg': '',
'snapshotVos': [
{
'data': {
'balances': [
{'asset': 'ADD', 'free': '10', 'locked': '0'},
{'asset': 'RDP', 'free': '0', 'locked': '0'},
{'asset': 'SHIB', 'free': '0', 'locked': '947415'}
],
'totalAsset': '152'
},
'type': 'spot',
'updateTime': 1703807999000
}
]
}
# 用于存储最终结果的列表
filtered_balances_data = []
# 遍历 'snapshotVos' 列表
for snapshot_item in repo_data['snapshotVos']:
# 访问 'data' 字典
data_content = snapshot_item['data']
# 访问 'balances' 列表
balances_list = data_content['balances']
# 遍历 'balances' 列表中的每个余额字典
for balance in balances_list:
# 应用过滤条件：如果 'free' 和 'locked' 都不全为 '0'
if not (balance['free'] == '0' and balance['locked'] == '0'):
# 提取 'asset', 'free', 'locked' 的值并添加到结果列表
# 确保值的顺序与键的顺序一致，例如 ['asset', 'free', 'locked']
# 注意：dict.values() 在Python 3.7+中保持插入顺序
# 如果需要更明确的顺序，可以直接指定键：
# extracted_values = [balance['asset'], balance['free'], balance['locked']]
extracted_values = list(balance.values()) # 假设 'asset', 'free', 'locked' 是前三个键且顺序固定
filtered_balances_data.append(extracted_values)
print(filtered_balances_data)输出结果：
[['ADD', '10', '0'], ['SHIB', '0', '947415']]
代码解析
- filtered_balances_data = []：初始化一个空列表，用于收集符合条件的余额数据。
- for snapshot_item in repo_data['snapshotVos']:：第一个循环遍历repo_data字典中'snapshotVos'键对应的列表。每次迭代，snapshot_item将是列表中的一个字典，例如{'data': {...}, 'type': 'spot', ...}。
- data_content = snapshot_item['data']：从当前的snapshot_item字典中提取'data'键对应的值，它是一个包含'balances'和'totalAsset'的字典。
- balances_list = data_content['balances']：从data_content字典中提取'balances'键对应的值，它是一个包含多个余额信息的列表。
- for balance in balances_list:：第二个（嵌套）循环遍历balances_list中的每一个余额字典。每次迭代，balance将是{'asset': 'ADD', 'free': '10', 'locked': '0'}这样的字典。
- if not (balance['free'] == '0' and balance['locked'] == '0'):：这是核心的过滤逻辑。它检查当前balance字典的'free'和'locked'键的值是否都为字符串'0'。如果两者都为'0'，则条件为假，该balance将被跳过。
- extracted_values = list(balance.values())：如果balance通过了过滤条件，我们将其所有值提取为一个列表。例如，对于{'asset': 'ADD', 'free': '10', 'locked': '0'}，这将生成['ADD', '10', '0']。
- filtered_balances_data.append(extracted_values)：将提取到的值列表添加到最终结果列表filtered_balances_data中。
进阶考虑与最佳实践
-
使用列表推导式优化： 对于这种数据提取和过滤的场景，Python的列表推导式（List Comprehension）可以大大简化代码，使其更紧凑和易读。
filtered_balances_data_comprehension = [ [balance['asset'], balance['free'], balance['locked']] # 更明确的键值提取 for snapshot_item in repo_data['snapshotVos'] for balance in snapshot_item['data']['balances'] if not (balance['free'] == '0' and balance['locked'] == '0') ] print(filtered_balances_data_comprehension)这里我们直接指定了要提取的键，避免了dict.values()可能带来的顺序不确定性（虽然Python 3.7+已保证）。
-
数据类型转换： 在原始数据中，'free'和'locked'的值是字符串'0'。在进行数值比较或计算时，通常需要将其转换为整数或浮点数。
# 转换为整数进行比较 if not (int(balance['free']) == 0 and int(balance['locked']) == 0): # ...请注意，如果字符串可能不是有效的数字，转换时需要进行错误处理（例如使用try-except块）。
-
健壮性考虑（键不存在时的处理）： 在处理来自外部源的数据时，字典中的键可能不总是存在。直接访问不存在的键会导致KeyError。为了提高代码的健壮性，可以使用dict.get()方法提供一个默认值，或者进行条件检查。
# 使用 .get() 方法 free_val = balance.get('free', '0') # 如果 'free' 键不存在，默认为 '0' locked_val = balance.get('locked', '0') if not (free_val == '0' and locked_val == '0'): # ... -
输出格式的灵活性： 本教程的解决方案输出的是一个值列表的列表。如果需要保留键名，输出一个字典列表会是更好的选择，因为它能提供更清晰的数据结构。
filtered_balances_dict_list = [ {'asset': balance['asset'], 'free': balance['free'], 'locked': balance['locked']} for snapshot_item in repo_data['snapshotVos'] for balance in snapshot_item['data']['balances'] if not (balance['free'] == '0' and balance['locked'] == '0') ] print(filtered_balances_dict_list) # 输出示例: [{'asset': 'ADD', 'free': '10', 'locked': '0'}, {'asset': 'SHIB', 'free': '0', 'locked': '947415'}]
总结
处理Python中的复杂嵌套字典和列表数据是数据分析和Web开发中的一项基本技能。通过理解数据结构、运用多层循环（或列表推导式）以及精确的条件过滤，我们可以高效地提取和清洗所需的数据。在实际应用中，还应考虑数据类型转换、错误处理和选择最适合需求的输出格式，以确保代码的健壮性、可读性和实用性。掌握这些技巧将极大地提升您处理结构化数据的能力。
