在数据分析和处理中，我们经常需要从字符串列中提取特定模式的数据，并将其分配到dataframe的现有或新列中。当这种赋值操作需要基于特定条件进行时，例如只对包含特定字符的行进行操作，pandas.dataframe.loc和pandas.series.str.extract是强大的工具组合。然而，不恰当的使用方式可能导致意外结果，如目标列被填充为nan。
理解问题根源
考虑一个场景，我们有一个包含音乐和弦信息的Cypher列，其中一些和弦包含斜杠/，斜杠前是和弦名称，斜杠后是低音。我们的目标是提取这些信息，并更新Cypher列（只保留斜杠前部分）以及新增一个Bass列。
当尝试使用以下方式进行条件性赋值时：
import pandas as pd
import numpy as np
# 示例数据
data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
'7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)
# 尝试直接赋值，可能导致NaN
# df.loc[df.Cypher.str.contains('/'), ['Cypher', 'Bass']] = df.Cypher.str.extract('(.*)/(.*)')
# print(df) # 此时Cypher和Bass列可能会被NaN填充这种直接赋值之所以可能失败（导致NaN），是因为df.Cypher.str.extract('(.*)/(.*)')会返回一个完整的DataFrame，其索引与原始df的索引一致。当将其赋值给df.loc[df.Cypher.str.contains('/'), ['Cypher', 'Bass']]时，Pandas会尝试根据索引进行对齐。如果提取结果的DataFrame中，那些不满足str.contains('/')条件的行的索引位置对应的值是NaN（因为extract在不匹配时返回NaN），那么在赋值时，这些NaN可能会覆盖掉目标位置的有效数据，或者因为索引不对齐导致赋值失败。更准确地说，当右侧是一个DataFrame时，Pandas的赋值机制会尝试将右侧DataFrame的列名与左侧的列名匹配，并按索引对齐。如果右侧的DataFrame没有明确的列名（str.extract默认返回数字列名0, 1），或者索引不完全匹配，就会出现问题。
下面我们将介绍几种健壮的解决方案。
解决方案一：使用命名组进行提取
通过在正则表达式中使用命名组(?P
import pandas as pd
import numpy as np
data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
'7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)
# 使用命名组
df.loc[df['Cypher'].str.contains('/'),
['Cypher', 'Bass']] = df['Cypher'].str.extract('(?P.*)/(?P.*)')
print("解决方案一结果:")
print(df) 解释： (?P
解决方案二：预过滤数据并转换为NumPy数组
另一种方法是首先过滤出需要处理的行，然后对这些行执行str.extract操作，并将结果转换为NumPy数组进行赋值。转换为NumPy数组可以避免Pandas在赋值时进行复杂的索引和列名对齐，直接按位置进行数据填充。
import pandas as pd
import numpy as np
data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
'7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)
# 预过滤数据并转换为NumPy数组
m = df['Cypher'].str.contains('/')
df.loc[m, ['Cypher', 'Bass']] = df.loc[m, 'Cypher'].str.extract('(.*)/(.*)').to_numpy()
print("\n解决方案二结果:")
print(df)解释：
- m = df['Cypher'].str.contains('/') 创建一个布尔掩码，用于选择包含斜杠的行。
- df.loc[m, 'Cypher'].str.extract('(.*)/(.*)') 仅对满足条件的Cypher列进行提取操作，返回的DataFrame只包含这些行的提取结果。
- .to_numpy() 将提取结果转换为NumPy数组。由于loc[m, ...]的左侧和右侧的NumPy数组形状和行数都是匹配的，因此可以直接进行赋值，避免了Pandas索引对齐的复杂性。
解决方案三：使用更通用的正则表达式进行提取
如果我们希望一次性处理所有行，无论它们是否包含斜杠，并且将不含斜杠的行的Bass列设置为NaN，可以使用一个更通用的正则表达式。这种方法不需要loc进行条件判断，因为str.extract本身就能处理不匹配的情况。
import pandas as pd
import numpy as np
data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
'7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)
# 使用更通用的正则表达式
df[['Cypher', 'Bass']] = df['Cypher'].str.extract('([^/]*)(?:/(.*))?')
print("\n解决方案三结果:")
print(df)解释：
- ([^/]*) 匹配零个或多个非斜杠字符，并捕获为第一个组（对应Cypher）。
- (?:/(.*))? 是一个非捕获组 (?:...)，它整体是可选的 ?。这意味着如果存在斜杠，它会匹配斜杠/，然后捕获斜杠后的所有内容 (.*) 作为第二个组（对应Bass）。如果不存在斜杠，则整个可选组不匹配，Bass列将为NaN。 这种方法简洁高效，适用于需要对所有行进行统一处理的场景。
解决方案四：使用str.split进行高效分割
对于简单的基于分隔符的字符串分割任务，str.split通常比str.extract更直观和高效。通过设置expand=True，可以直接将分割结果扩展为新的DataFrame列。
import pandas as pd
import numpy as np
data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
'7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)
# 使用str.split
df[['Cypher', 'Bass']] = df['Cypher'].str.split('/', expand=True)
print("\n解决方案四结果:")
print(df)解释：
- df['Cypher'].str.split('/', expand=True) 会将Cypher列的每个字符串按/进行分割。
- expand=True 确保分割结果直接扩展为新的DataFrame，其列名为0和1。
- 这些新列随后被赋值给df[['Cypher', 'Bass']]。如果字符串不包含斜杠，则Bass列将为NaN，这与我们的预期一致。
注意事项
- 索引对齐机制： Pandas在进行赋值操作时，尤其是当右侧是一个DataFrame时，会尝试根据索引和列名进行对齐。理解这一机制是避免意外结果的关键。当左右两侧的索引或列名不完全匹配时，可能会导致数据错位或填充NaN。
- str.extract的返回值： str.extract总是返回一个DataFrame。如果正则表达式中没有捕获组，它将返回一个只包含一列的DataFrame。如果有多个捕获组，则返回多列。不匹配的行将填充NaN。
- 命名组的优势： 在进行多列赋值时，使用命名组可以使代码更具可读性，并确保str.extract的输出列名与目标列名一致，减少潜在的对齐问题。
- to_numpy() 的作用： 将DataFrame转换为NumPy数组可以绕过Pandas的索引和列名对齐机制，直接进行位置赋值。这在确定左右两侧形状完全匹配时非常有效。
- 选择合适的方法： 对于简单的分隔符分割，str.split通常是最佳选择，因为它更简洁且性能可能更好。对于复杂的模式匹配，str.extract提供了强大的正则表达式能力。
总结
在Pandas中进行条件性多列赋值是一个常见的操作，但需要对Pandas的内部机制有清晰的理解。本文提供了四种有效策略来解决loc与str.extract结合使用时的赋值问题：通过命名组确保列名匹配、通过预过滤和转换为NumPy数组强制位置赋值、通过优化正则表达式一次性处理所有情况，以及利用str.split进行高效分割。根据具体的业务需求和数据特性，选择最合适的方法可以显著提高代码的健壮性和效率。在实际操作中，建议始终进行小规模测试，以验证赋值行为是否符合预期。
