在数据分析中，我们经常需要对多组相似的数据进行重复的统计检验。例如，在比较不同处理组或不同区域的测量值时，可能会有数十甚至上百对数据需要进行配对比较。如果每次都手动编写代码来执行检验，不仅效率低下，而且极易出错。本教程将展示如何利用python的循环结构和合理的数据组织方式，自动化这一过程，以wilcoxon符号秩检验为例进行说明。
数据组织与准备
假设我们有两组相关的数值向量，每组包含多个子向量，它们之间存在一一对应的关系。例如，hc_mcp 与 tw_mcp 构成一对，hc_pct 与 tw_pct 构成另一对，依此类推。
原始数据可能以独立变量的形式定义：
hc_mcp = [0.45, 0.43, 0.46, 0.46, 0.45, 0.39, 0.48, 0.47, 0.50, 0.45, 0.47, 0.47, 0.46] hc_pct = [0.44, 0.48, 0.45, 0.46, 0.47, 0.37, 0.56, 0.46, 0.49, 0.53, 0.46, 0.47, 0.48] hc_gcc = [0.51, 0.56, 0.57, 0.54, 0.55, 0.58, 0.51, 0.54, 0.55, 0.54, 0.55, 0.53, 0.54] hc_bcc = [0.56, 0.62, 0.64, 0.63, 0.60, 0.65, 0.60, 0.64, 0.64, 0.61, 0.63, 0.58, 0.63] hc_scc = [0.68, 0.73, 0.74, 0.71, 0.72, 0.73, 0.70, 0.72, 0.72, 0.72, 0.71, 0.67, 0.73] tw_mcp = [0.47, 0.46, 0.44, 0.48, 0.45, 0.45, 0.46, 0.44, 0.47, 0.46, 0.50, 0.49, 0.48] tw_pct = [0.46, 0.48, 0.45, 0.48, 0.47, 0.45, 0.46, 0.43, 0.43, 0.49, 0.49, 0.47, 0.44] tw_gcc = [0.56, 0.56, 0.55, 0.57, 0.52, 0.56, 0.53, 0.55, 0.55, 0.55, 0.56, 0.55, 0.56] tw_bcc = [0.62, 0.63, 0.60, 0.63, 0.61, 0.63, 0.62, 0.63, 0.63, 0.62, 0.63, 0.61, 0.65] tw_scc = [0.71, 0.70, 0.70, 0.71, 0.68, 0.74, 0.72, 0.73, 0.70, 0.68, 0.69, 0.70, 0.71]
当向量数量较少时，这种方式尚可接受。但面对大量（例如，每组48个，总共144个）向量时，手动编写 wilcoxon(hc_mcp, tw_mcp) 等代码将变得非常繁琐。
解决此问题的关键在于将相关联的向量组织到更高级的数据结构中，例如列表。我们可以将所有 hc_ 开头的向量放入一个列表，所有 tw_ 开头的向量放入另一个列表。最重要的是，要确保这两个列表中对应位置的元素（即相同索引的元素）构成一个待比较的配对。
立即学习“Python免费学习笔记（深入）”；
# 将向量组织成列表 list_hc = [hc_mcp, hc_pct, hc_gcc, hc_bcc, hc_scc] list_tw = [tw_mcp, tw_pct, tw_gcc, tw_bcc, tw_scc]
循环执行统计检验
一旦数据被结构化为列表，我们就可以使用 for 循环来自动化执行Wilcoxon符号秩检验。Wilcoxon符号秩检验是一种非参数检验，用于比较两个相关的（配对的）样本，适用于数据不服从正态分布的情况。在Python中，scipy.stats 模块提供了 wilcoxon 函数来实现此检验。
from scipy.stats import wilcoxon
# 用于存储P值和统计量的列表
p_values = []
statistic_values = []
# 遍历列表进行成对比较
# 通过索引确保每次循环都取到正确的配对
for i in range(len(list_hc)):
# 获取当前配对的向量
data_hc = list_hc[i]
data_tw = list_tw[i]
# 执行Wilcoxon符号秩检验
# wilcoxon函数返回一个包含统计量和P值的对象
result = wilcoxon(data_hc, data_tw)
# 存储P值和统计量
p_values.append(result.pvalue)
statistic_values.append(result.statistic)
print("计算得到的P值列表:", p_values)
print("计算得到的统计量列表:", statistic_values)通过这种方式，无论有多少对向量需要比较，我们只需编写一次循环逻辑，即可批量处理，大大提高了代码的效率和可维护性。
完整示例代码
以下是结合数据定义和循环处理的完整示例：
from scipy.stats import wilcoxon
# 原始数据
hc_mcp = [0.45, 0.43, 0.46, 0.46, 0.45, 0.39, 0.48, 0.47, 0.50, 0.45, 0.47, 0.47, 0.46]
hc_pct = [0.44, 0.48, 0.45, 0.46, 0.47, 0.37, 0.56, 0.46, 0.49, 0.53, 0.46, 0.47, 0.48]
hc_gcc = [0.51, 0.56, 0.57, 0.54, 0.55, 0.58, 0.51, 0.54, 0.55, 0.54, 0.55, 0.53, 0.54]
hc_bcc = [0.56, 0.62, 0.64, 0.63, 0.60, 0.65, 0.60, 0.64, 0.64, 0.61, 0.63, 0.58, 0.63]
hc_scc = [0.68, 0.73, 0.74, 0.71, 0.72, 0.73, 0.70, 0.72, 0.72, 0.72, 0.71, 0.67, 0.73]
tw_mcp = [0.47, 0.46, 0.44, 0.48, 0.45, 0.45, 0.46, 0.44, 0.47, 0.46, 0.50, 0.49, 0.48]
tw_pct = [0.46, 0.48, 0.45, 0.48, 0.47, 0.45, 0.46, 0.43, 0.43, 0.49, 0.49, 0.47, 0.44]
tw_gcc = [0.56, 0.56, 0.55, 0.57, 0.52, 0.56, 0.53, 0.55, 0.55, 0.55, 0.56, 0.55, 0.56]
tw_bcc = [0.62, 0.63, 0.60, 0.63, 0.61, 0.63, 0.62, 0.63, 0.63, 0.62, 0.63, 0.61, 0.65]
tw_scc = [0.71, 0.70, 0.70, 0.71, 0.68, 0.74, 0.72, 0.73, 0.70, 0.68, 0.69, 0.70, 0.71]
# 将向量组织成列表，确保顺序对应
list_hc = [hc_mcp, hc_pct, hc_gcc, hc_bcc, hc_scc]
list_tw = [tw_mcp, tw_pct, tw_gcc, tw_bcc, tw_scc]
# 用于存储P值和统计量的列表
p_values = []
statistic_values = []
pair_names = ["mcp", "pct", "gcc", "bcc", "scc"] # 可选：用于标识每对结果的名称
# 遍历列表进行成对比较
for i in range(len(list_hc)):
data_hc = list_hc[i]
data_tw = list_tw[i]
# 执行Wilcoxon符号秩检验
result = wilcoxon(data_hc, data_tw)
# 存储P值和统计量
p_values.append(result.pvalue)
statistic_values.append(result.statistic)
# 打印每对结果，方便查看
print(f"配对 {pair_names[i]}:")
print(f" 统计量 = {result.statistic:.4f}")
print(f" P值 = {result.pvalue:.4f}\n")
print("所有P值列表:", p_values)
print("所有统计量列表:", statistic_values)注意事项与最佳实践
数据对齐的严谨性： 确保 list_hc 和 list_tw 中相同索引位置的向量确实是需要进行配对比较的数据。任何顺序上的不一致都将导致错误的统计结果。在实际应用中，如果数据量庞大且命名规则复杂，建议在构建列表时进行严格的检查或使用更具鲁棒性的方法（如基于名称匹配）。
-
更灵活的数据结构： 对于更复杂的场景，例如当向量名称本身包含有意义的信息，或者需要动态地选择配对时，可以考虑使用字典或Pandas DataFrame来存储数据。
-
字典： 可以将每个向量存储在字典中，键为向量的名称。然后通过遍历键来获取配对。
data_dict_hc = {'mcp': hc_mcp, 'pct': hc_pct, ...} data_dict_tw = {'mcp': tw_mcp, 'pct': tw_pct, ...} for key in data_dict_hc: res = wilcoxon(data_dict_hc[key], data_dict_tw[key]) # ... 存储结果 - Pandas DataFrame： 对于结构化数据，Pandas DataFrame提供了强大的数据管理和操作能力。可以将所有数据加载到一个DataFrame中，然后通过列名或分组进行操作。
-
字典： 可以将每个向量存储在字典中，键为向量的名称。然后通过遍历键来获取配对。
结果的结构化存储： 除了简单地将P值和统计量存储在列表中，还可以考虑将结果存储为字典（键为配对名称，值为P值和统计量的元组/字典）、Pandas DataFrame（包含配对名称、P值、统计量等列）或自定义对象，以便于后续的分析、筛选和报告。这有助于提高结果的可读性和可追溯性。
通用性： 这种循环处理的模式不仅适用于Wilcoxon符号秩检验，也适用于其他需要对多组数据进行批量处理的统计测试，例如配对t检验（scipy.stats.ttest_rel）、Mann-Whitney U检验（scipy.stats.mannwhitneyu）等，只需替换 wilcoxon 函数即可。
统计假设的考量： 在应用任何统计检验之前，务必理解其背后的统计假设。Wilcoxon符号秩检验适用于配对样本，且不要求数据服从正态分布，但要求差异值对称分布。根据您的数据特性和研究问题选择合适的检验至关重要。
总结
通过将数据结构化并结合Python的循环机制，我们能够高效地自动化执行批量统计比较，极大地提升了数据分析的效率和代码的可维护性。这种方法是处理大规模重复性统计任务的强大工具，使研究人员能够将更多精力投入到结果的解释和科学发现中。
