0

0

Polars 中按模式合并列并重复非模式列的完整教程

霞舞

霞舞

发布时间:2026-01-30 14:11:17

|

1018人浏览过

|

来源于php中文网

原创

Polars 中按模式合并列并重复非模式列的完整教程

本文介绍如何在 polars 中将匹配命名模式(如 `a_0`, `a_1`, `a_2`)的多列纵向堆叠为单列(如 `a`),同时自动复制其他列(如 `words`, `groups`)以保持行对齐,适用于数据重塑与长格式转换场景。

在 Polars 数据分析中,常需将宽格式中具有相同前缀、不同后缀(如 _0, _1, _2)的列“纵向合并”为单列,同时保留其他辅助列(如分组标识、文本描述等)——但这些辅助列不能简单丢弃或聚合,而需按原顺序重复多次,使其长度与合并后的新列一致。这本质上是构建“长格式”(long format)数据的过程,但不同于常规 unpivot,它要求:

  • 按列名前缀分组(如所有 a_* → a,所有 b_* → b);
  • 同一组内列按列序垂直拼接(a_0 全部在前,接着 a_1,再 a_2);
  • 非模式列(如 words, groups)需被精确复制 m 次(m 为每组列数),且保持与对应值的逻辑配对。

实现该目标的核心思路是:先 unpivot 构建索引骨架 → 清洗变量名生成逻辑分组 → 添加组内序号 → 多键 pivot 重构结构。以下是完整、可复用的解决方案:

import polars as pl
import numpy as np
import string

# 构造示例数据(同原文)
rng = np.random.default_rng(42)
nr = 3
letters = list(string.ascii_letters)
uppercase = list(string.ascii_uppercase)
words, groups = [], []
for i in range(nr):
    word = ''.join([rng.choice(letters) for _ in range(rng.integers(3, 20))])
    words.append(word)
    group = rng.choice(uppercase)
    groups.append(group)
df = pl.DataFrame({
    "a_0": np.linspace(0, 1, nr),
    "a_1": np.linspace(1, 2, nr),
    "a_2": np.linspace(2, 3, nr),
    "b_0": np.random.rand(nr),
    "b_1": 2 * np.random.rand(nr),
    "b_2": 3 * np.random.rand(nr),
    "words": words,
    "groups": groups,
})

# ✅ 关键转换:合并 a_*, b_* 列,并重复 words/groups
result = (
    df
    .unpivot(
        index=["words", "groups"],  # 将非模式列设为 pivot 索引(即保留在每行)
        on=[col for col in df.columns if "_" in col and col.split("_")[-1].isdigit()]  # 显式指定要 unpivot 的列(更安全)
    )
    .with_columns(
        pl.col("variable").str.replace(r"_\d+$", "")  # 提取前缀:a_0 → "a", b_1 → "b"
    )
    .with_columns(
        index=pl.int_range(pl.len()).over("variable")  # 在每个前缀组内编号(0,1,2,...),确保 a_0/a_1/a_2 的值按列序堆叠
    )
    .pivot(
        on="variable",
        index=["index", "words", "groups"],
        values="value",
        aggregate_function=None  # 禁用聚合,确保一对一映射
    )
    .drop("index")  # 删除临时索引列
)

print(result)

输出结果与预期完全一致:

WPS AI
WPS AI

金山办公发布的AI办公应用,提供智能文档写作、阅读理解和问答、智能人机交互的能力。

下载
shape: (9, 4)
┌─────────────────┬────────┬─────┬──────────┐
│ words           ┆ groups ┆ a   ┆ b        │
│ ---             ┆ ---    ┆ --- ┆ ---      │
│ str             ┆ str    ┆ f64 ┆ f64      │
╞═════════════════╪════════╪═════╪══════════╡
│ OIww            ┆ W      ┆ 0.0 ┆ 0.653892 │
│ KkeB            ┆ Z      ┆ 0.5 ┆ 0.408888 │
│ NLOAgRxAtjWOHuQ ┆ O      ┆ 1.0 ┆ 0.423949 │
│ OIww            ┆ W      ┆ 1.0 ┆ 0.234362 │
│ KkeB            ┆ Z      ┆ 1.5 ┆ 0.213767 │
│ NLOAgRxAtjWOHuQ ┆ O      ┆ 2.0 ┆ 0.646378 │
│ OIww            ┆ W      ┆ 2.0 ┆ 0.880558 │
│ KkeB            ┆ Z      ┆ 2.5 ┆ 1.833025 │
│ NLOAgRxAtjWOHuQ ┆ O      ┆ 3.0 ┆ 0.116173 │
└─────────────────┴────────┴─────┴──────────┘

⚠️ 注意事项与最佳实践

  • 列名正则更鲁棒:使用 r"_\d+$" 替代 "_.*" 可避免误删含下划线的合法前缀(如 user_name_0);
  • 显式指定 on= 参数:比依赖 unpivot 自动推断更安全,尤其当存在意外匹配列时;
  • aggregate_function=None 是关键:若省略,pivot 默认使用 first 聚合,可能导致数据丢失
  • 性能提示:对于超大表,over("variable") 的窗口计算开销可控,但建议预先过滤无关列以提升效率;
  • 扩展性:支持任意数量前缀组(如 c_0, c_1, d_0, d_1, d_2, d_3),只需确保命名规范统一。

该方法兼具表达力与稳定性,是 Polars 中处理“模式化列合并 + 辅助列广播”任务的标准范式。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

804

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

435

2024.06.27

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

397

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

575

2023.08.10

数据分析的方法
数据分析的方法

数据分析的方法有:对比分析法,分组分析法,预测分析法,漏斗分析法,AB测试分析法,象限分析法,公式拆解法,可行域分析法,二八分析法,假设性分析法。php中文网为大家带来了数据分析的相关知识、以及相关文章等内容。

473

2023.07.04

数据分析方法有哪几种
数据分析方法有哪几种

数据分析方法有:1、描述性统计分析;2、探索性数据分析;3、假设检验;4、回归分析;5、聚类分析。本专题为大家提供数据分析方法的相关的文章、下载、课程内容,供大家免费下载体验。

280

2023.08.07

网站建设功能有哪些
网站建设功能有哪些

网站建设功能包括信息发布、内容管理、用户管理、搜索引擎优化、网站安全、数据分析、网站推广、响应式设计、社交媒体整合和电子商务等功能。这些功能可以帮助网站管理员创建一个具有吸引力、可用性和商业价值的网站,实现网站的目标。

739

2023.10.16

数据分析网站推荐
数据分析网站推荐

数据分析网站推荐:1、商业数据分析论坛;2、人大经济论坛-计量经济学与统计区;3、中国统计论坛;4、数据挖掘学习交流论坛;5、数据分析论坛;6、网站数据分析;7、数据分析;8、数据挖掘研究院;9、S-PLUS、R统计论坛。想了解更多数据分析的相关内容,可以阅读本专题下面的文章。

516

2024.03.13

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

9

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Git 教程
Git 教程

共21课时 | 3.1万人学习

Git版本控制工具
Git版本控制工具

共8课时 | 1.5万人学习

Git中文开发手册
Git中文开发手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号