最核心且高效的工具是pyarrow库，1. 使用pyarrow可将pandas dataframe转换为table对象并写入parquet文件；2. 通过pq.read_table读取数据，支持列筛选和高效过滤；3. parquet采用列式存储，相比csv或json能大幅减少i/o开销，提升查询效率，尤其适合大数据场景下的高性能数据处理。
Python操作Parquet文件，最核心且高效的工具就是
pyarrow库。它不仅提供了与底层Apache Arrow C++库无缝对接的性能优势，还能让你以非常灵活的方式处理各种数据结构，无论是简单的表格数据还是复杂的嵌套类型。可以说，在Python的数据生态里，
pyarrow是处理Parquet文件的首选。
要用
pyarrow读写Parquet文件，基本流程其实挺直观的。
先说写。通常，我们会把数据转换成
pyarrow.Table对象。这玩意儿就像一个内存中的表格，包含了列名、数据类型以及实际的数据。
立即学习“Python免费学习笔记（深入）”；
import pyarrow as pa
import pyarrow.parquet as pq
import pandas as pd
import numpy as np
# 假设我们有一些数据，可以是Pandas DataFrame
data = {
'id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'value': [10.5, 20.1, 15.0, 25.8],
'timestamp': pd.to_datetime(['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'])
}
df = pd.DataFrame(data)
# 将Pandas DataFrame转换为pyarrow Table
# 这一步很关键，pyarrow会自动推断Pandas的类型到Arrow类型
table = pa.Table.from_pandas(df)
# 写入Parquet文件
# 这里可以指定压缩方式，比如'snappy'、'gzip'、'brotli'、'zstd'
# 'snappy'通常是性能和压缩比的良好平衡
pq.write_table(table, 'my_data.parquet', compression='snappy')
print("数据已成功写入 my_data.parquet")
# 如果想分块写入，或者处理非常大的文件，可以考虑ParquetWriter
# with pq.ParquetWriter('large_data.parquet', table.schema) as writer:
# writer.write_table(table_chunk_1)
# writer.write_table(table_chunk_2)
# # ... 这种方式适合流式写入，但对大多数日常使用，直接write_table更方便再来看读。读Parquet文件同样简单，
pyarrow会把文件内容加载成一个
pyarrow.Table对象。
# 从Parquet文件读取数据
read_table = pq.read_table('my_data.parquet')
print("\n从Parquet文件读取的数据：")
print(read_table)
# 如果想转回Pandas DataFrame，也很方便
read_df = read_table.to_pandas()
print("\n转换回Pandas DataFrame：")
print(read_df)
# 有时候你可能只想要读取部分列，或者根据条件过滤行，pyarrow也支持
# 比如，只读取 'name' 和 'value' 列
partial_table = pq.read_table('my_data.parquet', columns=['name', 'value'])
print("\n只读取部分列的数据：")
print(partial_table)
# 甚至可以利用Parquet的列式存储特性进行高效过滤（下推谓词）
# 不过，这需要文件本身有统计信息，并且查询条件能被Parquet引擎理解
# read_table_filtered = pq.read_table('my_data.parquet', filters=[('value', '>', 20)])
# print("\n过滤后的数据：")
# print(read_table_filtered)这里有个小细节，
pq.read_table在读取时，如果Parquet文件很大，它不会一次性把所有数据都加载到内存。它会做一些优化，比如只加载你需要的列，或者在你遍历时才真正读取数据块。这是它高效的一个体现。
为什么选择Parquet格式？它比CSV或JSON有什么优势？
我个人觉得，选择Parquet，很大程度上是看中了它在大数据场景下的性能和效率。跟CSV或JSON比起来，它简直是降维打击。
Parquet首先是列式存储。这意味着什么呢？想象一下你的数据像一张大表格。CSV和JSON是按行存的，你要读取一行，就把这一行的所有数据都读出来。但Parquet不一样，它把同一列的数据紧挨着存放在一起。这样一来，如果你只需要查询几列数据（比如只看用户ID和姓名，不关心地址、电话），Parquet就只需要读取那几列的数据块，而不是整行数据。这在处理宽表时，能显著减少I/O开销，速度快得不是一点半点。
Parquet内置了**高效的
