本文介绍一种高效、无需预扫描文件的方案：在流式读取过程中实时跳过无关行，精准定位以 [deal type] 开头的首列标题行，并将其作为 read_csv() 的数据起点。
在实际数据处理工作中，我们常遇到结构不规范的 CSV 文件——真正的数据并非从第一行开始，且“前导垃圾行”（如报告标题、元信息、空行、分隔符等）数量不固定。此时，硬编码 skiprows=12 或依赖固定偏移量极易出错。Pandas 的 read_csv() 虽提供 skiprows、skipfooter、header 等参数，但均要求提前知道行号，无法应对动态起始位置。
幸运的是，Python 的文件对象是可迭代的迭代器（file_in），支持逐行遍历与状态控制。我们可以利用这一特性，在打开文件后先“预读”若干行，直到命中标志性的列标题（如 [Deal Type]），然后将当前文件指针位置之后的内容直接交由 pandas.read_csv() 解析——而无需二次读取或临时保存中间内容。
关键在于：pandas.read_csv() 支持从任意类文件对象（如 io.StringIO、io.BytesIO 或已打开的 TextIOWrapper）读取，且会自动从当前位置开始解析。因此，只需在循环中调用 break 跳出后，file_in 的内部指针已停在目标标题行（含）之后的下一行，即真实数据的第一行。
以下为完整可运行示例（使用 io.StringIO 模拟文件；生产环境替换为 open('data.csv', 'r', encoding='utf-8')）：
import pandas as pd
import io
# 示例数据（模拟每日收到的不规则 CSV）
raw_content = """Counterparty Name
ID Number
.
.
.
Asset
USD.HO
USD.LCO
USD.RB
Cpty:
Product:
[Deal Type],[Amount],[Currency],[Date]
D1,100000.5,USD,2024-01-01
D2,75000.0,EUR,2024-01-02
"""
# 使用 StringIO 模拟文件流
with io.StringIO(raw_content) as f:
# 逐行扫描，寻找数据起始标志
for line in f:
if line.strip().startswith("[Deal Type]"):
break
else:
raise ValueError("未找到包含 '[Deal Type]' 的标题行，请检查输入格式")
# 此时 f 的指针已位于标题行之后，read_csv 自动从此处读取
df = pd.read_csv(f, skiprows=0) # skiprows=0 表示不额外跳过（标题行已在上一步读取）
print(df)✅ 输出结果：
Deal Type Amount Currency Date 0 D1 100000.5 USD 2024-01-01 1 D2 75000.0 EUR 2024-01-02
⚠️ 注意事项：
- 编码兼容性：若 CSV 含中文或特殊字符，请在 open() 中显式指定 encoding='utf-8-sig'（推荐）或 encoding='gbk'，避免 UnicodeDecodeError；
- 标题行识别鲁棒性：建议使用 line.strip().startswith("[Deal Type]") 而非 line.startswith("[Deal Type]")，以忽略前导空白；
- 异常处理：务必添加 else 子句捕获未匹配情况（如示例所示），防止静默失败；
- 内存效率：该方法为单次流式读取，不加载全文本到内存，适用于大文件；
- 列名解析：若标题行含方括号（如 [Deal Type]），read_csv() 默认会将其作为列名（显示为 'Deal Type'）。如需去除方括号，可在读取后执行 df.columns = df.columns.str.strip('[]')。
此方案兼顾简洁性、健壮性与性能，是处理“头部噪声”CSV 的工业级实践。
