本教程详细阐述了如何使用python和正则表达式处理结构不规则、空格分隔的文本文件，并将其转换为规范的csv格式。针对传统解析方法失效的“坏”文本文件，文章提供了一种自定义解析策略，通过智能识别和替换空格序列为制表符，有效解决字段边界模糊和字段内空格干扰的问题，确保数据准确提取。
引言：不规范文本文件的挑战
在数据处理中，我们经常会遇到格式不规范的文本文件，尤其是一些遗留系统或人工生成的报告。这类文件通常使用空格作为字段分隔符，但其“不规范”之处在于：
- 不一致的空格数量：不同字段之间的空格数量可能不固定。
- 字段内包含空格：某些字段本身的值中可能包含空格，这些空格可能被误识别为分隔符。
- 空字段表示：空字段可能通过多个连续空格来表示，其长度与其他字段分隔符的空格长度相似，难以区分。
当遇到此类“坏”文本文件时，诸如pandas.read_csv等标准库函数，即使尝试使用sep='\t'或sep=r'\s{2,}'等参数，也往往难以准确解析，导致数据错位或合并。这要求我们采用更灵活、更具上下文感知能力的自定义解析方法。
自定义解析策略：Python与正则表达式
解决这类问题的核心在于利用Python的正则表达式（re模块）进行精细化匹配和替换。我们的目标是将不规则的空格序列转换为统一的制表符（\t），从而可以使用制表符作为可靠的分隔符来拆分字段。
1. 文件读取与初步处理
首先，我们需要逐行读取文本文件，并对每行进行基本的清理，例如移除行尾的换行符。
立即学习“Python免费学习笔记（深入）”；
import re
import pandas as pd
import csv # 也可以使用 csv 模块进行输出
def parse_bad_txt_to_table(filepath):
table = []
with open(filepath, 'r', encoding='utf-8') as f:
lines = f.readlines()
for i, line in enumerate(lines):
line = line.rstrip('\n') # 移除行尾换行符
# ... 后续解析逻辑2. 头部行解析
通常，文件的第一行是标题行（Header）。标题行中的字段名通常不会包含内部空格，因此我们可以相对简单地通过两个或更多空格来拆分它。
if i == 0:
# 标题行：通过两个或更多空格进行拆分
row = re.split(r' {2,}', line)
table.append(row)
continue3. 处理空白行
在某些不规范文件中，标题行和数据行之间可能存在一个或多个空白行。我们需要跳过这些空白行，以避免它们干扰数据解析。
if i == 1: # 假设第二行是空白行
if line.strip() != '': # 增加一个检查，确保确实是空白行
print(f"Warning: Expected blank line at index 1, found: '{line}'")
continue4. 数据行解析的核心：智能替换函数
数据行的解析是整个过程最复杂的部分，因为我们需要区分字段分隔符和字段内部的空格。这里我们使用re.sub()函数结合一个自定义的替换函数（replfunc）来实现。replfunc会根据匹配到的空格序列的长度及其上下文来决定如何替换。
# 数据行解析
def replfunc(mo):
L = len(mo.group(0)) # 匹配到的空格序列的长度
start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置
# 特殊情况处理：字段内部的空格
# 示例中发现 "Rejected at level." 这种模式，两个空格是字段值的一部分
if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
return ' ' # 替换为单个空格，而不是分隔符
# 其他情况，根据空格序列长度判断为字段分隔符
# 这里的逻辑高度依赖于具体数据文件的空格模式，需要根据实际情况调整
if L < 2:
# 理论上，如果正则表达式是 r'\s{2,}'，不应该匹配到少于2个空格
return mo.group(0) # 保留原始匹配，或抛出错误
elif 2 <= L <= 12:
return '\t' # 替换为单个制表符
elif L == 17:
return '\t\t' # 替换为两个制表符，表示中间有一个空字段
elif L == 43:
return '\t\t\t' # 替换为三个制表符
elif L == 61:
return '\t\t\t\t\t' # 替换为五个制表符
elif L == 120 or L == 263:
return '\t' # 替换为单个制表符
else:
# 捕获未处理的空格序列长度，方便调试和后续调整
print(f"Warning: Unhandled space run length {L} at line {i+1}: '{line}'")
return '\t' # 默认替换为单个制表符
tabbed_line = re.sub(r'\s{2,}', replfunc, line) # 使用 replfunc 替换所有两个或更多空格的序列
row = tabbed_line.split('\t') # 最终通过制表符拆分字段
table.append(row)
return tablereplfunc的关键点：
- 它接收一个匹配对象mo，通过mo.group(0)获取匹配到的字符串（即连续的空格）。
- L是空格序列的长度。
- 通过line[:start]和line[end:]检查匹配位置前后的文本，实现上下文感知。这是识别字段内空格的关键。
- 对于被识别为字段分隔符的空格序列，根据其长度替换为不同数量的制表符。例如，如果一个长空格序列实际上代表了两个空字段，则替换为\t\t。这使得即使原始数据中没有显式的分隔符，也能正确生成空字段。
5. 构建数据表格
经过上述处理，每行数据都被转换成了一个字段列表。我们将这些列表存储在一个更大的列表（table）中，形成一个二维数据结构。
完整代码示例
将上述逻辑整合，形成一个完整的Python函数：
import re
import pandas as pd
def parse_bad_txt_to_table(filepath):
"""
解析不规范的空格分隔文本文件，并返回一个二维列表（表格）。
"""
table = []
try:
with open(filepath, 'r', encoding='utf-8') as f:
lines = f.readlines()
except FileNotFoundError:
print(f"Error: File not found at {filepath}")
return []
except Exception as e:
print(f"Error reading file {filepath}: {e}")
return []
for i, line in enumerate(lines):
line = line.rstrip('\n') # 移除行尾换行符
if i == 0:
# 标题行：通过两个或更多空格进行拆分
row = re.split(r' {2,}', line)
table.append(row)
continue
if i == 1:
# 假设第二行是空白行，跳过
if line.strip() != '':
print(f"Warning: Expected blank line at index 1, found: '{line}'")
continue
# 数据行解析
def replfunc(mo):
L = len(mo.group(0)) # 匹配到的空格序列的长度
start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置
# 特殊情况处理：字段内部的空格，例如 "Rejected at level."
if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
return ' ' # 替换为单个空格，作为字段值的一部分
# 否则，根据空格序列长度判断为字段分隔符
if L < 2:
# 如果 r'\s{2,}' 匹配到少于2个空格，这表示正则表达式可能需要调整
return mo.group(0)
elif 2 <= L <= 12:
return '\t'
elif L == 17:
return '\t\t'
elif L == 43:
return '\t\t\t'
elif L == 61:
return '\t\t\t\t\t'
elif L == 120 or L == 263:
return '\t'
else:
# 捕获并警告未处理的空格序列长度，有助于调试
print(f"Warning: Unhandled space run length {L} at line {i+1}: '{line}'")
return '\t' # 默认替换为单个制表符
tabbed_line = re.sub(r'\s{2,}', replfunc, line)
row = tabbed_line.split('\t')
table.append(row)
return table
# --- 示例用法 ---
# 假设 'input.txt' 
