本文介绍了如何使用 Pandas 创建一个文档-词项矩阵，并为 DataFrame 添加包含文件名的列。通过示例代码，详细讲解了如何利用 pathlib 库获取文件名，并将其设置为 DataFrame 的索引或单独的列，同时展示了如何去除文件名后缀，方便后续数据分析和可视化。
在自然语言处理和文本分析中，经常需要将文本数据转换为数值型数据，以便进行后续的分析和建模。文档-词项矩阵（Document-Term Matrix）是一种常用的表示方法，它将文档集合表示为一个矩阵，其中每一行代表一个文档，每一列代表一个词项，矩阵中的元素表示该词项在对应文档中出现的频率或权重。
本文将介绍如何使用 Pandas 库创建一个文档-词项矩阵，并为 DataFrame 添加包含文件名的列。
创建文档-词项矩阵
首先，我们需要读取文本文件，并使用 CountVectorizer 将其转换为文档-词项矩阵。以下是一个示例代码：
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import pandas as pd
import re
# 指定文本文件所在的目录
corpus_dir = "/Users/MyPath/files"
# 创建一个列表，用于存储所有文本文件的路径
corpus = []
# 使用 pathlib 库获取指定目录下所有 .txt 文件的路径
for file in Path(corpus_dir).rglob("*.txt"):
corpus.append(file.parent / file.name)
# 对文件路径进行排序
corpus.sort()
# 创建一个列表，用于存储所有文档的内容
all_documents = []
for file_path in corpus:
with open(file_path) as f:
file_content = f.read()
# 使用正则表达式去除文本中的非字母字符
file_content = re.sub('[^A-Za-z]', ' ', file_content)
all_documents.append(file_content)
# 创建 CountVectorizer 对象，并指定停用词
count_vect = CountVectorizer(stop_words="english")
# 使用 fit_transform 方法将文档转换为词项矩阵
count_matrix = count_vect.fit_transform(all_documents)
# 将词项矩阵转换为数组
count_array = count_matrix.toarray()
# 创建 DataFrame 对象，并将文件名作为索引
allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names())
print(allDataframe)
allDataframe.to_csv("Matrice_doc_term.csv")添加文件名列
上述代码创建了一个 DataFrame，其中每一行代表一个文档，每一列代表一个词项。但是，DataFrame 的索引是默认的数字索引，我们需要将其替换为文件名。
可以使用以下方法将文件名设置为 DataFrame 的索引：
allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=corpus)
或者，如果只想使用文件名，可以使用以下代码：
allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=[f.name for f in corpus])
如果需要去除文件名后缀 .txt，可以使用以下代码：
allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=[f.stem for f in corpus])
总结
本文介绍了如何使用 Pandas 创建一个文档-词项矩阵，并为 DataFrame 添加包含文件名的列。通过示例代码，详细讲解了如何利用 pathlib 库获取文件名，并将其设置为 DataFrame 的索引或单独的列，同时展示了如何去除文件名后缀。这些技巧可以帮助你更好地处理文本数据，并进行后续的分析和可视化。
注意事项：
- 确保文本文件所在的目录路径正确。
- 根据实际需求选择合适的文件名处理方式（例如，是否需要去除后缀）。
- CountVectorizer 的参数可以根据具体情况进行调整，例如，可以指定词频的下限和上限，或者使用不同的分词器。
