本文旨在深入剖析 scikit-learn 库中 TfidfVectorizer 的工作原理，重点解释其 TF-IDF 计算方式与传统公式的差异。通过对比手动计算和 TfidfVectorizer 的结果，揭示其内部 IDF 计算公式的细节，帮助读者更好地理解和使用该工具，避免在实际应用中产生误解。
TF-IDF (Term Frequency-Inverse Document Frequency) 是一种常用的文本特征提取方法，用于衡量一个词语对于一个文档集合或语料库中的文档的重要性。scikit-learn 库提供了 TfidfVectorizer 类，可以方便地进行 TF-IDF 的计算。然而，在实际使用中，可能会发现 TfidfVectorizer 的计算结果与手动计算的结果存在差异。本文将深入探讨这种差异的根源，并解释 TfidfVectorizer 的内部实现。
TF-IDF 的基本概念
TF-IDF 的计算公式通常为：
TF-IDF = TF * IDF
其中，TF (Term Frequency) 指的是词语在文档中出现的频率。 IDF (Inverse Document Frequency) 指的是逆文档频率，衡量词语的普遍重要性。
IDF 的计算方式
IDF 的计算是造成差异的关键。
-
手动计算 (非标准 IDF 公式)
通常采用以下公式计算 IDF：
IDF(t) = log(N / DF(t))
其中：
- N 是文档总数。
- DF(t) 是包含词语 t 的文档数量。
-
scikit-learn 的 TfidfVectorizer (标准 IDF 公式)
TfidfVectorizer 默认使用以下公式计算 IDF：
IDF(t) = log((1 + N) / (1 + DF(t))) + 1
scikit-learn 这样做有几个原因：
- 避免除以零: 在 DF(t) 为 0 时，直接使用 log(N / DF(t)) 会导致除以零的错误。
- 防止 IDF 为零: 如果一个词语出现在所有文档中，DF(t) 将等于 N，直接使用 log(N / DF(t)) 会导致 IDF 为零，从而使 TF-IDF 也为零，这会降低该词语的区分度。scikit-learn 通过加 1 来避免这种情况，保证即使词语出现在所有文档中，IDF 仍然大于 0。
示例分析
考虑以下语料库：
corpus = [
'This is the first document.',
'This document is the second document.',
'And this is the third one.',
'Is this the first document?',
]假设我们要计算词语 "document" 的 TF-IDF 值。
-
手动计算：
- N = 4 (总文档数)
- DF("document") = 3 (包含 "document" 的文档数)
- IDF("document") = log(4 / 3) ≈ 0.2877
- 在第一个文档中，"document" 出现 1 次，假设 TF = 1。
- TF-IDF = 1 * 0.2877 ≈ 0.2877
使用 TfidfVectorizer：
from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
'This is the first document.',
'This document is the second document.',
'And this is the third one.',
'Is this the first document?',
]
vectorizer = TfidfVectorizer(norm=None) # norm=None 禁用归一化
X = vectorizer.fit_transform(corpus)
# 获取词汇表
vocabulary = vectorizer.vocabulary_
print(vocabulary)
# 获取 'document' 的索引
document_index = vocabulary['document']
# 获取第一个文档的 TF-IDF 值
tfidf_vector = X[0].toarray()[0]
tfidf_value = tfidf_vector[document_index]
print(tfidf_value)运行结果会显示一个与手动计算结果不同的值，例如 1.22314355。这是因为 TfidfVectorizer 使用了不同的 IDF 计算公式。
注意事项与总结
- TfidfVectorizer 默认会进行 L2 归一化，可以通过设置 norm=None 来禁用归一化，以便更清晰地观察 TF-IDF 的计算结果。
- 理解 TfidfVectorizer 的 IDF 计算公式对于正确解释和应用 TF-IDF 值至关重要。
- scikit-learn 的 IDF 计算方式旨在提高 TF-IDF 的鲁棒性，避免极端情况下的问题。
通过本文的分析，相信读者能够更深入地理解 scikit-learn 的 TfidfVectorizer 的工作原理，并能够根据实际需求选择合适的参数配置，从而更好地应用 TF-IDF 技术进行文本特征提取。
