tf-idf矢量化算法 TF-IDF 是 Term Frequency Inverse Document Frequency 的缩写，是一个将文本转换为数字表示的常用算法，是词袋法的典型代表，常用于信息检索和文本挖掘，反映了一个字词对于一个语料库中的一份文件的重要程度。

TF-IDF是一种用于文本挖掘和信息检索的常用技术，它可以将文本转换为向量表示，以便进行机器学习和自然语言处理

TF-IDF矢量化的思想是将文本表示为向量，其中每个维度对应于一个单词，并将单词在文本中的重要性编码为该单词的权重。这个权重是通过计算该单词在文本中出现的频率（TF）和该单词在整个文集中出现的频率（IDF）的乘积得到的。

TF是一个单词在文本中出现的频率，可以通过简单地计算该单词在文本中出现的次数并将其除以文本中的总单词数来计算。然而，如果一个单词在文本中出现得非常频繁，那么它的TF值可能会高于其他单词，因此会影响矢量的权重。为了避免这种情况，可以使用“词频-归一化”来规范化TF值，例如将每个单词的TF值除以文本中单词出现最多的单词的TF值。

IDF是一个单词在整个文集中出现的频率，计算公式是总文档数除以包含该单词的文档数的对数。这个值可以告诉我们一个单词的普遍程度，即它是否足够罕见，以至于只有特定文档中出现，或者是否是普遍的单词，可能不太有用。

通过使用TF-IDF，文本可以被表示为向量，其中每个维度对应于一个单词，并且每个单词都有一个相关联的权重。这种表示可以用于许多自然语言处理和机器学习任务，例如文本分类、情感分析和信息检索。在信息检索中，用户的查询可以被表示为向量，然后可以使用余弦相似度来比较查询向量与文档向量，以查找最相关的文档。

虽然TF-IDF矢量化在许多应用中非常有用，但它也存在一些限制。例如，它假设单词之间是相互独立的，而忽略了句法和语义信息。此外，如果语料库很大，则需要使用分布式计算技术来计算TF-IDF向量，这可能会导致计算成本非常高。

 

TF-IDF算法步骤

第一步-计算词频：

考虑到文章有长短之分，为了便于不同文章的比较，进行“词频”标准化。

第二步-计算逆文档频率：

此时需要一个语料库(corpus)，用来模拟语言的使用环境。

如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0，分母之所以要加1，是为了避免分母为0（即所有文档不包含该词）。log 表示对得到的值取对数

 

第三步-计算TF-IDF:

 

可以看到，TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。所以，自动提取关键词的算法就很清楚了，就是计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。

 

优缺点：

TF-IDF的优点是简单快速，而且容易理解。缺点是有时候用词频来衡量文章中的一个词的重要性不够全面，有时候重要的词出现的可能不够多，而且这种计算无法体现位置信息，无法体现词在上下文的重要性。如果要体现词的上下文结构，那么你可能需要使用word2vec算法来支持。

示例代码