TF-IDF算法详解,和TF-IDF对SEO优化的重要性-星空seo

从事SEO行业时间比较长的人应该听说过TF-IDF算法，TF-IDF算法属于搜索引擎中的核心部分。TF-IDF算法是增加相关词的覆盖率，以及高优布局关键词密度，从而在百度谷歌等搜索引擎内容质量这一项上的排名加分，获取超高分值。本文将深入为大家解析TF-IDF算法原理及公式和对seo的重要性，有兴趣请往下深度阅读。

　　一、什么是TF-IDF

先来看百度百科对TF-IDF的解释：

“TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。”

文章链接：https://baike.baidu.com/item/tf-idf

　　大家看了定义之后跟我一样是懵的吧，为了便于大家理解，作者再举一个简单易懂的栗子。

假如说我们在百度上搜索“水果”这个词，百度爬虫抓取的网站内容有下面5个，你觉得哪个内容排名第一?

内容1：水果有水果，水果，水果，水果，水果内容2：水果有苹果，桃子，西瓜，菠萝，梨子内容3：蔬菜都很好吃，我最爱吃茄子了内容4：苹果，梨子都是很好吃的水果内容5：好吃的水果有西瓜，苹果，葡萄，其他水果还有菠萝，猕猴桃相信很多人心里面有了答案，大家凭直觉，内容2 跟内容5 应该排名靠前，内容5很可能是第1，内容2是排名第2。

最终的排名顺序为52413，至于为什么呢?核心词为“水果”，5和2里都有“水果”和“苹果”两个关键词且5里有出现两次“水果”，4比2少了一个苹果关键词，1里面包括有“水果”这个关键词但有堆砌行为，3和核心词没有相关性。

其实按照TF-IDF算法也能得出这个结论，那么TF-IDF是怎么做的，请大家跟上我的步伐。

　　二、TF-IDF算法的计算步骤

　　第1步：计算逆文档频率

我们先统计各个词语被包含的文章数。比如“水果”被4篇文章(内容1、2、4、5)引用，4就是“水果”的逆文档频率。

分词后，各个单词的逆文档频率如下：

水果=4、苹果=3、好吃=2、菠萝=2、西瓜=2、梨子=2，桃子=1、猕猴桃=1、蔬菜=1，茄子=1

PS: IDF= log(语料库中的文件总数 / 包含词语 t 的文件数目)，为了便于理解，这里做了精简。

按照我们的直觉，如果一篇文章把逆文档频率最高的前面的词都包含了，说明这篇文章内容更贴合用户意图，更受到搜索引擎喜欢。回到例子，”水果、苹果”是本例中重要性最高的2个词，如果内容中包含“水果、苹果”，那么这篇内容质量就越好。

所以把包含“水果、苹果”的内容拿出来，就是比较靠谱的内容了：

内容2：水果有苹果，桃子，西瓜，菠萝，梨子内容4：苹果，梨子都是很好吃的水果内容5：好吃的水果有西瓜，苹果，葡萄，其他水果还有菠萝，猕猴桃第2步：计算词频(TF)

我们把内容1、内容3砍掉了，剩下的内容2、内容4、内容5怎么排序。我们想一下，一个词语在内容中出现的次数越高，也说明这个词语对这篇文章更重要。回到本例，“水果”是我们的核心词，那么因为内容5中出现“水果”两次，内容2、内容4次数是1，那么内容5胜出。最后的排序结果如下

内容5：好吃的水果有西瓜，苹果，葡萄，其他水果还有菠萝，猕猴桃 (第一名)内容2：水果有苹果，桃子，西瓜，菠萝，梨子(第二名)内容4：苹果，梨子都是很好吃的水果(第三名)内容1：水果有水果，水果，水果，水果，水果(相关度不够，被剔除)内容3：蔬菜都很好吃，我最爱吃茄子了( 相关度不够，被剔除 )以上是砍了又砍的TF-IDF算法简化解读版，真实的TFIDF算法比这个要正规复杂很多，这里只是让大家get到重点，码迷的目的就达到了。