百度分词切词研究

作者：shentong

对与百度的分词研究原来也没有在意，但有一次我在作优化时无意中发现一个词也就是差了一个字，结果排名大不相同。我作的是二手房的要害词，但是我的页面上的要害词设置却是“二手房源”，可能有的朋友会说，这个没什么问题啊，“二手房源”不是包含了二手房这个要害词吗？假如没有仔细对百度的分词进行研究，大家可能看不出这两个词会有什么区别，不过大家只要稍微留心一下搜索出来的结果，就可以看出端倪了，百度在对“二手房”和“二手房源”这两个词分词出来是不一样的，百度自己建立有自己的词库，所以他会把“二手房“这个词当作一个整体，但是对于”二手房源“这个词，百度则拆分成了”二手“和”房源“两个词，自然别人在搜索二手房这个要害实氖焙蚓驼也坏轿业囊趁媪恕Ｍü飧鲂∠附冢揖醯糜斜匾园俣鹊姆执式幸幌律钊氲难芯浚掖蟾诺刈芙岢隽艘韵抡饷醇傅悖?

　　1、百度分词是根据内容中，第一次出现要害词相关词为标准来分的。例如”今日新开热血江湖sf“这个词
　　假如你的正文中第一个出现的是”今日“这个词，那么你的页面上的要害词就会被拆分成”今日”和“新开热血江湖sf“两个词，标题中一定要包含要害词，但不一定要完全匹配，但内容中出现的要害词是要跟百度分词完全匹配的，在完全匹配中又会根据文件URL路径的深度来进行排序，在要害词都完全匹配的情况下，比如说目录比文件有优先权，根目录下的文件要比二级目录下的文件有优先权，完全匹配的会排在前面，然后再是部分匹配的。

　　2、在要害词没有完全匹配的情况下，假如有分词，比如说：游览器下载
　　这个要害词，有一个网页里第一次出现的要害词是游览器，并且有较高的要害词密度，但是这个网页中却没有”下载“这个要害词
　　而另一个网页里第一次出现的要害词是下载，那么这个网页的要害词就会被拆分成 游览器 下载 两个词，虽然第二个网页里包含有“游览器” “下载” 但是第一个网页还是会排在第二个网页的前面，这说明要害词的前面部分是最重要的。

　　3、要害词第一部分出现的频率是排名的要害，比如说 ”游览器 下载“，假如两个网页都没有完全匹配，都是含有两个分词，那么“游览器”这个分词密度高的网页将会排在前面。

　　4、假如完全匹配，但是要害词第一出现是在页面内容的最后面部分，那么这个网页的排名将比前面这些页面还要低。所以要害词尽早在内容中出现是非常重要的。

　　5、百度根据第一次出现的相关要害词切词，假如第一次出现的相关要害词是要害词的尾部，那么就从后面开始切，假如是前面部分就从前面开始切，也就是根据网页内容的顺序和反序进行分词，顺序的时候就是以要害词前半部分为起点，反序的时候就是以要害词的后半部分为起点。例如：”今日新开热血江湖sf“ 这个要害词，假如你的网页中第一次出现的要害词是”热血江湖sf“，那么你这个页面的要害词会被拆分成”热血江湖sf”和“今日新开”两个词。

　　6、可以根据百度的切词原理，自己来选择比较好作的要害词头部（也就是调整你网页内容中第一次出现的要害词）。也就是进行人为切词，百度会进行从前往后判定，也会从后往前面切。

　　7、假如切词出现前半部分和后半部分有重复的话，那么有重复的会比没重复的排名低，但假如都有重复那么就是根据前半部分的密度来判定。
　　例如：今日新开热血江湖sf 假如被切成 今日新开热血江湖|新开热血江湖sf （这样切出来的词前半部分太长，所以排名不利）那么排名肯定要比切成今日新开|热血江湖|sf 的排名差

　　8、假如在要害词没有完全匹配的情况下，并且要害词出现得不完整，比如说：今日新开热血江湖sf，网页的内容包含的要害词中假如没有“今日”这个词，那么切词就会从“新开”开始，但是这样的网页都会排在比较靠后了，因为你要害词的前部分都没有包含

　　9、缺词的情况下下，假如与不缺词的网页进行比较的话，那还是根据切词前部分的密度进行排序，也就是说按照切词的顺序，假如切出来的词，前部分的密度比后部分的密度比例是要害，例如一个网页中，前部分与后部分要害词的比例是1：2，另外一个网页的比例是1：4，那么当然前面的那个网页排名要靠前。同样在缺词的情况下，切出来前词短的排名有优势

　　10、假如不缺词，但是要害词后面部分比前面部分先出现，例如“今日新开热血江湖sf” sf这个词先出现，但是“今日新开热血江湖”这个词的密度又不高的话，那么排名会比那些缺词的还要靠后

　　11、同样是后词出现在前面，但是前词与后词的比例是要害，例如一个网页中包含有“sf” “今日新开热血江湖”这样两个词，比例为1：1另外一个网页包含的是 “新开热血江湖” “sf” “今日新开” 比例是2：1：1，那么前面的那个网页排名有优势，要害词的数量不是要害，出现的位置，以及分词的比例是非常要害的。越靠后的分词占的比例越多，排名越不利

　　12、要害词在正文中出现的位置过于靠后也是不利的，主词的密度太低也不利，前面的网页情况都是在主词密度差不多的情况下进行比较的。


　　我研究出来的也就查不多这么多了，不知道大家能不能看懂，假如能看懂的会，你就可以根据百度的分词去调整自己网页的要害词权重设计，这样就可以避免热词的竞争，但是又能作到热词。