做SEO需先了解百度蜘蛛抓取规则

  • 时间:
  • 浏览:37
  • 来源:时时彩平台推荐—就选时时彩平台推荐网您的追加选择

做SEO需先了解百度蜘蛛抓取规则

  搜索引擎蜘蛛抓取的原始页面,并不能直接用于查询排名处理。搜索引擎数据库中的页面数都在数万亿级别以上,用户输入搜索词后,靠排名程序实时对这么多页面分析相关性,计算量太大,不可能在一两秒内返回排名结果。因此抓取来的页面必须经过预处理,为最后的查询排名做好准备。

  和爬行抓取一样,预处理也是在后台提前完成的,用户搜索时感觉不到这个过程。

  1.提取文字

  现在的搜索引擎还是以文字内容为基础。蜘蛛抓取到的页面中的HTML代码,除了用户在浏览器上可以看到的可见文字外,还包含了大量的HTML格式标签、JavaScip程序等无法用于排名的内容。搜索引擎预处理首先要做的就是从HTML文件中去除标签、程序,提取出可以用于排名处理的网页面文字内容。

  2.中文分词

  分词是中文搜索引擎特有的步骤。搜索引擎存储和处理页面及用户搜索都是以词为

  基础的。英文等语言单词与单词之间有空格分隔,搜索引擎索引程序可以直接把句子划分为单词的集合。而中文词与词之间没有任何分隔符,一个句子中的所有字和词都是连在一起的。搜索引擎必须首先分辨哪几个字组成一个词,哪些字本身就是一个词。比如“减肥方法”将被分词为“减肥”和“方法”两个词。

    中文分词方法基本上有两种,一种是基于词典匹配,另一种是基于统计。

    基于词典匹配的方法是指,将待分析的一段汉字与一个事先造好的词典中的词条进行匹配,在待分析汉字串中扫描到词典中已有的词条则匹配成功,或者说切分出一个单词。

    按照扫描方向,基于词典的匹配法可以分为正向匹配和逆向匹配。按照匹配长度优先级的不同,又可以分为最大匹配和最小匹配。将扫描方向和长度优先混合,又可以产生正向最大匹配、逆向最大匹配等不同方法。

    词典匹配方法计算简单,其准确度在很大程度上取决于词典的完整性和更新情况。基于统计的分词方法指的是分析大量文字样本,计算出字与字相邻出现的统计概率,几个字相邻出现越多,就越可能形成一个单词。基于统计的方法的优势是对新出现的词反应更快速,也有利于消除歧义。

  3.去停止词

  无论是英文还是中文,页面内容中都会有一些出现频率很高,却对内容没有任何影响的词,如“的”、“地”、“得”之类的助词,“啊”、“哈”、“呀”之类的感叹词。“从而”“以”、“却”之类的副词或介词。这些词被称为停止词,因为它们对页面的主要意思没什么影响。英文中的常见停止词有the,a,an,to,of等。

  搜索引擎在索引页面之前会去掉这些停止词,使索引数据主题更为突出,减少无谓的计算量。

  4.消除噪声

  绝大部分页面上还有一部分内容对页面主题也没有什么贡献,比如版权声明文字、导航条、广告等。以常见的博客导航为例,几乎每个博客页面上都会出现文章分类、历史存档等导航内容,但是这些页面本身与“分类”、“历史”这些词都没有任何关系。用户搜索“历史”、“分类”这些关键词时仅仅因为页面上有这些词出现而返回博客帖子是毫无意义的,完全不相关。所以这些区块都属于噪声,对页面主题只能起到分散作用。

    搜索引擎需要识别并消除这些噪声,排名时不使用噪声内容。消噪的基本方法是根据HTML标签对页面分块,区分出页头、导航、正文、页脚、广告等区域,在网站上大量重复出现的区块往往属于噪声。对页面进行消噪后,剩下的才是页面主体内容。

    5.去重

    搜索引擎还需要对页面进行去重处理。

    同一篇文章经常会重复出现在不同网站及同一个网站的不同网址上,搜索引擎并不喜欢这种重复性的内容。用户搜索时,如果在前两页看到的都是来自不同网站的同一篇文章,用户体验就太差了,虽然都是内容相关的。搜索引擎希望只返回相同文章中的一篇,所以在进行索引前还需要识别和删除重复内容,这个过程就称为“去重”。

    6.特殊文件处理

    除了HTML 文件外,搜索引擎通常还能抓取和索引以文字为基础的多种文件类型,如PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。但目前的搜索引擎还不能处理图片、视频、Flash 这类非文字内容,也不能执行脚本和程序。

    虽然搜索引擎在识别图片及从Flash 中提取文字内容方面有些进步,不过距离直接靠读取图片、视频、Flash 内容返回结果的目标还很远。对图片、视频内容的排名还往往是依据与之相关的文字内容,详细情况可以参考后面的整合搜索部分。

猜你喜欢

网站SEO优化主管必备那些能力

网站SEO优化主管必备能力成为一名合格的网站seo优化主管,是seo职场中的一个攀爬过程,水往低处流,人往高处走,从古至今一直延续着这个道理。不是任何从事seo职业的人都有能力

2018-07-06

零基础学seo难吗

零基础学seo难吗没有基础,也就是零基础,来学习seo,是否困哪?这个问题没有严格标准的答案。世上无难事只怕有心人,把准备考好大学的态度拿来学习seo则不难;没有高效率的学习方

2018-07-06

seo转数据分析

seo转数据分析做seo也好,转seo数据分析也罢,如果自身具备良好的职业技能,都能在各自的细分领域取得优异成绩。就经验来看,seo与数据分析是密不可分的。seo是一个过程,是

2018-07-06

seo网站内部优化

seo网站内部优化有一种seo思维导图,将网站优化分为站内即内部优化和站外seo,这种分类方式被广大seo从业人员所接受,也是一种科学的seo分类。我一直认为搜索引擎优化是一个

2018-07-06

一个优秀的SEO人员到底需要具备那些能力

一个优秀的SEO人员需要具备那些能力一个牛逼的SEO人员,往往付出被别人更多,那么作为一个优秀的SEO人员,需要具备那些能力,或者说是那么技能呢?下面我们一起来详细的分析一下。

2018-06-28