您当前的位置:首页>>网建知识>SEO网站制作设计前必须知道的搜索引擎蜘蛛抓取策略

SEO网站制作设计前必须知道的搜索引擎蜘蛛抓取策略

发布时间:2012/7/10 17:24:24  来源:www.021com.com  作者:NIKO

    这篇文章主要讲解搜索引擎的蜘蛛爬虫的工作原理,SEO网站制作设计前必须知道的搜索引擎蜘蛛抓取策略。

    深度优先

    所谓深度优先,就是蜘蛛在一个页面中发现第一个超链接,然后爬取这个页面,当爬到第二个页面后,在第二个页面发现的第一个超链接,然后再顺着往下爬。

    宽度优先

    在深度优先上,搜索引擎有着根本的问题,之后,搜索引擎又推出了蜘蛛抓取的第二个策略,也就是宽度优先,宽度优先指的是,蜘蛛会先把这个页面所有的链接都爬一次,然后顺着这些链接往下爬。

    先宽后深 – 权重优先

    现在搜索引擎是宽度和深度优先的结合,蜘蛛在抓取一个网页的时候,会先把这个页面所有的链接都抓取一次,然后再根据这些ULR的权重来判定,那个URL的权重高,那么就采用深度优先,URL权重低,就采用宽度优先或者不抓取。

    重访抓取策略

    重访抓取策略是最后的一个,搜索引擎蜘蛛在抓取完这个网页之后,然后根据这个页面的权重来判定,那么对于权重高的页面,蜘蛛会在相隔较短的时间段回来重新抓取。而对于一些权重较低的页面,比如长期不更新的页面,那么蜘蛛会隔好长时间在来抓取一次。

    所以,搜索引擎的蜘蛛抓取网页是有着一定的规律,不会去随便抓取网页,SEO网站制作设计前我们应该先了解这些问题。
 


标签:
相关新闻
 
如果您是遭受“互联网服务陷阱”侵害的客户
如果您正为自己的网站形象而犯愁
如果您还没有建立自己的网站
如果您的网站无人问津
请及时联系我们
我们将为您出谋划策,帮助您树立起网络品牌形象,为后期的
网络品牌推广以及产品推广做好扎实的网络品牌基础

上海 虹口区 水电路682号 天虹商务大厦6、7、16、17F

TEL:021-51093065

FAX:021-6008 2847

Copyright©:www.021com.com All Rights Reserved.

版权所有©:珍岛信息技术(上海)股份有限公司 网站地图
备案号:沪ICP备09078302号-114

沪公网安备 31010902001242号