搜索引擎对网站的抓取更新频率与什么因素有关?

  jerry.xu |  互联网 |  [0]   [194] |  发表评论  

我们都知道,搜索引擎定期会派出机器人(baiduspider , googlebot)对所有网站进行一次树结构的深度检索,这个定期限一般是一个月,并检查更新,有更新的页面则收录,同时也会收录一些新网站。不过个搜索引擎都在加速对网站的访问频率,除了每月一次的全面的深度检索,还对频繁更新的网站进行数天甚至每天的简单检索一次。
以保证搜索引擎的时效性,那么搜索引擎对网站的抓取更新频率和哪些因素有关呢?
1、网站自身的更新频率
一个长期没有更新的网站,无论是用户和蜘蛛程序都会减少对它的访问。可以说,更新越频繁,蜘蛛程序光顾越多,你的新信息出现在搜索结果首页的机会也越大,被抓取到的网页数量也越多。
2、网站的结构
如果一个网站拥有优化的结构,蜘蛛访问起来很顺利的话,那么它会更乐意访问该网站。
3、服务器的性能
如果蜘蛛程序前来索引你的网站,而你的服务器迟迟不能加载页面,或根本不能访问,那么搜索引擎就会尝试在下一次更新时再来,如果多次出现同样的情况,搜索引擎就会减少对该 站的访问,或将它在数据库里删除。
4、PR 值的高低
正如高PR 值拥有了获得高排名的优势,很多业内人士认为PR 值的高低同样是搜索引擎判断更新频次的重要因素。
5、Meta“revisit-after”
有人在Meta 中如下设置:,以次提示蜘蛛程序每5 天访问一次。实际上,由于Google 基本上已经将Meta 所起的作用降到很低,因此类似标签是没有多大作用的。但是,如果将时间设为30 天以后的数值,被认为是有效的。
综上所述,网站的高质量和网站维护得力,才是搜索引擎经常更新网站数据的根本原因。

添加评论