11
15
我们都知道,搜索引擎定期会派出机器人(baiduspider , googlebot)对所有网站进行一次树结构的深度检索,这个定期限一般是一个月,并检查更新,有更新的页面则收录,同时也会收录一些新网站。不过个搜索引擎都在加速对网站的访问频率,除了每月一次的全面的深度检索,还对频繁更新的网站进行数天甚至每天的简单检索一次。
以保证搜索引擎的时效性,那么搜索引擎对网站的抓取更新频率和哪些因素有关呢?
1、网站自身的更新频率
一个长期没有更新的网站,无论是用户和蜘蛛程序都会减少对它的访问。可以说,更新越频繁,蜘蛛程序光顾越多,你的新信息出现在搜索结果首页的机会也越大,被抓取到的网页数量也越多。 (more…)