2008/06/10 21:14
site:9enjoy.com
百度一下,找到相关网页约30,900篇

太夸张了,总的文章数还没满300篇。分析觉得是跟bo-blog的程序有关,收录多当然是好事,但有许多重复收录了,有些是同一页面会有多个URL。据日志跟踪,有时甚至能让蜘蛛搞成死循环,比如以前曾观察过Sosospider就总是乱抓。
今天看其官网,作者有介绍在开发新版本2.1.1,其中提到一点:*修改:禁止一些非正常请求的访问,减少搜索引擎抓取死循环的产生。呵呵,好事!期待新版本中。
gg收录了1640页,这个算比较合理。
百度一下,找到相关网页约30,900篇
太夸张了,总的文章数还没满300篇。分析觉得是跟bo-blog的程序有关,收录多当然是好事,但有许多重复收录了,有些是同一页面会有多个URL。据日志跟踪,有时甚至能让蜘蛛搞成死循环,比如以前曾观察过Sosospider就总是乱抓。
今天看其官网,作者有介绍在开发新版本2.1.1,其中提到一点:*修改:禁止一些非正常请求的访问,减少搜索引擎抓取死循环的产生。呵呵,好事!期待新版本中。
gg收录了1640页,这个算比较合理。





