WebAlta Crawler是何许东东？

2008/02/20 19:40

文章作者：9Enjoy 转载请注明原文链接。

在一个新站上看到如下日志：
77.91.224.23 - - [20/Feb/2008:07:59:07 +0800] "GET /robots.txt HTTP/1.1" 404 408 "-" "WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)"
77.91.224.23 - - [20/Feb/2008:07:59:08 +0800] "GET / HTTP/1.1" 200 2074 "-" "WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)"
......
77.91.224.23 - - [20/Feb/2008:16:28:49 +0800] "GET /robots.txt HTTP/1.1" 404 408 "-" "WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)"
77.91.224.23 - - [20/Feb/2008:16:28:51 +0800] "GET /B.htm HTTP/1.1" 200 2395 "-" "WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)"

好像挺正规，先读robots.txt，再扫描页面。访问了一下http://www.webalta.net/ru/about_webmaster.html，找不到页面，估计被封了。

查了一下，从一大堆网页日志的搜索记录中，找出它原来是俄罗斯的搜索引擎。俄罗斯的搜索引擎跑来中国抓网页，呵呵。估计没什么用，如果扫描的量很大的话，可以考虑把它的IP屏蔽。

零

2008/07/28 10:31

www.viv9.cn 也发现了..- -

钓鱼爱好者

2008/07/09 18:30

我在钓鱼网 ( http://www.diaoyuweng.com ) 上看钓鱼资料的时候也发现了
2008-07-09 10:06:57 GET /viewthread.php tid=486&extra=page=1 - 77.91.224.16 HTTP/1.1 WebAlta+Crawler/2.0+(http://www.webalta.net/ru/about_webmaster.html)+(Windows;+U;+Windows+NT+5.1;+ru-RU) - 200 575

分页： 1/1