分享、学习、提高
2010/12/15 20:43
文章作者:Enjoy 转载请注明原文链接。
昨天晚上给一个新域名做了个页面,就一个首页,传到了美国vps上。没有在任何其它地方做链接,仅在22:40左右在baidu和google的网站登录页面提交,看看是否有蜘蛛会过来爬行。只要有蜘蛛过来,则说明在网站登录页面提交还是有点用的。也算是一个试验,可以了解到在网站登录页面提交是否还有用,如果有用多少时间会来爬等。

以下是域名上线后的访问日志,共10条。其中www.9enjoy.com是我虚拟的域名,不是真实域名。

1. 123.125.67.140 [15/Dec/2010:03:25:26 +0800] GET www.9enjoy.com / 200 4551 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -
2. 220.181.108.82 [15/Dec/2010:08:10:33 +0800] GET www.9enjoy.com / 200 2399 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" -
3. 220.181.7.112 [15/Dec/2010:08:20:16 +0800] GET www.9enjoy.com /robots.txt 404 169 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" -
4. 198.186.192.44 [15/Dec/2010:10:43:40 +0800] GET www.9enjoy.com / 200 4551 "-" "-" -
5. 66.249.68.171 [15/Dec/2010:10:48:22 +0800] GET 9enjoy.com /robots.txt 301 185 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -
6. 66.249.67.228 [15/Dec/2010:10:48:24 +0800] GET www.9enjoy.com /robots.txt 404 169 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -
7. 66.249.68.171 [15/Dec/2010:10:48:24 +0800] GET 9enjoy.com / 301 185 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -
8. 66.249.67.228 [15/Dec/2010:10:48:25 +0800] GET www.9enjoy.com /robots.txt 404 169 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -
9. 66.249.67.228 [15/Dec/2010:10:48:25 +0800] GET www.9enjoy.com / 200 2399 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -
10. 198.186.192.44 [15/Dec/2010:11:17:39 +0800] GET www.9enjoy.com / 200 4551 "-" "-" -

第一条不清楚哪里来的,
第二条Baiduspider访问首页,
第三条Baiduspider访问robots.txt
第四条,来路不明
第五条,Google来爬没www的robots.txt,返回301(服务器设置了301到相应的带www的页面)
第六条,Google来爬robots.txt,返回404(我没创建这个文件)
第七条,Google来爬没www的首页,返回301
第八条,Google来爬robots.txt,返回404(和第六条一模样,还同一个IP)
第九条,Google来爬首页,返回200
第十条,来路不明


baidu是早上8点来爬的,距提交隔了9个小时多。google是早上10:48来爬的,隔了12个小时。
结论,在没有外链的情况下,网站登录提交还是有效的,当然不保证能收录。
是否收录就是另外一回事了,由于只有一页,而且有用的内容很少,所以也不可能收录,果然两个SE都没有收录。今天补些内容上去再看看。


附:
百度网站登录页面:http://www.baidu.com/search/url_submit.html
谷歌网站登录页面:http://www.google.com/addurl/?hl=zh-CN&continue=/addurl
英文Google登录页面:http://www.google.com/addurl/?continue=/addurl


@@UPDATE@@101216:昨晚上了内容页,今天看下两个搜索引擎都已经收录了,只是都有些奇怪。google收录了不带www的首页,baidu收录了四个子页面。
试验说明,仅通过提交网址,就可以让baidu和google收录:)
hugo
2011/03/07 09:21
做这个实验很傻很天真!
分页: 1/1 第一页 1 最后页
发表评论
表情
emotemotemotemotemot
打开HTML
打开UBB
打开表情
隐藏
昵称   密码   游客无需密码
网址   电邮   [注册]
               

验证码 不区分大小写