有时主域名被Baidu封了后，启用新域名来让Baidu收录是一个很好的办法，但是，这样也会让新域名在Google和Yahoo中收录。

虽然有人说这样挺好，但我觉得主站被收录就好了，辅助域名没必要收录，收录了反而影响主域名，因为是一样的内容。于是，就想设置除主域名外不让google等收录。

由于放在同一个目录下，robots.txt只能是一个，查了下robots的方法，禁止搜索引擎收录的方法，没发现可以根据域名来disallow的。

今天想到了一个办法，通过Rewrite来实现。

先建了一个空的robots.txt放在根目录，即允许所有搜索引擎收录。
再建了一个用于辅助域名的robots_2.txt，不想让Google和Yahoo的蜘蛛访问。

内容如下：
User-agent: Yahoo! Slurp
Disallow: /

User-agent: Yahoo! Slurp China
Disallow: /

User-agent:Googlebot
Disallow:/

然后在站点.htaccess中设置：

RewriteEngine On
RewriteCond %{REQUEST_FILENAME}   !-d
RewriteCond %{HTTP_HOST} [www\.]?domain2.com$ [NC]
RewriteRule ^robots.txt$ robots_2.txt [L]

在浏览器里访问www.domain2.com/robots.txt，成功访问到robots_2.txt的内容，测试成功：）