Запрет индексации поддомена или как закрыть от индексации поддомен в robots.txt, в htaccess
21 Авг 2013 | Автор: Иван Чередов |Запрет индексации поддомена в robots.txt, если он находится в подкаталоге /dir/:
User-agent: *
Disallow: /dir/
Запрет индексации поддомена в htaccess, если он находится в подкаталоге /dir/:
RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteRule ^/dir/.*$ – [F]
или же в /dir/.htaccess :
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteRule ^.*$ – [F]
Запрет индексации поддомена в robots.txt , если он находится в одном каталоге с сайтом или другими поддоменами:
RewriteCond %{HTTP_HOST} pod1\.site\.ru.*$
RewriteRule ^robots\.txt$ robots1.txt
Создать robots1.txt его поместить в корень, а в него:
User-agent: *
Disallow: /
Таким образом создадим несколько разных robots.txt для каждого поддомена.
Запрет индексации поддомена в htaccess , если он находится в одном каталоге с сайтом или другими поддоменами:
RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteCond %{HTTP_HOST} pod1\.site\.ru.*$
RewriteRule ^.*$ – [F]
Можно так же запретить все поддомены, кроме указанных. Это может быть полезно в случае социальных сетей или каталогов с личными данными.
RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteCond %{HTTP_HOST} ^([a-z0-9-]+)\.site\.ru.*$ [NC]
RewriteCond %{HTTP_HOST} !www\.site\.ru.*$ [NC]
RewriteCond %{HTTP_HOST} !pod1\.site\.ru.*$ [NC]
RewriteCond %{HTTP_HOST} !pod2\.site\.ru.*$ [NC]
RewriteRule ^.*$ – [F]
pod1, pod2 – поддомены, которые запрещать не надо.
Запрет индексации поддомена или как закрыть от индексации поддомен в robots.txt, в htaccess,