Запрет индексации поддомена или как закрыть от индексации поддомен в robots.txt, в htaccess

21 Авг 2013 | Автор: |

Запрет индексации поддомена в robots.txt, если он находится в подкаталоге /dir/:

User-agent: *

Disallow: /dir/

Запрет индексации поддомена в htaccess, если он находится в подкаталоге /dir/:

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteRule ^/dir/.*$ – [F]

или же в /dir/.htaccess :

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteRule ^.*$ – [F]

Запрет индексации поддомена в robots.txt , если он находится в одном каталоге с сайтом или другими поддоменами:

RewriteCond %{HTTP_HOST} pod1\.site\.ru.*$

RewriteRule ^robots\.txt$ robots1.txt

Создать robots1.txt его поместить в корень, а в него:

User-agent: *

Disallow: /

Таким образом создадим несколько разных robots.txt для каждого поддомена.

Запрет индексации поддомена в htaccess , если он находится в одном каталоге с сайтом или другими поддоменами:

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteCond %{HTTP_HOST} pod1\.site\.ru.*$

RewriteRule ^.*$ – [F]

Можно так же запретить все поддомены, кроме указанных. Это может быть полезно в случае социальных сетей или каталогов с личными данными.

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]

RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]

RewriteCond %{HTTP_HOST} ^([a-z0-9-]+)\.site\.ru.*$ [NC]

RewriteCond %{HTTP_HOST} !www\.site\.ru.*$ [NC]

RewriteCond %{HTTP_HOST} !pod1\.site\.ru.*$ [NC]

RewriteCond %{HTTP_HOST} !pod2\.site\.ru.*$ [NC]

RewriteRule ^.*$ – [F]

pod1, pod2 – поддомены, которые запрещать не надо.

VN:F [1.9.22_1171]
пожалуйста, оцените страницу, я старался :)
Rating: 4.8/5 (50 votes cast)
Запрет индексации поддомена или как закрыть от индексации поддомен в robots.txt, в htaccess, 4.8 out of 5 based on 50 ratings

Есть что сказать? - Напишите!

Для предотвращения автоматического заполнения, пожалуйста, выполните задание, приведенное рядом.