Запрет индексации страницы или как закрыть от индексации страницу сайта в robots.txt

21 Авг 2013 | Автор: |

Закрыть страницу сайта от индексации можно несколькими способами:

1) Разместить в заголовке (между <head> и </head>) метатег <meta name="robots" content="noindex, nofollow"/>

  • <meta name="robots" content="noindex"/> — не индексировать текст страницы,
  • <meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице.

2) Запретить индексацию в файле robots.txt. Например, страница имеет адрес site.ru/page. Тогда нужно добавить строку:

Disallow: /page$

Важно: по умолчанию к концу каждого правила, описанного в robots.txt, автоматически приписывается спецсимвол ‘*’, означающий любую (в том числе пустую) последовательность символов. Спецсимвол ‘$’, дописанный в конец выражения отменяет дописанный в конец урла символ ‘*’, точно указывая на конец строки. Например, для закрытия индексации страниц которые заканчиваются на /sloni/ работает:
Disallow: /*/sloni/$

 

VN:F [1.9.22_1171]
пожалуйста, оцените страницу, я старался :)
Rating: 4.9/5 (29 votes cast)
Запрет индексации страницы или как закрыть от индексации страницу сайта в robots.txt, 4.9 out of 5 based on 29 ratings

Есть что сказать? - Напишите!

Для предотвращения автоматического заполнения, пожалуйста, выполните задание, приведенное рядом.