Запрет индексации страницы или как закрыть от индексации страницу сайта в robots.txt
21 Авг 2013 | Автор: Иван Чередов |Закрыть страницу сайта от индексации можно несколькими способами:
1) Разместить в заголовке (между <head> и </head>) метатег <meta name="robots" content="noindex, nofollow"/>
- <meta name="robots" content="noindex"/> — не индексировать текст страницы,
- <meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице.
2) Запретить индексацию в файле robots.txt. Например, страница имеет адрес site.ru/page. Тогда нужно добавить строку:
Disallow: /page$
Важно: по умолчанию к концу каждого правила, описанного в robots.txt, автоматически приписывается спецсимвол ‘*’, означающий любую (в том числе пустую) последовательность символов. Спецсимвол ‘$’, дописанный в конец выражения отменяет дописанный в конец урла символ ‘*’, точно указывая на конец строки. Например, для закрытия индексации страниц которые заканчиваются на /sloni/ работает:
Disallow: /*/sloni/$
Запрет индексации страницы или как закрыть от индексации страницу сайта в robots.txt,
