1) Самый правильный способ отключить индексацию html – через атрибут ссылки:
<a href=”http://skobki.com” rel=”nofollow”>Неиндексируемая ссылка</a>
2) Конструкция googleoff для Google:
<!--googleoff: snippet--> chocolate pudding <!--googleon: snippet-->
3) Для яндекса работает специальный тег noindex:
<noindex>Невидимый яндексу текст</noindex>
Удобно, почему бы другим поисковикам не последовать за яндексом?
4) Комментарий яндекса валидный в HTML:
<!– noindex –> noindex для wordpress <!–/ noindex –>
5) Отключения индексации в yahoo:
<div class=”robots-nocontent”>Невидимый текст для Яху</div>
6) Исключить из индекса всю страницу (осторожнее с этим!):
<meta name=”robots” content=”noindex” />