1) Самый правильный способ отключить индексацию html — через атрибут ссылки:
<a href=»http://skobki.com» rel=»nofollow»>Неиндексируемая ссылка</a>
2) Конструкция googleoff для Google:
<!--googleoff: snippet--> chocolate pudding <!--googleon: snippet-->
3) Для яндекса работает специальный тег noindex:
<noindex>Невидимый яндексу текст</noindex>
Удобно, почему бы другим поисковикам не последовать за яндексом?
4) Комментарий яндекса валидный в HTML:
<!— noindex —> noindex для wordpress <!—/ noindex —>
5) Отключения индексации в yahoo:
<div class=»robots-nocontent»>Невидимый текст для Яху</div>
6) Исключить из индекса всю страницу (осторожнее с этим!):
<meta name=»robots» content=»noindex» />