Индексация в поисковых системах: различия между версиями

 

Существуют некоторые ограничения на типы индексируемых данных (java скрипты, flash файлы). Для управления индексацией (например, запрета индексации той или иной страницы) используется файл robots.txt и такие директивы как Disallow, Allow, User-agent, Crawl-delay и другие. Для управления индексацией применяют тэги <noindex> и <nofollow>, закрывающие содержимое сайта от роботов Яндекса и Google соответственно (Yahoo использует тэг <nofollow>).

 

== Методы ==