Индексация в поисковых системах: различия между версиями

[отпатрулированная версия][непроверенная версия]
Содержимое удалено Содержимое добавлено
м [r2.6.5] робот добавил: pl:Indeksowanie stron
Нет описания правки
Строка 5:
Существуют некоторые ограничения на типы индексируемых данных (java скрипты, flash файлы).
 
Для управления индексацией (например, запрета индексации той или иной страницы) используется файл robots.txt и такие директивы как Disallow, Allow, User-agent, Crawl-delay и другие. Также, для управления индексацией применяют теги [[Noindex|<noindex>]] и атрибут [[Nofollow|<nofollow>]], закрывающие содержимое сайта от роботов Яндекса и Google соответственно (Yahoo использует тег <nofollow>).
 
== Методы ==