Индексация в поисковых системах: различия между версиями
| [непроверенная версия] | [непроверенная версия] |
Содержимое удалено Содержимое добавлено
LimeHat (обсуждение | вклад) м Орфография с помощью AWB |
Нет описания правки |
||
Строка 3:
В ''сведения о сайте'' чаще всего входят ключевые слова (алгоритм определения ключевых слов зависит от [[поисковая система|поисковой системы]]), статьи, ссылки, документы, также могут индексироваться изображения и т. д.
Существуют некоторые ограничения на типы индексируемых данных (java скрипты, flash файлы).
Для управления индексацией (например, запрета индексации той или иной страницы) используется файл robots.txt и такие директивы как Disallow, Allow, User-agent, Crawl-delay и другие. == Методы ==
| |||