Googlebot: различия между версиями

'''Googlebot'''  — [[поисковый робот]] [[Google (компания)|компании Google]], используемый для сканирования [[Интернет|мировой сети]] и пополнения [[Поисковый индекс|поискового индекса]] системы [[Google (поисковая система)|Google]]. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.

Веб-мастера могут управлять роботом с помощью команды в файле [[robots.txt]] или мета-тега <code><nowiki><meta name="Googlebot" content="nofollow" /></nowiki></code>; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. [[IP-адрес]]а бота время от времени меняются.<br />

* <code><nowiki>Googlebot/2.1 (+http://www.googlebot.com/bot.html)</nowiki></code>

* <code><nowiki>Googlebot/2.1 (+http://www.google.com/bot.html)</nowiki></code>

* <code><nowiki>Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)</nowiki></code>

* <code><nowiki>Googlebot-Image/1.0</nowiki></code> (паук, сканирующий изображения)