Поисковый робот
Под названием «поисковый робот» подразумевается один из важнейших функциональных элементов любой системы поиска. В его задачи входит как сбор информации об интернет-ресурсах и их обновлениях, так и анализ этой информации.
В пределах одной системы поиска могут функционировать несколько ботов, каждый из которых представлен в виде автоматического скрипта с особым алгоритмом и собственным предназначением. Каждый из ботов соответственно своей задаче производит анализ данных и считывает какую-то конкретную информацию с веб-сайта, которая впоследствии повлияет на процесс ранжирования — распределения ресурсов по позициям в ТОПе поисковой выдачи.
Механизм работы бота
Для определения механизма работы поискового бота можно воспользоваться метафорой. Если представить просторы сети как океан, а интернет-площадки как острова или архипелаги островов, то боты занимаются созданием их карты и внесением полезной информации об этих островах в соответствующие реестры и базы данных. То есть, бот — это небольшое исследовательское судно, которое фиксирует любые изменения на этих островах — ушел ли остров под воду, или на нем выстроился новый город. Такой сбор и анализ информации на языке поисковой оптимизации называется индексацией.
Сколько ждать индексации?
Итак, веб-разработчик создал новый остров — новый интернет-сайт. Он его оптимизировал, загрузил на его страницы уникальный контент, разместил несколько ссылок на него на трастовых ресурсах, визуально его оформил и создал полезные инструменты на главной странице — навигатор, карту сайта, поиск по нему и так далее, зарегистрировал уникальный домен и осуществил запуск проекта. И с этого момента веб-мастер находится в ожидании индексации. Ожидание может занять несколько месяцев, поэтому для ускорения процесса можно внести ресурс в специальные каталоги Google и Яндекс.
Если веб-сайт был единожды проиндексирован, поисковый робот будет постоянно его посещать. И частота посещений будет зависеть от частоты обновлений графического или визуального контента, или технических обновлений ресурса. Если обновления происходят раз в день, то робот это зафиксирует, и индексировать страницы интернет-площадки, соответственно, будет, скорее всего, также — раз в день.
Задания поисковых ботов
В пределах одной поисковой системы может функционировать большое количество ботов, которые имеют различное предназначение. Одни ищут «мертвые» сайты для исключения их из индекса, другие ищут новые интернет-страницы для их индексации. Некоторые индексируют визуальный контент, некоторые — текстовый. Существуют также роботы, которые собирают информацию о корректности внешних и внутренних ссылок, анализируют ее и начисляют веб-сайтам соответствующий рейтинг PR.
Когда бот посещает интернет-площадку, в первую очередь он обращается к файлу «robots.txt». Веб-разработчики располагают его в пределах подконтрольного сервера. Он предоставляет или не предоставляет роботам допуск ко всему сайту или к определенным его страницам, файлам.