Индексатор

Индексатор – программа, осуществляющая поиск и добавление в базу новых страниц и документов, находящихся в сети Интернет, а также апдейт информации по уже имеющимся в базе документам. У каждого поисковика имеются свои роботы-индексаторы, обрабатывающие HTML-коды сайтов. Как правило, индексатор разбивает страницу на несколько частей и анализирует каждую из них. Индексатор предназначен для просмотра сайтов с целью добавления информации о них в регулярно обновляемую базу данных (индекс) поисковой системы.

Именно проиндексированные поисковыми ботами страницы отображаются в результатах поиска. При индексации страницы боты учитывают различные параметры страницы, в частности: релевантность страницы с точки зрения пользователя, её соответствие поисковому запросу, уникальность, неповторимость и эксклюзивность индексируемой страницы с позиции предоставляемой информации, а также позицию сайта, зависящую от его раскрутки и продвижения, и качество его контента.

Индексаторы поисковых систем также отвечают за пополнение поискового индекса. Пополнение происходит с учётом позиции страницы и обновления его контента. Индексаторы контролируют обновление страниц с определённой частотой. Обновление страниц, изменения, происходящие с теми или иными документами, заносятся индексаторами в базы данных поисковых систем.

Для поисковой системы Google существует специальный индексатор Googlebot. Робот Googlebot осуществляет просмотр каждого сайта с получения списка URL-адресов страниц, сложившегося по результатам предшествующих поисковых индексаций, и пополняет его новыми данными. Осуществляя прохождение по документам, робот осуществляет поиск ссылок (в языке HTML они помечаются тегами HREF и SCR) и добавляет их в список страниц, по которым необходимо пройти в дальнейшем.

Робот-индексатор является неотъемлемой частью поисковой системы. Процесс индексации напрямую связан с поисковыми алгоритмами. Некоторые поисковые системы предлагают пользователю возможность самостоятельно добавить новый сайт для дальнейшей индексации поисковым роботом. Как правило, это заметно ускоряет процесс индексации сайта поисковиком, а в некоторых ситуациях, если отсутствуют внешние ссылки, ведущие на ресурс - это является единственным способом дать знать поисковику о его существовании.

Существуют способы ограничения индексации сайта. В частности, это можно сделать при помощи файла robots.txt, являющимся одним из инструментов продвижения сайта.