Файл robots.txt

Файл robots.txt – этот файл, который может находится в корневой директории домена, и является крайне необходимым и универсальным инструментом для управления доступами поисковых систем к информации, находящейся на сайте.

При продвижении сайта файл robots.txt нужно использовать, если вы хотите:

• ограничить доступ к непубличным разделам сайта;
• ограничить доступ поисковых роботов к скриптам, программам;
• избежать возможности включения в индекс дублированного контента (например версии страницы для печати);
• помочь поисковикам обнаружить Sitemap XML.

Файл robots.txt должен находиться только в корневой директории, а имя файла содержать только маленькие буквы (в нижнем регистре). В противном случае поисковики не будут учитывать такой файл. Файл robots.txt записывается только в текстовом формате.

Поисковые роботы не переходят на те разделы, которые закрыты при помощи robots.txt и не индексируют их, оказавшись только на этом сайте. Однако, все-таки, такие страницы могут попасть в индекс, если на них стоят внешние ссылки с других ресурсов, при этом, не считывая информацию со страницы. Таким образом, поисковик будет ориентироваться только на анкорный текст внешней ссылки, пытаясь определить, что находится на странице. Практически все популярные современные поисковые системы выполняют указания, даваемые веб-мастерами посредством файлов robots.txt.

Имеет смысл также обратить внимание на то, что у каждого домена третьего уровня должен быть свой robots.txt.

Написание файла robots.txt достаточно просто: сначала указывается имя робота, к которому обращается команда, например, User-agent: * (* - любой из роботов).

Затем - непосредственно команда к роботу. Такой командой, например, может быть Disallow – для страниц доступ к которым закрыт, например Disallow: /tmp/ - закрыть для просмотра директорию /tmp/ . Или, например, доступ открыт только в директорию /tmp/ - Allow: /tmp/.

Полные указания по применению инструмента robots.txt при продвижении сайта можно посмотреть на сайте http://www.robotstxt.org/. Также существуют специальные генераторы такого вида файлов. При внесении изменений в robots.txt нужно быть очень осторожным, если вы не имеете опыт в продвижении сайтов. Любая малейшая опечатка и неточность в файле могут привезти к плачевным последствиям.