Как скрыть сайт от поисковых роботов

20.01.2014 SEO-продвижение

В большинстве случаев продвижение ресурсов не требует их сокрытия от поисковых роботов, но иногда вебмастеру все же приходится озаботиться этим. Причин может быть несколько:

  • проблемы с навигацией, в том числе, дубли страниц;
  • уникальные посадочные страницы, созданные специально для конкретной группы посетителей, возможно, страницы с акциями;
  • ссылки на страницы "желаний", где дублируются теги выбранных продуктов;
  • страницы-купоны, остающиеся в выдаче поисковиков после завершения акции.

Обработка контента поисковыми роботами в вышеописанных ситуациях принесет вред. Уберегите ресурс от ненужных санкций и проблем с ранжированием - воспользуйтесь одной из предложенных тактик!

  1. "Мягкий запрет" (используя robots.txt)

robots.jpegСамый очевидный и простой метод блокировки доступа поисковым ботам к страницам. Благодаря поддержке регулярных выражений вебмастер может запретить доступ ко всем файлам с определенным форматом названия, чтобы не допустить индексации аналогичных страниц в будущем. Это позволяет внести изменения в файл единожды и не возвращаться к нему при создании новых каталогов и страниц.

Сам файл robots.txt никак не влияет на обычных посетителей, поэтому все ссылки продолжат работать. Старые пользователи не потеряют доступ к страницам, однако найти их в Google или "Яндексе" уже не смогут.

Если вы ранее не работали с robots.txt, протестируйте финальную версию в Google Webmaster Tools - он поможет устранить наиболее популярные ошибки.

  1. Использование метатегов

NoFollow.gifТег "noindex" служит "блокирующей" точкой для поисковых ботов. Внедрять его придется для каждой страницы, которую следует скрыть от поисковых систем, что делает данный метод неэффективным для ресурсов с тысячами страниц. Рекомендуется также дополнить запрет использованием тега "nofollow", что запретит поисковикам собирать ссылки, расположенные на странице.

При наличии навыков программирования добавление метатегов можно автоматизировать, но, при большом количестве файлов, предыдущий способ остается предпочтительнее.

Метатеги "noindex" и "nofollow" обрабатываются только ботами не влияют на работу браузеров - пользователи не заметят никаких изменений.

  1. Использование возможностей сервера

301-redeirects-best-practice.jpgДля полной изоляции ресурса (в том числе и от обычных пользователей) можно использовать возможности самого сервера. Так, перенаправление (редирект, код 301) позволит сохранить за страницей уже имеющийся рейтинг в поисковых системах, одновременно предоставив пользователю корректную версию ресурса. Нужно отметить, что в дальнейшем рейтинг будет наращивать уже новая страница, которую проиндексирует поисковик после перехода. Это позволяет, в частности, легко и "безболезненно" переехать на новый домен.

Контент, размещенный на оригинальной странице, не сможет попасть в выдачу, но ссылка продолжает быть активной. Если на ней размещалась информация об акции, окончившейся ранее, то можно сохранить её рейтинг в поисковых системах, перенаправляя пользователей с устаревшей страницы на новую, с другим специальным предложением. В результате пользователи не тратят время на ознакомление с неактуальной информацией и получают возможность выгодно приобрести товар.

В случае если релевантной страницы для перенаправления не создано, можно использовать ошибку 404 - "страница не найдена". В этом случае весь накопленный ею рейтинг будет резко снижаться с каждым заходом.

  1. Обязательная авторизация

authorization.pngПоисковые боты не смогут проиндексировать ресурс, защищенный паролем. Конечно, аналогичная проблема коснется и пользователей ресурса. Использовать такой подход стоит для предоставления доступа ограниченному кругу лиц, но он непригоден для интернет-магазинов и других подобных ресурсов.

  1. Программные ограничения

При наличии в команде опытных программистов можно создать собственную систему авторизации на сайте посредством cookie-файлов и javascript. В результате вы "закроете" сайт от всех поисковых систем, использующих устаревшие боты, но также потеряете некоторую долю пользователей, работающих в сети с выключенными cookies и Javascript. С другой стороны, сегодня трудно найти поисковую компанию, которая бы не занималась постоянным улучшением поисковых ботов, что делает задачу фильтрации достаточно нетривиальной.

Отдельно о nofollow и canonical

canonical-url.jpg

Некоторые вебмастера ошибочно полагают, что эти теги "запрещают" поисковым роботам собирать информацию со страниц. Это верно лишь отчасти - информация всё равно собирается, но ссылки, "украшенные" этими тегами, не обеспечивают прироста авторитетности конечной странице. Оба тега направлены на оптимизацию работы со ссылками, но не для блокировки индексации. Если вам нужно заблокировать доступ поисковиков к страницам сайта - воспользуйтесь одним из вышеперечисленных методов.

 
Больше интересных статей

Оставьте номер телефона, чтобы наш менеджер связался с вами в удобное для вас время

Ваше имя*
Ваш номер телефона*
Тема для обсуждения
Выберите удобное время для звонка
9:00 9:15 9:30 9:45 10:00 10:15 10:30 10:45 11:00 11:15 11:30 11:45 12:00 12:15 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45 15:00 15:15 15:30 15:45 16:00 16:15 16:30 16:45 17:00 17:15 17:30 17:45
Виды услуг
ОбзорМаксимальный размер файла - 10 мб