Как помочь поисковым роботам проиндексировать сайт

30.07.2011 SEO-продвижение

В офлайновом мире любой магазин старается выставить на витрину лучшие товары, чтобы привлечь покупателей. Похожие принципы работают и при взаимоотношениях интернет-сайта с поисковым роботом.

Индексируемость сайта обычно не стоит в ряду основных задач продвижения сайта – создание контента и ссылочной массы, в то время как с точки зрения SEO это одна из важнейших задач. Почему? Да потому что страницы не могут получить высоких позиций при прочих равных, если их не может найти поисковый робот и проиндексировать.

Итак, чтобы избежать проблемы с индексацией страниц, нужно делать следующее:

1. Избегать flash

Flash по своей сути не такое уж и зло. Он может повысить лояльность пользователей к сайту, если используется грамотно. Однако сайт не должен быть полностью построен на Flash, равно как и навигация по сайту не должна быть построена только на Flash. В последние годы поисковые системы не раз заявляли, что учатся лучше индексировать Flash, но по-прежнему лучше не рисковать и делать нормальное индексируемое меню и контент.

2. Избегать AJAX

Те же принципы, которые были упомянуты в связи с Flash, касаются и AJAX. Он может улучшить юзабильность сайта, но AJAX, так уж исторически сложилось, невидим для поисковых роботов. Google предлагает руководство, которое должно помочь индексации контента, основанного на AJAX, но это очень сложно с точки зрения SEO рекомендация остается прежней: не вставляйте важный контент в AJAX.

3. Избегать сложных меню на javascript

Javascript – это еще одна технология, индексацию которой поисковые системы пытаются усовершенствовать, но до сих пор лучше в основной навигации избегать Javascript. В 2007 году Google объяснял:

Пока мы учимся лучше понимать JavaScript, для вам, чтобы создать индексируемый Google и другими поисковыми системами сайт, лучше предоставить HTML-ссылки на контент.

Это по-прежнему актуально: убедитесь, что навигация по сайту представлена простыми для индексации HTML-ссылками.

4. Избегайте длинных динамических URLов

«Динамический URL» проще всего определить как урл, в котором присутствует знак «?», как например здесь:

http://www.yourdomain.com/page.src?ID=3456

Это пример очень простого динамического урла, и на сегодняшний день у поисковых систем не возникает трудностей с его индексацией. Но когда динамические урлы становятся длиннее и сложнее, поисковым системам уже сложнее их индексировать (по разным причинам, одна их которых заключается в том, что, по результатам исследований, пользователи предпочитают короткие урлы). Поэтому, если URLы на сайте выглядят вроде этого, возможны проблемы с индексацией:

http://www.yourdomain.com/page.src?ID=3456&XID=453456565&CID=336794445&VID=34521456&SESSION=9875e907332atf56

На странице поддержки Google для вебмастеров сказано: «Учитывайте, что не каждый поисковый робот индексирует динамические страницыц так же хорошо, как статичные страницы...»

5. Избегайте ID сессий в URLах

Это производное от предыдущего пункта, но стоит сказать об этом отдельно. Поисковым системам не нравится индексировать урлы, у которых есть ID сессии. Почему? Потому, что этот ID меняет урл при каждом посещении старницы роботом, а сам контент страницы остается прежним. Если бы они индексировали урлы с ID сессии, в выдаче появились бы тонны дублированного контента.

Посмотрите на приведенный ниже последний фрагмент урла:

SESSION=9875e907332atf56

Это запретительный знак для поисковых пауков. Проверьте, чтобы урлы на вашем сайте не имели ID сессии.

6. Избегайте перегруженного кода

Под перегруженным кодом понимаются ситуации, когда код на странице гораздо более весомый, чем собственно ее контент. В большинстве случаев об этом можно не беспокоиться, т.к. поисковые системы уже неплохо справляются с тяжелым кодом на страницах с небольшим количеством котнета. Однако лучше с этим не перебарщивать.

7. Избегайте блокирования страниц в файле robots.txt

Во-первых, наличие файла robots.txt совершенно не обязательно на сайте. Миллионы сайтов прекрасно существуют и без него. Но если вы создали такой файл (например, чтобы закрыть от индексирования страницы, предназначенные только для администратора или только для зарегистрированных пользователей), нужно очень внимаетльно отнестись к этому файлу. В него не должны попасть страницы, которые вы хотели бы увидеть проиндексированными. Ни при каких обстоятельствах файл robots.txt не должен выглядеть так:

User-agent: *
Disallow: /

Данный код блокирует поисковым роботам доступ ко всему сайту. Ознакомиться с правилами составления файла robots.txt можно на сайте robotstxt.org.

8. Избегайте некорректных XML-карт сайта

XML-карта сайта позволяет составить список URLов с сайта для того, чтобы поисковому роботу облегчить обход и индексацию сайта. Карта сайта не может заменить корректно составленную навигацию на самом сайте и не панацея от всех проблем с индексацией.

Правильно составленная ХML-карта сайта помогает поисковым системам узнать о том контенте на сайте, который был упущен из их внимания. В то же время, неправильно составленная карта сайта может, наоборот, навредить индексации сайта.

Использование карты сайта по-настоящему полезно только сайтам с огромным количеством урлов (десятки миллионов страниц). Узнать о правилах составления карты сайта можно на сайте sitemaps.org.

Если вы позаботитесь о перечисленных выше моментах, можно спать спокойно: вы сделали все зависящее от вас, чтобы упростить индексацию сайта поисковым системам.

По материалам Openforum.com

 
Больше интересных статей

Оставьте номер телефона, чтобы наш менеджер связался с вами в удобное для вас время

Ваше имя*
Ваш номер телефона*
Тема для обсуждения
Выберите удобное время для звонка
9:00 9:15 9:30 9:45 10:00 10:15 10:30 10:45 11:00 11:15 11:30 11:45 12:00 12:15 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:45 15:00 15:15 15:30 15:45 16:00 16:15 16:30 16:45 17:00 17:15 17:30 17:45
Виды услуг
ОбзорМаксимальный размер файла - 10 мб