С момента создания моего сайта прошло определённое количество времени перед тем, как мой сайт заметили поисковые системы, начав его активно индексировать.

Сегодня мне бы хотелось вам рассказать о поведении различных поисковых систем на моём сайте. Изучать их повадки, признаюсь, довольно интересно, особенно когда много о них знаешь или читаешь.

Получается своего рода практика, которая постоянно сопоставляется теории, что позволяет делать новые интересные выводы о том, как же проходит сам процесс индексирования и ранжирования собственных документов в разных поисковых системах.

Я думаю, логично рассказывать появление поисковых систем в хронологическом порядке.

Первым мой сайт посетил Google, проиндексировав все страницы сайта. Это меня, собственно, не очень-то и удивило, т. к. я к тому времени уже знал о быстрой индексации новых сайтов этой поисковой системой.

Помимо подачи заявки на добавление сайта в интерфейсе веб-мастеров Google, одновременно на одном из моих сайтов была поставлена прямая ссылка с главной страницы для надёжности процесса индексации. Примерно через неделю-две сайт появился в индексе этой поисковой системы.

Вот что можно сказать об особенностях индексации моего сайта этой поисковой системой:

Робот посещает мой сайт реже, чем это делают наши "отечественные" поисковые роботы. Я замечал, что Googlebot приходит ко мне не чаще, чем раз в 3 дня (однако на проверку файла robots.txt приходит чаще), что, собственно, и отображается в Интерфейсе веб-мастеров Google.

Причём, каждый визит робота сопровождается кэшированием информации в хронологическом порядке. Этот хронологический порядок сохраняется при апдейтах поисковой выдачи системы.

Я провёл своего рода эксперимент: через определённые промежутки времени менял заголовок Title. Удивительным мне показалось то, что Google запомнил хронологию их изменения и выдавал с каждым апдейтом порядковые title (а также содержание самой страницы), присвоенные странице в разные промежутки времени.

Также была замечена ещё одна особенность Google: один раз я забыл по какой-то причине упомянуть запрет индексации одной из директорий сайта, что привело к её индексации. Сколько бы я не менял текст в robots.txt данная директория не исчезала из результатов поиска. Единственный действенный метод удаления ненужных проиндексированных страниц находится в центре веб-мастеров Google, чем я и воспользовался.

С индексацией в поисковой системе  "Яндекс" было гораздо сложнее. Форма добавления ресурса на сайте "Яндекса" была заполнена в тот же день, что и форма Google, однако сайт в индексе не появлялся (даже несмотря на наличие внешних ссылок на сайт).

Возможно, медленной индексации сайта способствовало и то, что домен находится в зоне .info. В Интернете ходят слухи, что эта зона индексируется реже поисковой системой. Но это, я думаю, всего лишь слухи.

Проблему решила простая и в то же время эффективная вещь: поскольку мой сайт собой представляет нечто похожее на блог, я решил добавить RSS-ленту в сервисе blogs.yandex.ru. с надежой на то, что мой сайт, наконец, проиндексирует хотя бы один из роботов Яндекса.

И это сработало: сначала ко мне пришёл робот-индексатор rss, а за ним, как по цепочке, пришёл и основной индексирующий робот Yandex/1.01.001 (compatible; Win16; I).

В следующий апдейт поисковой выдачи мой сайт уже был в индексе этой поисковой системы. Прошло примерно 3 недели с момента запуска проекта. Не знаю, сколько бы индексация длилась, если бы я им не воспользовался.

Как ведёт себя "Яндекс" на моём сайте?

Вполне неплохо, заходит ко мне каждый день в поисках новой информации, индексирует её, в последствии, она отображается в списке проиндексированных страниц на следующий день. Обновления раннее проиндексированных страниц сайта проходят реже, чем включения новых страниц на сайте. Возможно, "Яндексу" помогает информация из RSS, этот факт, конечно, я проверить не смог.

"Рамблер", третья по популярности в Рунете поисковая система, меня заметил совсем недавно. Хотя форма добавления для индексации сайта в поисковой системе была мной заполнена давно.

Мне была не понятна задержка этой поисковой системы, поэтому я решил действовать дальше, вдумчиво вчитываясь в информацию, которая была предоставлена владельцам сайтов на сайте "Рамблера".

В первую очередь, по рекомендации самих разработчиков на сайте, мой проект был добавлен в Рамблер-Top 100. А также было написано письмо в службу поддержки Рамблера о том, что мой домен .info является русскоязычным.

Не знаю, что повлияло именно на индексацию сайта в этой поисковой системе: рейтинг, письмо или же внешние ссылки – в любом случае, сайт мой появился в индексе "Рамблера" после этих мер довольно быстро. Я даже не ожидал.

После включения моего сайта в индекс, робот "Рамблера" стал появляться на проекте каждый день по несколько раз. Каждое обновление страницы или добавление новой незамедлительно отражались в индексе на следующий день после добавления информации на сайт (Проиндексированные страницы находились очень хорошо по тегу title).

Я конечно и раньше слышал о возросшей "реактивности" "Рамблера", но представить это себе не мог. У меня есть мысли, что поисковая система вычленяет ссылки из RSS, направляя робота на индексацию новых страниц. Как-то раз разработчики упоминали такую возможность поисковой системы. Такую скорость индексирования пока не имеет ни один поисковик на моём сайте.

Теперь хочется вкратце рассказать о других поисковых системах, которые индексировали мой сайт.

Yahoo довольно быстро меня нашла. Форму добавления ресурса на их сайте я не заполнял. Вполне возможно, что поисковая система нашла меня по ссылкам. После публикации ресурса в Интернете мой сайт был проиндексирован ею через 3 недели.

Однако индексация сайта прошла неверно: то ли мой сайт ей показался странным, то ли она перешла с какой-то ссылки. В индексе поисковой системы показывались 3 довольно странные ссылки на мой ресурс. В таком состоянии это существовало довольно долго.

Пришлось принимать меры: в файле robots.txt было прописано поле Sitemap, которое указывало на мой файл Sitemap, откуда поисковые системы могут узнать о структуре индексируемых сайтов. Как оказалось, это сработало. Все страницы были корректно проиндексированы.

Поисковая система на моём сайте появляется довольно редко. Раз в 2 недели. Новые страницы исправно добавляются в индекс, но с неё идёт пока что очень мало трафика.

MSN меня тоже нашёл сам. По внешним ссылкам. Индексирует мой сайт редко, но в отличие от Yahoo, корректно это сделал с первого раза. Трафика с него пока что не наблюдается.

С поисковыми системами WebAlta и Gogo.ru пока что туго. Их поисковые роботы пока не появились на моём сайте. Возможно, ситуацию улучшит регистрация в каталоге Open.WebAlta и Каталог.Mail.ru. Но пока что будем за ними наблюдать.

А как у вас происходят дела с индексацией вашего сайта?