Entries RSS
image

Интересные ссылки:

Hostenko — лучший WordPress-хостинг

TOP-5 комментаторов:

Июн 25

Проверка индексации сайта – инструменты, зачем это нужно

Как проверить индексацию сайтаЗдравствуйте, уважаемые друзья. Тема сегодняшнего поста – проверка индексации сайта, как ее ускорить. Данная проблема для меня очень актуальна, ибо уже неделю поисковики не хотят индексировать мой новый сайт под рекламную сеть Яндекса. Обо всем по порядку.

Индексация сайта в поисковых системах – что это?

Индексация сайта – это появление страниц сайта в индексе (базе данных) поисковой системы. Чем быстрее страницы появляются в поиске, тем лучше.

При создании сайта под РСЯ столкнулся с проблемой: индексация сайта в поисковых системах отсутствует. Изначально я умышленно закрыл его от посещений поисковыми роботами, чтобы провести все настройки, seo оптимизацию, обновить дизайн, наполнить контентом.

После того, как все вышеуказанные работы были произведены, в субботу 22 июня сайт был открыт для индексации, составлен robots.txt и предприняты попытки вогнать его в индекс. Пока безуспешно. На календаре сегодня 25 июня.

Вопрос к опытным вебмастерам: какое время нужно для индексации нового сайта?

Вот что пишет мне Яндекс в панеле Вебмастера:

Проверка индексации сайта

Как ускорить индексацию – теория и практика

Давайте разберемся с основными способами ускорения индексации сайта, так сказать в теории и на практике.

Составил карты сайта

Карту сайта формата xml и карту сайта для людей (html) я составил в первую очередь. Карту xml добавил в панель Вебмастера.

Составил правильный robots.txt

Второе, что я сделал – составил файл robots.txt.

Вот он, по-моему, правильный:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: dimokfm.ru

Sitemap: http://dimokfm.ru/sitemap.xml.gz

Sitemap: http://dimokfm.ru/sitemap.xml

Естественно в последних трех строках адрес сайта был заменен на новый.

При проверке в Яндекс.Вебмастере любой страницы нового сайта результат индексации – разрешен.


Проверяем файл robots.txt

Минутку внимания :)


Наверняка, Вам интересен дополнительный заработок в Интернете.
Предлагаю инструменты, которые несколько лет использую сам:
Марафон по созданию сайтов под контекст - доход сегодня = $ 351.
Заказать вкусные тексты для своих проектов МОЖНО ТУТ

Постоянное обновление контента

Как и рекомендовал руководитель нашего марафона, контент обновляю ежедневно. Изначально публиковал записи каждый день, потом (на выходных) запланировал публикацию новых статей на неделю.

Статьи тематические, уникальные, объемные, в общем все как Яндекс любит…

Руками осуществляю перелинковку, организован вывод похожих записей в конце поста.

Анонсы в социальных сетях

Посты с блога я анонсирую во многие социальные сети: вконтакте, фейсбук, твиттер, сервисы социальных закладок. Подробно обо всем этом (как автоматизировать весь процесс) писал в статье про получение блогом тиц-10.

Анонсы с сайта под РСЯ идут только в твиттер. В другие социальные сети не публикую. Создал для этих целей специальный аккаунт, зафоловил 20 тематических профилей. К сожалению, мой аккаунт пока мало кто добавил к прочтению.

Но надеюсь, что боты поисковых систем твиттер мониторят активно.

Прогон

Дмитрий в своих видео кастах рекомендовал сделать прогон. Планирую сделать его, когда сайт будет проиндексирован. Надеюсь, что ждать уже не долго.

Как проверить индексацию – способы

Проверка индексации сайта – вопрос очень важный. Есть несколько несложных способов проверки.

Первое, что нам нужно сделать, — установить плагин SE Bots Log (скачать его можете здесь). Он показывает, сколько раз поисковые роботы посещают сайт за день.

Быстрая индексация сайта

Как видим, роботы посещают мой новый сайт. Это радует.

Но это, как показывает практика, еще не гарантирует того, что сайт есть в индексе.

Чтобы «не палить url» следующие способы проверки индексации сайта я покажу на примере блога dimokfm.ru.

Поиск по сайту

Самый простой способ – зайти в ПС и в расширенном поиске указать то, что искать необходимо только внутри нужного сайта.

Пример: проверим индексацию страницы о рекламной строчке ноликс в Яндекс.

Проверка индексации сайта

Если вам лень настраивать расширенный поиск, можете применить следующую команду:

Ключевая фраза site:www.dimokfm.ru

Данной командой вы можете посмотреть, какие страницы релевантны этой фразе на моем блоге, есть ли они вообще в индексе ПС.

Проверяем индексацию сайта

Как видим, страница в индексе имеется.

Инструменты для Вебмастера

Следующим способом проверки индексации является использование средств Вебмастера. Давайте зайдем в Яндекс.Вебмастер и проверим все ту же страницу.

Индексация сайта в поисковых системах

Как видим, и этот инструмент говорит нам о том, что страница находится в индексе.

Примечание: аналогично можно проверить индексацию страницы в гугле.

Специальные сервисы

Есть масса бесплатных и платных сервисов для проверки индексации. Можете использовать этот – достаточно удобный и функциональный.

Кроме этого есть мультисервисы для автоматического SEO-продвижения, например SeoPult, где есть функция проверки индексации страниц. Те, кто зарегистрирован, может в один клик проверить данный параметр. Подскажу, что сделать это можно на втором шаге создания проекта (шаг 2. Страницы), нажав на значок с лупой “Анализ”. Все четко видно: наличие в индексе текущей  страницы и дата индексации.

Как проверить индексацию в Seopult

Особенности проверки индексации в Seopult

Проблема: сайта нет в индексе

Итак, вернемся к теме поста. Помимо вопроса как проверить индексацию сайта, меня еще более интересует вопрос: почему собственно сайта нет в индексе.

В панеле Вебмастера написано, что индексация должна осуществиться в течение двух недель. Но с учетом того, что роботы есть на сайте, может ли она быть произведена быстрее? Или это только одному Яндексу известно?

Жду ваших мнений, советов и комментариев.

Сталкивались ли вы с проблемами индексации, какие способы применяли, чтобы «вогнать» сайт в индекс. Как долго боролись с поисковыми системами?

Не забудьте подписаться на обновления блога, чтобы узнать, как будет развиваться эта ситуация. К тому же очень скоро я анонсирую на страницах блога нечто очень интересное, полезное для каждого из вас.

 

Dimokfm.ru

 

Синдикация

Понравилась статья? Подпишитесь на RSS .

16 комментариев к записи “Проверка индексации сайта – инструменты, зачем это нужно”

16 коммент.

  1. С 20 числа не было апдейтов. Нужно просто подождать. Вообще, если сайт не индексируется менее 2-3 недель — начинать паниковать не надо. Если же нет индексации больше 3 недель — нужно написать Платонам, они подскажут куда копать.

  2. Согласен,после апа должны все страницы попасть в индекс.

  3. Кстати, Дмитрий, а какой прогон имеется в виду? Трастовым сайтам, статьям? Не повредит ли прогон месячному сайту?

  4. Индексация была открыта 22 числа, сегодняшний ап захватил сохраненку до 21 числа. Сайт должен попасть в индекс на следующем апе.

    Может быть 2 ситуации:
    1. На следующем апе в индекс влетит только главная. Через один ап — все остальные страницы.
    2. На следующем апе влетит большая часть страниц. Через один ап — все остальное.

    Может быть и то и то. Но если роботы бегают — значит страницы уже проиндексированы и висят в базе Яшки. Просто эта база пока не обновилась.

  5. Павел:

    У меня тоже так было, но потом яндекс съел все страницы.
    На какую тему сделали сайт под РСЯ? Почему именно на эту?

    • Ну пока что ждем, когда съест.
      Тематика — ремонт. Почему именно на эту? Несколько причин — высокая стоимость клика, хорошая расширяемость, нет сезонности, более-менее интересно развивать проект :)
      Более подробно о том, как выбирал тематику писал здесь: http://dimokfm.ru/tematika-sayta-kak-vyibrat/

  6. Я по неопытности купил домен б/у. Одрадовался когда узнал что он старый, с 2002 года. Радость прошла после того как Яндекс отказывался его индексировать. Вообще. И так на протяжении 5 (!) месяцев. Я его не развивав, так статей 60 болталось.
    Потом решил что-то с ним делать, написал в службу поддержки. Ответили что с их стороны проблем нет (я так понял уже нет), и в течении двух недель проиндексируєтся. Действительно, но ждать пришлось все две недели.
    P.S. Я файл robots.txt составлял подобно вам, но потом увидел что у Деваки совсем простой файл:
    User-agent: *
    Disallow: /robots/
    Disallow: /banners/

    User-agent: Yandex
    Disallow: /robots/
    Disallow: /banners/
    Host: devaka.ru

    Интересно…

    • Ага, знакома такая проблема со старыми доменами. Многие вебмастера о ней пишут и рекомендуют брать новый домен без истории.
      Яндекс тоже уже написал, что видит сайт, проблем с доступностью нет, в течение 1-2 апов добавим в индекс :)

  7. Насколько я знаю robots это лишь руководства роботам, а не жосткие правила, по крайней мере так Девака писал. Я ничего не путаю?

  8. Спасибо большое, очень интересная статья, как раз для моего молодого сайта!

Прокомментировать

(Правила комментирования)