SEO

Как проверить индексацию сайта в Google и Яндекс

Если страницы вашего сайта не попали в индекс, то и найти их через поисковик пользователь не сможет. К тому же со временем страницы могут выпадать из индекса, а резкие изменения процента проиндексированных страниц могут свидетельствовать о серьезных проблемах. Так что следить за индексацией сайта очень важно.
10 февраля 2021
0
12 мин
logo

Хочешь зарабатывать больше? Пройди курс Комплексный интернет-маркетинг от команды tripmydream и освой профессию за 3 месяца!

Поисковый робот, как правило, работает поэтапно: сначала он получает и сканирует сайт, потом индексирует и добавляет данные сайта в свою индексную базу, а затем уже обеспечивает знакомый каждому пользователю процесс – принимает поисковый запрос и генерирует поисковую выдачу с ответами на него.

Индексирование – это процесс добавления сведений о сайте в базу данных (индекс) поисковых систем.

Дальше мы разберем, как можно быстро проверить добавились ли страницы сайта в индекс.

    Содержание

Проверка индексации через панели вебмастеров

Разберем на примерах панелей Google и Яндекс.

Google Search Console

Отчет «Покрытие»

На вкладке «Обзор» можно посмотреть график «Покрытие», на котором сразу видно соотношение кол-ва страниц, которые успешно попали в индекс (отмечены зеленым цветом) и тех, на которых во время индексации были найдены ошибки.

Если открыть этот отчет, то можно увидеть более подробные данные об ошибках, предупреждениях, исключенных страницах.

Проверка отдельной страницы

Если вас интересует не весь сайт сразу, а только конкретная страница, то можно проверить данные и по ней.

Для этого вверху панели вебмастеров существует строка поиска «Проверка всех URL на ресурсе». Вставьте нужный URL в это поле, и в итоге вам отобразиться вся доступная информация о странице.

Яндекс.Вебмастер

Отчет «Страницы в Поиске»

На стартовой странице «Сводка» доступен быстрый просмотр отчета «Страницы в Поиске», где доступна статистика добавленных и удаленных страниц за последнее время.

В развернутом отчете можно увидеть график изменения статуса страниц в нескольких представлениях, причины исключения страниц из индекса, дату последнего посещения и заголовки этих страниц. Можно настроить рассылку уведомлений на почту, выкачивать данные в виде таблицы.

Проверка статуса URL

Также в разделе «Индексирование» есть инструмент проверки статуса отдельной страницы.

Через операторы поисковых запросов

В поисковых системах еще с давних времен осталась такая удобная фишка, как поисковые операторы, которые позволяют уточнять запрос. Большинство подходит и для Гугла и для Яндекса, но бывают и различия.

site

Официальную справку от Google можно посмотреть здесь.

С помощью оператора «site:» + URL можно узнать примерное количество страниц в поиске, которые начинаются с указанного URL. Так можно проверить весь домен, раздел сайта или конкретную страницу.

Примеры поисковых запросов:

site:https://tripmydream.academy
site:tripmydream.academy
site:https://tripmydream.academy/blog
site:https://tripmydream.academy/internet-marketing.htm

inurl / url

inurl для Google, а url его аналог в Яндексе. С помощью этого оператора можно найти точное вхождение текста запроса в текст url. В данном случае мы в запросе указываем URL и поисковик выдаст все известные ему адреса страниц, в которых есть совпадение с запрашиваемым URL.

Этот оператор поможет в том случает, если страница или сайт попали под санкции поисковых систем и страницы нет в результатах при поиске через site.

inurl:https://tripmydream.academy

Проверка с помощью расширений для браузеров и букмарклетов

Процесс проверки можно автоматизировать. Специально для таких задач существуют плагины для браузера, которые в одном интерфейсе собирают полезные данные о странице и сайте в целом, в том числе и данные об индексации.

Один из самых известных – RDS Bar. Он есть практически у каждого сеошника. Нужно установить плагин в браузер (есть версии для Chrome, Opera, Firefox), затем на интересующей вас странице активировать RDS Bar и дождаться загрузки данных. Если кликнуть на текст статуса индексации, то откроется окно поисковика с уже сформированным запросом через оператор site.

Также можно использовать bookmarklet. С его помощью будет автоматически сформирована ссылка с поисковым запросом через оператор site или url.

Букмарклет — это небольшая JavaScript-программа, оформленная как javascript: URL, который нужно сохранить как браузерную закладку.
Отличный список букмарклетов собран на этом сайте. Вам просто нужно зажать кнопку интересного вам букмарклета и перетащить ее на панель закладок браузера. Потом, находясь на нужной вам странице сайта, нажмите закладку и она перекинет вас в браузер с уже сформированным запросом.

Сервисы и программы

Тут выбор еще разнообразнее и основное преимущество в том, что можно сделать массовую проверку url, которые вас интересуют. Дальше уже выбор за тем, какой сервис вам больше нравиться, сколько url за раз может проверить, платный он или бесплатный.

Бесплатные онлайн-сервисы:

  1. https://xseo.in/indexed - проверка количества проиндексированных страниц, если страниц относительно немного (до 100), то можно скопировать этот список URL.
  2. https://serphunt.ru/indexing/ — можно массово проверить индексацию до 50 URL за раз.
  3. https://raskruty.ru/tools/index/ — тут можно проверить или сразу весь домен, или список до 10 URL.

Платные

На платных тарифах сервиса seranking.com можно массово проверять индексацию списка URL.

Программы для ПК

Если вы планируете заниматься SEO самостоятельно, всерьез и надолго, то есть большая вероятность, что вы купите Netpeak Spider и Netpeak Checker. Так вот с помощью Netpeak Spider можно просканировать и скачать список всех страниц сайта, потом передать их в Netpeak Checker, в котором проверить индексацию. Тут ограничений на кол-во URL уже не будет, понадобится только время на сканирование страниц.

Почему сайт может не индексироваться

  • Совсем свежий сайт.
    Если вы его закончили делать только пару дней назад. Поисковики могли к нему еще просто не дойти, а если страниц много, то индексирование может растягиваться на месяцы.
    Что делать: подождать.
  • Забыли опубликовать :)
    Смех смехом, но и такое бывает. Вы самостоятельно сделали сайт на конструкторе, закончили из последних сил позавчера в 4 часа утра, и заснули с всепоглощающим чувством выполненного дела. Только в полусонном состоянии забыли его выгрузить и открыть для индексации.
    Что делать: опубликовать :)
  • Ошибка с robots.txt
    Опечатка в этом файле может запретить индексацию как отдельной страницы, так и раздела сайта или же всего домена сразу. К тому же многие SEO-специалисты в процессе разработки нового сайта полностью закрывают его от индексации. Мало ли что произошло, но возможно к индексации его так и не открыли после завершения работ.
    Что делать: проверить правильность оформления файла robots.txt, исправить при необходимости.
  • Ошибка на странице в мета-теге robots.
    Можно неосознанно наклацать что-то в настройках административной панели сайта, или в настройках хостинга. Тогда в коде страницы будет прописано "noindex": <meta name="robots" content="noindex" />.
    Что делать: проверить метатег robots на страницах, которые не индексируются.
  • Ошибка с X-Robot-Tag.
    Действие практически такое же, как и у метатега robot, но указывается он не на странице, а в файле конфигурации сервера. Могли забыть поправить.
    Что делать: проверить файл в консоли разработчика, исправить, если нужно.
  • Ошибки на сайте
    Пользуйтесь панелями вебмастеров, там в отчетах об индексировании есть большое количество информации, в том числе об ошибках и причинах, по которым страницы не индексируются. Регулярно отслеживая эту информацию вы будете в курсе состояния сайта и будете знать, когда стоит предпринимать активные действия по исправлению ситуации. Из-за дублей страниц, неуникального и некачественного контента, проблем с доступностью и скоростью загрузки страницы могут не только не индексироваться, но и замедлять переобход сайта поисковыми ботами.
    Что делать: проверять отчеты «Покрытие» в Google и «Страницы в Поиске» в Яндексе, исправлять по мере возникновения проблем.
  • У страницы нет связей с другими страницами сайта
    Если у вас нет карты сайта или она не актуальная, на страницу не ведут ссылки с других страниц сайта, то поисковик даже не сможет узнать о существовании этой страницы.
    Чем актуальнее у вас sitemap и лучше сделана перелинковка на сайте, тем вероятнее, что индексация всего сайта пройдет быстрее.
    Что делать: настроить автоматическую генерацию sitemap и грамотно построить перелинковку.
Что такое карта сайта и как сделать sitemap.xml
Читайте также
Что такое карта сайта и как сделать sitemap.xml
18 декабря 2020
0
16

Ускорение индексации сайта

Через панели вебмастеров можно запросить индексацию отдельных страниц, но делать это регулярно для большого количества страниц весьма неудобно.

Поисковый робот за раз индексирует только ограниченное количество страниц, этот лимит называют краулинговым бюджетом. Он рассчитывается для каждого сайта индивидуально. Если сайт маленький, то можно о нем не беспокоиться, а вот если большой, то стоит уделять ему внимание.

Если на сайте много ошибок, низкокачественных страниц, дублей и тому подобное, то они мало того, что замедляют индексацию, так еще и тратят краулинговый бюджет. В итоге поисковик может долго обходить некачественные страницы и разбираться с ошибками, вместо того, чтобы уделять внимание важным страницам, которые могут принести вам доход.

Так что для успеха нужно:

  1. Максимально избавляться от ошибок, дублей и некачественных страниц.
    Они как «Сусанин» для поисковых ботов.
  2. Настроить перелинковку.
    К каждой странице должна вести своя «дорога» (ссылка) с понятными «указателями» (анкорами и околоссылочным текстом). Чем больше ссылок, тем важнее страница.
    Для ускорения индексации новых страниц ссылки на них можно размещать на главной странице сайта, ее поисковые боты переобходят чаще всего.
    Репосты статей в социальных сетях также повысят вероятность быстрой индексации.
  3. Настроить автоматическое обновление карты сайта.
    Каждая новая страница должна попадать в sitemap, каждая удаленная страница – удаляться из карты.
  4. Улучшать скорость загрузки страниц.
    Чем быстрее, тем лучше, но ориентируйтесь на средний показатель скорости по конкурентам.
  5. Настроить robots.txt / мета-теги robots.
    Так, чтобы все лишнее закрыть от индексации, а все нужное было открыто для нее.
  6. Регулярно обновляйте сайт.
    «Живой» сайт привлекает постоянное внимание поисковиков, сайт регулярно переиндексируется, новые страницы быстрее попадают в поисковую выдачу, а по старым подтягивается актуальная информация.
    Добавляйте новые страницы, дополняйте и актуализируйте старые, дополняйте перелинковку.
HTTP коды ответа сервера: что это и как с ними работать?
Читайте также
HTTP коды ответа сервера: что это и как с ними работать?
04 января 2021
0
10
Понравилась статья?
😍
1
😂
😄
1
😐
🤔
😩
РАСCКАЗАТЬ ДРУЗЬЯМ:
Комментариев нет