Поисковая оптимизация сайта: вопросы и ответы

Выжимка информации из серии вебинаров Яндекса “Поисковая оптимизация сайта: вопросы и ответы”

Данный пост – выжимка интересной и полезной информации о проводимой Яндексом серии вебинаров “Поисковая оптимизация сайта: вопросы и ответы”. С программой курса можно ознакомиться, перейдя по ссылке.

Часть 1: Азы диагностики сайта

Первый вебинар “Азы диагностики сайта” прошел 18 мая. Вводная часть которого была посвящена обновленному Яндекс Вебмастер и тому, как с его помощью можно провести аудит сайта и мониторинг проблем.

  1. Какие виды проблем бывают с сайтом: фатальные – сайт закрыт от индексации в robots.txt, главная страница сайта возвращает ошибку, обнаружены нарушения безопасности; критичные – большое количество неработающих внутренних ссылок, долгий ответ сервера; и возможные – большое количество страниц-дублей, отсутствие title и description. Более подробно обещали рассмотреть на следующих вебинарах.
  2. Что должен сделать поиск, чтобы сайт попал в поисковую выдачу: узнать о появлении сайта; получить физический доступ к контенту; проверить, разрешено ли данный контент добавить в поиск; добавить страницу в поиск; упорядочить по релевантности.
  3. Фатальные проблемы, которые возникают при доступе к сайту: не удалось подключиться к серверу из-за ошибки DNS, главная страница сайта возвращает ошибку, долгий ответ сервера. Все эти проблемы можно проверить с помощью Яндекс Вебмастер. Если на момент проверки с сервером всё хорошо – просто подождать. Если проблемы сохраняются долгое время – обратиться к техподдержку вашего хостинга или регистратору домена.
  4. Как понять, что сайт запрещен к индексированию: проверить в Вебмастере с помощью robots.txt.
  5. Существующие “преступления” на сайте и наказания за их применение:
    Преступления на сайте и наказания

    Преступления на сайте и наказания от Яндекс
  6. Рекомендуемые инструменты Яндекса: Вебмастер, Метрика, WordStat)

Часть 2: Как найти и исправить возможные проблемы с сайтом

Существуют проблемы с сайтами, наличие которых может сказываться не сразу, но всё-таки может послужить первым шагом к ухудшению индексирования и ранжирования в поисковых системах. Именно поэтому вторая часть серии вебинаров Яндекс посвящена вопросам поиска таких проблем и способам их устранения.

Для того, чтобы нужные вам страницы сайта быстро и успешно попадали в поисковую выдачу, над индексированием ресурса нужно работать в комплексе, руководствуясь тремя задачами.

Основные задачи при работе над индексацией сайта

Основные задачи при работе по индексации сайта

Если не ограничивать индексирование служебных страниц, то скорее всего у поискового робота останется меньше времени на добавление нужных страниц сайта в индекс; если робот будет получать контент не в полном объеме – он не будет включать страницы в поисковую выдачу быстро. А это значит, что эти группы задач непосредственно связаны между собой.

Рассмотрим каждую из них более подробно.

Индексирование нужного контента

Методы решения возможных проблем:

  • проверяем robots.txt на предмет наличия ошибок и необходимых правил;
  • проверяем исходный код, установленные теги и текст;
  • следим за дублями и работаем с ними.

Все поисковые роботы при входе на сайт в первую очередь пытаются обнаружить документ robots.txt. Не пожалейте времени на тщательную проверку файла и, обнаружив ошибки, сразу же их исправьте, чтобы избежать фатальных последствий в работе вашего ресурса.

Распространенные ошибки в файле robots.txt

Редирект с главной страницы на внутреннюю страницу с параметром site.ru -> site.ru/?page=main

Закрытие промежуточных страниц для робота site.ru/category/page.html

Отсутствие или некорректные указания на главное зеркало

Используйте директиву Host:

  • одна на весь robots.txt;
  • корректное указание (“www” и “без www”, http и https);
  • punycode для кириллицы.

Проанализировать robots.txt можно с помощью сервиса Яндекс.Вебмастер.

Яндекс.Вебмастер: анализ файла robots.txt

Анализ файла robots.txt в Яндекс.Вебмастер

Что в результате достает робот из исходного кода в HTML-документе:

  • мета-теги;
  • текстовое содержимое;
  • ссылки на другие страницы.

При поиске проблем в исходном коде следует обратить внимание на:

  • наличие и корректность title и description;
  • соответствие открывающих и закрывающих noindex;
  • корректные исходящие ссылки;
  • правильность атрибута rel=“canonical”;
  • важный контент загружается с помощью скриптов или AJAX.

Как дубли (страницы одного сайта с идентичным контентом) могут навредить включению нужных страниц в поиск?

Дубли могут вызвать следующие проблемы:

  • в поиск может попасть страница с ненужным адресом;
  • дубли мешают сбору статистики;
  • дубли затрудняют обход нужных страниц.
Причины возникновения дублей Пути решения проблемы
Явные дубли – страницы со слэшом и без в конце site.ru/page и site.ru/page/ Используем 301 постоянный редирект
Дубли, которые появляются из-за таких особенностей структуры сайта, как:

  • один товар в нескольких категориях;
  • страницы пагинации.
Используем атрибут rel=“canonical” тега <link>
Служебные страницы:

  • сортировка site.ru/page?sort=price;
  • UTM-метки site.ru/page?utm_source=adv;
  • действия site.ru/page?add_basket=yes.
Используем robots.txt (Disallow и Clean-param)

Ускорение индексации сайта

Методы решения возможных проблем:

  • используем корректный Sitemap;
  • НЕ используем Crawl-delay, если нет необходимости;
  • используем «Переобход страниц».

Самым главным помощником в выполнении этой задачи является файл Sitemap – служебный файл, который содержит перечень страниц для индексирования.

В большинстве случаев эти файлы автоматически генерируются CMS или плагинами. При желании его можно создать вручную. Файл легко редактировать, размещать, сообщать о нем поисковому роботу.

Как правильно составить файл Sitemap, чтобы он работал на вас и помогал роботу индексировать ваш сайт:

  • добавляйте только то, что должно индексироваться роботом;
  • не допускайте ошибочных адресов в файле;
  • проверяйте время возврата файла роботу;
  • регулярно обновляйте файл.

Проанализировать Sitemap вам поможет инструмент «Переобход страниц» Яндекс.Вебмастер.

За частоту запросов со стороны робота отвечает Crawl-delay. Это служебная директива, с помощью которой можно задать интервал запросов со стороны индексирующего робота.

В этом случае важно помнить правило трех «НЕ»:

  1. НЕ требуется большинству сайтов;
  2. НЕ используйте без необходимости;
  3. НЕ устанавливайте большие значения.

Например, директива Crawl-delay: 0,5 говорит о том, что роботу можно отправлять 2 запроса в секунду к страницам сайта. Большинство современных сайтов обязательно выдержит такую нагрузку со стороны робота.

Не индексировать ненужное

Методы решения возможных проблем:

  • активно используем «Статистику обхода»;
  • закрываем все ненужное в robots.txt;
  • отдаем корректные HTTP-коды.

На скриншоте Яндекс.Вебмастер видно все, что посещал робот за последние дни.

Яндекс.Вебмастер: статистика обхода сайта поисковым роботом

«Статистика обхода» в Яндекс.Вебмастер

Если среди этих страниц есть какие-то служебные страницы, то их индексирование нужно запрещать в файле robots.txt. Это могут быть:

  • страницы фильтров и сортировки;
  • страницы действий (добавление в «Корзину», сравнение товаров, перенос в список «Избранное»);
  • встроенный поиск по сайту;
  • служебные каталоги и конфиденциальные данные;
  • админка;
  • идентификаторы сессий, UTM.

Какие существуют HTTP-коды ответа?

HTTP-коды статуса страницы сайта

HTTP-коды статуса страницы сайта

Преимущества использования корректных HTTP-кодов:

  • предотвращение появления битых ссылок;
  • помощь роботу с планированием обхода;
  • позволят избежать попадание «мусора» в выдачу.

Ситуации, когда важные и нужные страницы сайта становятся недоступными для поискового робота, например, отвечая кодом 503 или 404, можно отследить с помощью инструмента «Важные страницы» в Яндекс.Вебмастер. Добавьте в него те страницы, которые приносят наибольший трафик, настройте уведомления на почту и получайте информацию о том, что происходит с той или иной страницей вашего сайта.

Сейчас мы рассмотрели проблемы с сайтом не столь фатального характера. Ознакомиться с проблемами, при возникновении которых мгновенно ухудшаются позиции сайта в поисковой системе, вы можете в первой части серии вебинаров Яндекс, перейдя по ссылке.

Часть 3: Работаем над рекомендациями для сайта

Из предыдущих двух частей серии вебинаров от Яндекс, мы рассказали вам как находить и исправлять ошибки на сайте. Пришло время разобраться, что еще можно улучшить на вашем сайте, чтобы достичь более полного его представления в поиске.

Вы можете «рассказать» роботу о том, к какому региону относится сайт (связано непосредственно с его ранжированием), насколько он интересен и полезен пользователям, а также дать дополнительную информацию для сниппета (визуальная составляющая).

Информация о регионе сайта

Существует 3 способа, чтобы указать, к какому региону относится ваш сайт. Рассмотрим каждый из них более подробно.

Яндекс.Вебмастер

Яндекс Вебмастер является самым простым способом для определения региона сайту. Вам нужно зайти в раздел «Региональность», выбрать нужный регион, указать ссылку страницы с контактной информацией и сохранить настройки.

Раздел «Региональность» в Яндекс.Вебмастер

Раздел «Региональность» в Яндекс.Вебмастер

Для тех сайтов, которые представляют свой товар/услугу по всей стране и являются сильным игроком на рынке смело можно выставлять большие (широкие) регионы (например, Россия/Украина).

Яндекс.Справочник

Второй, более сложный способ – Яндекс Справочник. Через него подтверждение идет уже не с сайта, как в Яндекс Вебмастере, а посредством создания информации о самой компании (организации).

Добавление информации об организации в Яндекс.Справочник

Добавление информации об организации в Яндекс.Справочник

Подтверждение данных о регистрации региона происходит с помощью звонка вам из call-центра Яндекс.

С помощью Яндекс Справочника вы можете:

  • следить за актуальностью данных и легко вносить изменения;
  • загружать красивые фото – пользователи это любят;
  • собирать отзывы клиентов и отвечать на них;
  • следить за статистикой, чтобы узнать сколько человек интересовались вашей организацией.

Пример статистики в Яндекс Справочнике:

Сбор статистики в Яндекс.Справочнике

Сбор статистики в Яндекс.Справочнике

Также, вы можете воспользоваться новым перезапущенным кабинетом Справочника, который собирает запросы по рубрикам, наносит эти данные на карту и отмечает там конкурентов, показывая, в частности, статистику как по вашей организации, так и по лучшей компании в данной тематике. Благодаря этому вы можете делать сравнения и улучшаться.

Нанесение данных статистики на карту в Яндекс.Справочнике

Нанесение данных статистики на карту в Яндекс.Справочнике

Яндекс.Каталог

Третий способ указать сайту регион – добавить его в Яндекс Каталог. Информация вносится достаточно легко, но стоит помнить о двух особенностях:

  1. Вы можете присвоить только 7 регионов.
  2. Большая очередь модерации – добавление в Каталог может затянуться. Однако, если вы внесете определенную плату, скорость проверки значительно увеличится.

Бесплатная регистрация в Яндекс.Каталоге

Бесплатная регистрация в Яндекс.Каталоге

Но не стоит забывать о том, что заявка может быть отклонена как при платной, так и при бесплатной модерации. Поэтому нужно убедиться, что ваш сайт соответствует всем требованиям Каталога.

Представление сайта в поисковой системе

Представление вашего сайта в поиске непосредственно связано со сниппетами.

Собственно, сниппет – это описание страницы в поисковой выдаче, которое состоит из заголовка, адреса сайта и описания. К нему стоит относиться как к инструменту для увеличения трафика сайта, обращая внимание на такие показатели, как: показы, клики, CTR.

Сниппет в поисковой выдаче

Сниппет в поисковой выдаче

Заголовок и описание могут формироваться с помощью:

  • title и description;
  • текста на самой странице;
  • микроразметки;
  • описания из Каталога.

Частые проблемы, которые возникают со сниппетами:

  • отсутствие title и description;
  • повтор title и description (когда они одинаковые);
  • шаблонный title и description для всех страниц.

Для того, чтобы добавить фавиконку нужно:

  1. Разместить файл favicon.ico в корневом каталоге сайта.
  2. Дать ссылку на нее в элементе <head>.
  3. Установить размер 16×16 пикселей.
  4. Разместить фото в предпочтительном формате ICO, но возможны и другие форматы: gif, jpeg, png и bmp.

И последний элемент на который мы можем повлиять в сниппете – регистр имени сайта. Если адрес вашего сайта состоит из набора слов, а вы хотите улучшить его читаемость – пропишите второе (и последующие) слова с заглавной буквы. Это можно сделать с помощью Яндекс Вебмастера.

«Регистр имени сайта» в Яндекс.Вебмастер

«Регистр имени сайта» в Яндекс.Вебмастер

Не стоит писать все буквы с заглавной буквы, или выборочно через одну – такие названия сайтов не пройдут модерацию.

Что касается навигационных цепочек в поисковой выдаче, то Яндекс формирует их сам. Но для этого вы должны позаботиться, чтобы структура вашего сайта быть очень хорошей.

Навигационные цепочки в поисковой выдаче Яндекс

Навигационные цепочки в поисковой выдаче Яндекс

Быстрые ссылки, которые могут заинтересовать пользователя, также Яндекс формирует автоматически. На их формирование, вы к сожалению повлиять никак не можете.

Эти ссылки формируются из собранных роботом данных на сайте, исходя из четкого сигнала, что именно эти разделы интересны пользователю.

Быстрые ссылки в поиске Яндекс

Быстрые ссылки в поиске Яндекс

Если вдруг вы не согласны с данным выбор, то с помощью Яндекс Вебмастера можете выключить эту ссылку.

«Быстрые ссылки» в Яндекс.Вебмастер

«Быстрые ссылки» в Яндекс.Вебмастер

О других возможностях Яндекс Вебмастера, благодаря которым вы сможете обеспечить вашему сайту высокие позиции в поисковой выдаче, мы расскажем вам в следующих частях серии вебинаров Яндекс.


Буду признателен за каждый лайк:


Оставьте комментарий, Ваше мнение очень важно для меня!

Введенный e-mail не будет виден другим пользователям :

Back to Top