Поисковая оптимизация сайта: вопросы и ответы

Выжимка информации из серии вебинаров Яндекса “Поисковая оптимизация сайта: вопросы и ответы”

Данный пост – выжимка интересной и полезной информации о проводимой Яндексом серии вебинаров “Поисковая оптимизация сайта: вопросы и ответы”. С программой курса можно ознакомиться, перейдя по ссылке.

Часть 1: Азы диагностики сайта

Первый вебинар “Азы диагностики сайта” прошел 18 мая. Вводная часть которого была посвящена обновленному Яндекс Вебмастер и тому, как с его помощью можно провести аудит сайта и мониторинг проблем.

  1. Какие виды проблем бывают с сайтом: фатальные – сайт закрыт от индексации в robots.txt, главная страница сайта возвращает ошибку, обнаружены нарушения безопасности; критичные – большое количество неработающих внутренних ссылок, долгий ответ сервера; и возможные – большое количество страниц-дублей, отсутствие title и description. Более подробно обещали рассмотреть на следующих вебинарах.
  2. Что должен сделать поиск, чтобы сайт попал в поисковую выдачу: узнать о появлении сайта; получить физический доступ к контенту; проверить, разрешено ли данный контент добавить в поиск; добавить страницу в поиск; упорядочить по релевантности.
  3. Фатальные проблемы, которые возникают при доступе к сайту: не удалось подключиться к серверу из-за ошибки DNS, главная страница сайта возвращает ошибку, долгий ответ сервера. Все эти проблемы можно проверить с помощью Яндекс Вебмастер. Если на момент проверки с сервером всё хорошо – просто подождать. Если проблемы сохраняются долгое время – обратиться к техподдержку вашего хостинга или регистратору домена.
  4. Как понять, что сайт запрещен к индексированию: проверить в Вебмастере с помощью robots.txt.
  5. Существующие “преступления” на сайте и наказания за их применение:

    Преступления на сайте и наказания

    Преступления на сайте и наказания от Яндекс
  6. Рекомендуемые инструменты Яндекса: Вебмастер, Метрика, WordStat)

Часть 2: Как найти и исправить возможные проблемы с сайтом

Существуют проблемы с сайтами, наличие которых может сказываться не сразу, но всё-таки может послужить первым шагом к ухудшению индексирования и ранжирования в поисковых системах. Именно поэтому вторая часть серии вебинаров Яндекс посвящена вопросам поиска таких проблем и способам их устранения.

Для того, чтобы нужные вам страницы сайта быстро и успешно попадали в поисковую выдачу, над индексированием ресурса нужно работать в комплексе, руководствуясь тремя задачами.

Основные задачи при работе над индексацией сайта

Основные задачи при работе по индексации сайта

Если не ограничивать индексирование служебных страниц, то скорее всего у поискового робота останется меньше времени на добавление нужных страниц сайта в индекс; если робот будет получать контент не в полном объеме – он не будет включать страницы в поисковую выдачу быстро. А это значит, что эти группы задач непосредственно связаны между собой.

Рассмотрим каждую из них более подробно.

Индексирование нужного контента

Методы решения возможных проблем:

  • проверяем robots.txt на предмет наличия ошибок и необходимых правил;
  • проверяем исходный код, установленные теги и текст;
  • следим за дублями и работаем с ними.

Все поисковые роботы при входе на сайт в первую очередь пытаются обнаружить документ robots.txt. Не пожалейте времени на тщательную проверку файла и, обнаружив ошибки, сразу же их исправьте, чтобы избежать фатальных последствий в работе вашего ресурса.

Распространенные ошибки в файле robots.txt

Редирект с главной страницы на внутреннюю страницу с параметром site.ru -> site.ru/?page=main

Закрытие промежуточных страниц для робота site.ru/category/page.html

Отсутствие или некорректные указания на главное зеркало

Используйте директиву Host:

  • одна на весь robots.txt;
  • корректное указание (“www” и “без www”, http и https);
  • punycode для кириллицы.

Проанализировать robots.txt можно с помощью сервиса Яндекс.Вебмастер.

Яндекс.Вебмастер: анализ файла robots.txt

Анализ файла robots.txt в Яндекс.Вебмастер

Что в результате достает робот из исходного кода в HTML-документе:

  • мета-теги;
  • текстовое содержимое;
  • ссылки на другие страницы.

При поиске проблем в исходном коде следует обратить внимание на:

  • наличие и корректность title и description;
  • соответствие открывающих и закрывающих noindex;
  • корректные исходящие ссылки;
  • правильность атрибута rel=“canonical”;
  • важный контент загружается с помощью скриптов или AJAX.

Как дубли (страницы одного сайта с идентичным контентом) могут навредить включению нужных страниц в поиск?

Дубли могут вызвать следующие проблемы:

  • в поиск может попасть страница с ненужным адресом;
  • дубли мешают сбору статистики;
  • дубли затрудняют обход нужных страниц.
Причины возникновения дублейПути решения проблемы
Явные дубли – страницы со слэшом и без в конце site.ru/page и site.ru/page/Используем 301 постоянный редирект
Дубли, которые появляются из-за таких особенностей структуры сайта, как:

  • один товар в нескольких категориях;
  • страницы пагинации.
Используем атрибут rel=“canonical” тега <link>
Служебные страницы:

  • сортировка site.ru/page?sort=price;
  • UTM-метки site.ru/page?utm_source=adv;
  • действия site.ru/page?add_basket=yes.
Используем robots.txt (Disallow и Clean-param)

Ускорение индексации сайта

Методы решения возможных проблем:

  • используем корректный Sitemap;
  • НЕ используем Crawl-delay, если нет необходимости;
  • используем «Переобход страниц».

Самым главным помощником в выполнении этой задачи является файл Sitemap – служебный файл, который содержит перечень страниц для индексирования.

В большинстве случаев эти файлы автоматически генерируются CMS или плагинами. При желании его можно создать вручную. Файл легко редактировать, размещать, сообщать о нем поисковому роботу.

Как правильно составить файл Sitemap, чтобы он работал на вас и помогал роботу индексировать ваш сайт:

  • добавляйте только то, что должно индексироваться роботом;
  • не допускайте ошибочных адресов в файле;
  • проверяйте время возврата файла роботу;
  • регулярно обновляйте файл.

Проанализировать Sitemap вам поможет инструмент «Переобход страниц» Яндекс.Вебмастер.

За частоту запросов со стороны робота отвечает Crawl-delay. Это служебная директива, с помощью которой можно задать интервал запросов со стороны индексирующего робота.

В этом случае важно помнить правило трех «НЕ»:

  1. НЕ требуется большинству сайтов;
  2. НЕ используйте без необходимости;
  3. НЕ устанавливайте большие значения.

Например, директива Crawl-delay: 0,5 говорит о том, что роботу можно отправлять 2 запроса в секунду к страницам сайта. Большинство современных сайтов обязательно выдержит такую нагрузку со стороны робота.

Не индексировать ненужное

Методы решения возможных проблем:

  • активно используем «Статистику обхода»;
  • закрываем все ненужное в robots.txt;
  • отдаем корректные HTTP-коды.

На скриншоте Яндекс.Вебмастер видно все, что посещал робот за последние дни.

Яндекс.Вебмастер: статистика обхода сайта поисковым роботом

«Статистика обхода» в Яндекс.Вебмастер

Если среди этих страниц есть какие-то служебные страницы, то их индексирование нужно запрещать в файле robots.txt. Это могут быть:

  • страницы фильтров и сортировки;
  • страницы действий (добавление в «Корзину», сравнение товаров, перенос в список «Избранное»);
  • встроенный поиск по сайту;
  • служебные каталоги и конфиденциальные данные;
  • админка;
  • идентификаторы сессий, UTM.

Какие существуют HTTP-коды ответа?

HTTP-коды статуса страницы сайта

HTTP-коды статуса страницы сайта

Преимущества использования корректных HTTP-кодов:

  • предотвращение появления битых ссылок;
  • помощь роботу с планированием обхода;
  • позволят избежать попадание «мусора» в выдачу.

Ситуации, когда важные и нужные страницы сайта становятся недоступными для поискового робота, например, отвечая кодом 503 или 404, можно отследить с помощью инструмента «Важные страницы» в Яндекс.Вебмастер. Добавьте в него те страницы, которые приносят наибольший трафик, настройте уведомления на почту и получайте информацию о том, что происходит с той или иной страницей вашего сайта.

Сейчас мы рассмотрели проблемы с сайтом не столь фатального характера. Ознакомиться с проблемами, при возникновении которых мгновенно ухудшаются позиции сайта в поисковой системе, вы можете в первой части серии вебинаров Яндекс, перейдя по ссылке.

Часть 3: Работаем над рекомендациями для сайта

Из предыдущих двух частей серии вебинаров от Яндекс, мы рассказали вам как находить и исправлять ошибки на сайте. Пришло время разобраться, что еще можно улучшить на вашем сайте, чтобы достичь более полного его представления в поиске.

Вы можете «рассказать» роботу о том, к какому региону относится сайт (связано непосредственно с его ранжированием), насколько он интересен и полезен пользователям, а также дать дополнительную информацию для сниппета (визуальная составляющая).

Информация о регионе сайта

Существует 3 способа, чтобы указать, к какому региону относится ваш сайт. Рассмотрим каждый из них более подробно.

Яндекс.Вебмастер

Яндекс Вебмастер является самым простым способом для определения региона сайту. Вам нужно зайти в раздел «Региональность», выбрать нужный регион, указать ссылку страницы с контактной информацией и сохранить настройки.

Раздел «Региональность» в Яндекс.Вебмастер

Раздел «Региональность» в Яндекс.Вебмастер

Для тех сайтов, которые представляют свой товар/услугу по всей стране и являются сильным игроком на рынке смело можно выставлять большие (широкие) регионы (например, Россия/Украина).

Яндекс.Справочник

Второй, более сложный способ – Яндекс Справочник. Через него подтверждение идет уже не с сайта, как в Яндекс Вебмастере, а посредством создания информации о самой компании (организации).

Добавление информации об организации в Яндекс.Справочник

Добавление информации об организации в Яндекс.Справочник

Подтверждение данных о регистрации региона происходит с помощью звонка вам из call-центра Яндекс.

С помощью Яндекс Справочника вы можете:

  • следить за актуальностью данных и легко вносить изменения;
  • загружать красивые фото – пользователи это любят;
  • собирать отзывы клиентов и отвечать на них;
  • следить за статистикой, чтобы узнать сколько человек интересовались вашей организацией.

Пример статистики в Яндекс Справочнике:

Сбор статистики в Яндекс.Справочнике

Сбор статистики в Яндекс.Справочнике

Также, вы можете воспользоваться новым перезапущенным кабинетом Справочника, который собирает запросы по рубрикам, наносит эти данные на карту и отмечает там конкурентов, показывая, в частности, статистику как по вашей организации, так и по лучшей компании в данной тематике. Благодаря этому вы можете делать сравнения и улучшаться.

Нанесение данных статистики на карту в Яндекс.Справочнике

Нанесение данных статистики на карту в Яндекс.Справочнике

Яндекс.Каталог

Третий способ указать сайту регион – добавить его в Яндекс Каталог. Информация вносится достаточно легко, но стоит помнить о двух особенностях:

  1. Вы можете присвоить только 7 регионов.
  2. Большая очередь модерации – добавление в Каталог может затянуться. Однако, если вы внесете определенную плату, скорость проверки значительно увеличится.

Бесплатная регистрация в Яндекс.Каталоге

Бесплатная регистрация в Яндекс.Каталоге

Но не стоит забывать о том, что заявка может быть отклонена как при платной, так и при бесплатной модерации. Поэтому нужно убедиться, что ваш сайт соответствует всем требованиям Каталога.

Представление сайта в поисковой системе

Представление вашего сайта в поиске непосредственно связано со сниппетами.

Собственно, сниппет – это описание страницы в поисковой выдаче, которое состоит из заголовка, адреса сайта и описания. К нему стоит относиться как к инструменту для увеличения трафика сайта, обращая внимание на такие показатели, как: показы, клики, CTR.

Сниппет в поисковой выдаче

Сниппет в поисковой выдаче

Заголовок и описание могут формироваться с помощью:

  • title и description;
  • текста на самой странице;
  • микроразметки;
  • описания из Каталога.

Частые проблемы, которые возникают со сниппетами:

  • отсутствие title и description;
  • повтор title и description (когда они одинаковые);
  • шаблонный title и description для всех страниц.

Для того, чтобы добавить фавиконку нужно:

  1. Разместить файл favicon.ico в корневом каталоге сайта.
  2. Дать ссылку на нее в элементе <head>.
  3. Установить размер 16×16 пикселей.
  4. Разместить фото в предпочтительном формате ICO, но возможны и другие форматы: gif, jpeg, png и bmp.

И последний элемент на который мы можем повлиять в сниппете – регистр имени сайта. Если адрес вашего сайта состоит из набора слов, а вы хотите улучшить его читаемость – пропишите второе (и последующие) слова с заглавной буквы. Это можно сделать с помощью Яндекс Вебмастера.

«Регистр имени сайта» в Яндекс.Вебмастер

«Регистр имени сайта» в Яндекс.Вебмастер

Не стоит писать все буквы с заглавной буквы, или выборочно через одну – такие названия сайтов не пройдут модерацию.

Что касается навигационных цепочек в поисковой выдаче, то Яндекс формирует их сам. Но для этого вы должны позаботиться, чтобы структура вашего сайта быть очень хорошей.

Навигационные цепочки в поисковой выдаче Яндекс

Навигационные цепочки в поисковой выдаче Яндекс

Быстрые ссылки, которые могут заинтересовать пользователя, также Яндекс формирует автоматически. На их формирование, вы к сожалению повлиять никак не можете.

Эти ссылки формируются из собранных роботом данных на сайте, исходя из четкого сигнала, что именно эти разделы интересны пользователю.

Быстрые ссылки в поиске Яндекс

Быстрые ссылки в поиске Яндекс

Если вдруг вы не согласны с данным выбор, то с помощью Яндекс Вебмастера можете выключить эту ссылку.

«Быстрые ссылки» в Яндекс.Вебмастер

«Быстрые ссылки» в Яндекс.Вебмастер

О других возможностях Яндекс Вебмастера, благодаря которым вы сможете обеспечить вашему сайту высокие позиции в поисковой выдаче, мы расскажем вам в следующих частях серии вебинаров Яндекс.

Часть 4: Настраиваем индексирование нового сайта в Яндекс.Вебмастере

Если вы решили создать свой собственный сайт, то вам просто необходимо знать о способах его «знакомства» с поисковыми системами, проблемах, которые обычно появляются у новых ресурсов, и методах их успешного решения. Реализация запуска осуществляется в три этапа:

  1. Подготовка основ для нового сайта.
  2. Заполнение контентом.
  3. Добавление сайта непосредственно в поиск.

Рассмотрим каждый этап более подробно.

Подготовка основ для нового сайта

Первое, что необходимо сделать – выбрать доменное имя. Хорошее доменное имя – это визитная карточка вашего ресурса. Оно должно отвечать двум основным критериям:

  • отражать суть, идею или название бренда;
  • легко запоминаться.

Название сайта будет сопровождать ваш бизнес во многих аспектах. Вы можете заказывать визитки или печатные каталоги, на которых будет указан адрес вашего сайта, менеджеры компании могут диктовать его клиентам, а клиенты между собой делиться его названием, поэтому очень важно, чтобы при коммуникации пользователи не допускали ошибок. И, что немаловажно, адрес вашего сайта не должен ассоциироваться с конкурентом.

Основные признаки хорошего доменного имени сайта

Основные признаки хорошего доменного имени сайта

Избежать проблем с ошибками и вариациями помогут зеркала сайта.

Зеркала – это несколько адресов одного сайта, по которым доступен абсолютно идентичный контент.

Всегда есть большая вероятность того, что ваши пользователи будут допускать ошибку при наборе адреса сайта, писать его на латинице в различных вариациях, поэтому лучше позаботься об этом заранее: приобрести несколько вариантов дополнительных адресов и установить переадресацию на нужный вам ресурс.

Несколько вариаций доменного имени

Несколько вариаций доменного имени

И помните, что поисковому роботу неважно в какой доменной зоне будет находиться ваш сайт (ru, com, net и др.).

Можно использовать кириллические домены. Они также индексируются и участвуют в поиске в общем порядке.

Если вы проводите какие-то промоакции подойдут и поддомены основного сайта – они будут индексироваться вне зависимости от основного сайта.

Не стоит также забывать, что нет ничего страшного в домене, на котором ранее располагался сайт, так как:

  • качество сайта определяется его текущим содержимым;
  • если сайт ранее был зеркалом, то расклеится автоматически;
  • данные о старых страницах со временем удалятся.

После того, как вы выбрали адрес вашего сайта, необходимо определиться с хостингом, т.е. местом, где будут находиться папки и файлы вашего ресурса.

Важно, чтобы сайт быстро отвечал роботу и пользователям: до 3-х секунд роботу, пользователям – быстрее. Во многом это зависит от хостинга.

При выборе хостинг-провайдера рекомендуем обязательно:

  • читать отзывы / форумы;
  • смотреть, где расположены крупные ресурсы;
  • уточнить возможности для управления сайтом (например, возможность редактирования файла htaccess).

Производительность сайта зависит ещё и от CMS (система создания и администрирования сайта). При выборе CMS системы советуем для начала определить необходимую функциональность на сегодняшний день и будущий период, изучить форумы пользователей, ТОП пожеланий и отзывы (посмотрите, что еще хотят пользователи, которые уже пользуются данной системой, возможно и вам это пригодится).

Также стоит задуматься о совместимости будущего «движка» с вашим ресурсом:

  • удобство интерфейса администрирования;
  • требовательность к ресурсам сервера и производительность;
  • интеграция с 1С (например, для интернет-магазина).

Гибкость настроек:

  • возможность изменения HTML (мета-теги, счетчики, canonical);
  • HTTP-коды (настройка 3хх-редиректов, HTTP-404/503);
  • плагины-помощники (составление robots.txt и Sitemap).

Дизайн:

  • адаптивная или мобильная версия;
  • разнообразие стандартных шаблонов.

Основа для нового сайта

Основа для нового сайта

Наполнение нового сайта содержимым

Простая и понятная структура позволяет хорошо ориентироваться на сайте не только пользователям, но и индексирующему роботу.

Для создания такой структуры:

  • старайтесь использовать ЧПУ-адреса;
  • не используйте большой уровень вложенности;
  • используйте фильтры сортировки.

Одна из основных задач – определение хороших посадочных страниц:

  • используйте подбор слов wordstat.yandex.ru;
  • разрабатывайте структуру под интересы пользователей;
  • работайте с категориями запросов.

Старайтесь использовать URL-адреса без параметров. Пользователи воспринимают их лучше и легко ориентируются на сайте. Также использование таких адресов поможет роботу быстрее сформировать навигационные цепочки на вашем ресурсе.

URL-адрес без параметров и навигационные цепочки

URL-адрес без параметров и навигационные цепочки

Работа над понятной структурой и навигацией на сайте должна происходить постоянно:

  • проводите A/B-тестирование;
  • используйте данные Яндекс.Метрики;
  • вносите изменения в зависимости от потребности посетителей.

После того, как вы определитесь со структурой сайта:

  • заполняем мета-теги (title, description, keywords). Keywords также необходимо внести, потому что значения этого тега могут использоваться поисковым роботом при определении релевантности вашей страницы запросам пользователей;
  • закрываем в noindex служебные части страниц;
  • заполняем теги alt и title, если важна индексация изображений;
  • полученный html-код не поленитесь проверить в одном из валидаторов.

Важные аспекты создания нового сайта

Важные аспекты создания нового сайта

Добавление сайта в поиск

Перед тем, как вы сообщите поисковому роботу о вашем сайте нужно заполнить 2 файла, о которых веб-мастера иногда успешно забывают и не обращают внимание.

Robots.txt

Содержит информацию о том, какие страницы индексировать поисковому роботу не нужно. Это приведет к индексированию только важных страниц вашего сайта, которые должны попадать в поиск. Т.е. добавляем в запреты Robots.txt:

  • служебные каталоги, конфиденциальные данные, админки;
  • встроенный поиск по сайту;
  • страницы фильтров сортировки и действия (добавление в «Корзину», сравнение товаров);
  • идентификаторы сессии, UTM.

Sitemap

Этот файл – противоположность Robots.txt. Он содержит список страниц, которые необходимо индексировать. Sitemap должен регулярно обновляться и не содержать служебных страниц. Также, файл можно проверить с помощью специального валидатора в Яндекс.Вебмастере.

После создания файлов, приступаем к добавлению сайта в Вебмастер. Если у вас новый сайт и вы уже используете защищенный протокол, сразу добавляйте в Яндекс.Вебмастер именно https-версию, чтобы она индексировалась и участвовала в поисковой выдаче.

После того, как вы подтвердили права на сайт и зашли в Яндекс.Вебмастер, советуем проверить, доступны ли страницы вашего ресурса для индексирующего робота с помощью соответствующего инструмента. Статус «200 Ок» означает, что все хорошо. Если же он отличается от кода 200, стоит задуматься: вероятно сайт недоступен для робота.

Далее, используем инструмент Яндекс.Вебмастера «Переобход страниц», добавляя наиболее важные страницы сайта, которые должны попасть в поисковую выдачу в максимально короткие сроки.

Раздел «Переобход страниц» в Яндекс.Вебмастер

Переобход страниц» в Яндекс.Вебмастер

Затем добавляем региональность, если это необходимо. Подробнее о данном разделе вы можете прочитать в третьей части серии вебинаров о поисковой оптимизации сайта.

Раздел «Региональность» в Яндекс.Вебмастер

Региональность» в Яндекс.Вебмастер

Проверяем корректность мобильной версии (подробнее в следующих вебинарах).

Проверка мобильных страниц в Яндекс.Вебмастер

Проверка мобильных страниц в Яндекс.Вебмастер

И уже через несколько дней, вы можете посмотреть в «Статистике обхода», как часто ваш сайт посещается индексирующим роботом.

Раздел «Статистика обхода» в Яндекс.Вебмастер

Раздел «Статистика обхода» в Яндекс.Вебмастер

В соседнем разделе можно посмотреть статистику того, как страницы сайта попадают в поисковую выдачу. Также вы увидите, какие страницы не попали в поиск и причины их исключения.

Раздел «Страницы в поиске»

Раздел «Страницы в поиске»

И смотрим собственно на то, чего мы добивались – страницы, которые уже попали в поиск и могут показываться пользователям по нужным вам запросам.

Перечень страниц, которые попали в поисковую выдачу

Перечень страниц, которые попали в поисковую выдачу

Как видите, представить свой новый сайт поисковой системе не так уж сложно. Не забывайте о трех основных этапах и используйте инструменты Яндекс.Вебмастера, которые могут пригодиться перед «большим плаванием» в поиске.

Часть 5: Ищем дубли страниц

С точки зрения поисковой оптимизации, дубли страниц являются одной из основных причин потери позиций сайта в поиске. Мы расскажем вам, в чем же заключается опасность таких дублирующих страниц, с помощью каких инструментов можно их выявить и как устранить дальнейшее появление.

Опасность дублей на сайте

Причин появления дублей на сайте огромное количество. Все они связаны с некоторыми ошибками, например:

Ошибки в содержимомНекорректные настройкиОшибки в CMS
  • некорректные относительные ссылки;
  • отсутствие текста.
  • НТТР-200 вместо НТТР-404;
  • доступность служебных страниц.
  • особенности структуры.

Наличие дублей может привести к различным проблемам. Условно их можно разделить на три большие группы:

  1. Смена релевантной страницы в результатах поиска.

Предположим, что на сайте есть страница с бухгалтерскими услугами, которая доступна по двум адресам (контент абсолютно одинаковый):

  • site.ru/uslugi/buhgalterskie-uslugi;
  • site.ru/buhgalterskie-uslugi.

Робот не хранит сразу несколько идентичных документов, поэтому в поиске останется только один на его усмотрение. А так как показатели страниц могут отличаться, то при смене страницы в выдаче позиции сайта могут измениться.

  1. Обход дублирующих страниц.

Поскольку количество запросов со стороны индексирующего робота ограничено, например, производительностью вашего сервера, CMS или Crawl-delay, то он может скачивать дубли, вместо того, чтобы индексировать нужные вам страницы сайта, в результате чего в поисковой выдаче могут показываться какие-то неактуальные данные.

Обход дублирующих страниц роботом

Обход дублирующих страниц роботом
  1. Затруднение сбора статистики на сайте.

В разделе “Страницы в поиске” Яндекс.Вебмастера вы можете наблюдать следующую картину:

Раздел "Страницы в поиске" в Яндекс.Вебмастер

Раздел “Страницы в поиске” в Яндекс.Вебмастер

При каждом обновлении поисковой базы количество страниц в поиске остается практически неизменным, но видно, что робот добавляет и удаляет примерно одинаковое количество страниц (на верхнем графике). То есть, по сути, какой-то процесс происходит, при этом в поиске количество страниц остается неизменным.

Смотрим раздел “Статистика обхода”.

Раздел "Статистика обхода" в Яндекс.Вебмастер

Раздел “Статистика обхода” в Яндекс.Вебмастер

Ежедневно робот посещает несколько тысяч новых страниц сайта, но при этом, как видно на нижнем графике, в поисковую выдачу они опять таки не попадают.

Поиск дублей

Практически на каждом ресурсе в интернете есть дублирующие страницы. Осталось их только найти! Первый способ – с помощью раздела “Страницы в поиске” Яндекс.Вебмастера.

Всего четыре клика, с помощью которых можно увидеть все дублирующие страницы:

  1. Заходим в раздел “Страницы в поиске” Яндекс.Вебмастера.
  2. Переходим на вкладку “Исключенные страницы”.
  3. Выбираем “Сортировку”.
  4. Нажимаем “Применить”.

В результате чего видим все страницы, которые исключил робот из поисковой выдачи, поскольку посчитал их дублирующими.

Второй способ – соседний раздел “Статистика обхода”. Внизу раздела можно включить сортировку по 200 коду и посмотреть, какие страницы посещал индексирующий робот.

Третий способ посложнее (возможно понадобится ваша фантазия). Возьмем любую страницу на сайте и добавим к ней произвольный get-параметр, например test=123*. Далее используем инструмент “Проверка ответа сервера”, нажимает кнопку “Проверить” и смотрим код ответа от данной страницы. Если такая страницы доступна (например, отвечает кодом ответа 200) – это может привести к появлению дублирующих страниц на вашем сайте.

Раздел "Проверка ответа сервера" в Яндекс.Вебмастер

Раздел “Проверка ответа сервера” в Яндекс.Вебмастер

И последний четвертый способ – проверить статус URL.

Раздел "Проверить статус URL" в Яндекс.Вебмастер

Раздел “Проверить статус URL” в Яндекс.Вебмастер

Помимо этих четырех способов вы можете использовать какие-то свои, например: посмотреть логи вашего сервера, статистику Яндекс.Метрики или поисковую выдачу.

Устранение дублей

Все дубли можно разделить на 2 большие группы:

Виды дублей

Виды дублей

Причины возникновения и виды дублей разнообразны, поэтому разными должны быть и подходы к ним с точки зрения поисковой оптимизации.

Способы устранения дублей

Способы устранения дублей

Не стоит недооценивать тот ущерб, который могут нанести дублирующие страницы на сайте, особенно, если их сотни, а то и тысячи. Ведь самое страшное, что может произойти – поисковый робот не будет видеть страницы, которые содержат какую-либо полезную информацию и ваш ресурс будет исключен из поиска.


Буду признателен за каждый лайк:


Комментарии:

  1. Klad -  26.07.2017 - 03:41

    “дубли страниц являются одной из основных причин потери позиций сайта в поиске” – имеется ввиду отображение нерелевантной страницы и другие минусы или все же есть пессимизация все таки?

    Ответить
    • ApollonGuru -  26.07.2017 - 11:41

      В первую очередь влияет на распыление релевантности целевых страниц, что в свою очередь приводит к тому, что ни одна из дублирующих страниц не получает хорошие позиции по ключевым фразам.

      Ответить

Оставьте комментарий, Ваше мнение очень важно для меня!

Введенный e-mail не будет виден другим пользователям :

Back to Top