Googlebot не может получить доступ к файлам CSS и JS на вашем сайте

Давайте разберем вопрос предоставления доступов к файлам для выполнения рекомендаций из сообщения “Googlebot не может получить доступ к файлам CSS и JS на сайте http://site.ru/”. Данное сообщение можно найти в Google Webmaster Tools. Содержание:

Googlebot не может получить доступ к файлам CSS и JS на вашем сайте

Зачем это Google?

На этом вопросе долго останавливаться не будем. По моему мнению – это очередной шаг борьбы с клоакингом, зарекламленностью и т.д. Не даром во вкладке “Отображение” Google указывает, как видит страницу Googlebot и как её видит пользователь. В случае явных отличий сайту может угрожать пессимизация или более серьезные последствия в виде санкций.

Кейс

В данном посте на примере сайта bsodstop.ru покажу, как удовлетворить поискового робота. Тем более, что мой метод отличается от предложенных другими блогерами.

Исходные данные:

Сайт http://bsodstop.ru/ на движке Joomla.

Ошибки связанные с проблемой доступа к файлам:

Экран с ошибкой - Посмотреть как Googlebot

Посмотреть как Googlebot ошибки

Файл robots.txt с инструкциями:

User-agent: *
Disallow: /script/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/
Disallow: /share42/
Disallow: /script/
Disallow: /*?
Allow: /component/xmap/xml?option=com_xmap&view=xml&id=1
Allow: /component/xmap/
Sitemap: http://bsodstop.ru/component/xmap/xml?option=com_xmap&view=xml&id=1
Host: bsodstop.ru

Для начала необходимо понять каким ресурсам необходимо предоставить доступ. Для этого:

  1. Заходим в Google Webmaster Tools.
  2. Выбираем нужный сайт.
  3. Переходим на пункт меню “Сканирование”.
  4. Выбираем вложенный пункт меню “Посмотреть как Googlebot”.
  5. Оставляем строчку пустой и жмем кнопку “Получить и отобразить”. В этом случуе отображаться будет главная страница.
  6. После чего щелкаем на ссылку в столбце “Путь”.

Инструкция - Googlebot не может получить доступ

Если детально проанализировать, то для оценки сайта Google хочет получить доступ не только к файлам js и css, а и к файлам изображений и анимации. В связи с этим наилучшим выходом будет полностью открыть сайт для индексации оставив в robots.txt только следующую информацию:

User-agent: *
Disallow:
Sitemap: http://bsodstop.ru/component/xmap/xml?option=com_xmap&view=xml&id=1
Host: bsodstop.ru

А вот уже страницы, которые необходимо закрыть от индексации необходимо закрыть с помощью мета-тега:

Таким образом мы предоставим Google возможность индексировать все файлы, которые используются при работе сайта и закроем от индексации все ненужные страницы.
Ниже предоставляю код, который позволит закрыть от индексации все страницы, которые содержат символы и слова из архива findme.

Результаты

После внедрения всех рекомендаций имеем следующий результат:

Результаты

Еще одним достоинством данного метода является то, что инструкции в robots.txt имеют рекомендательный характер, в то время как meta=”robots” обязательное условие. Вот что по этому вопросу можно найти в справке Google:

Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их.

И порой в индексе можно встретить страницы, которые закрыты в robots.txt. Например:

 

Описание веб-страницы недоступно из-за ограничений в файле robots.txt

 

Также обязательно проверяйте отображение мобильной версии сайта. Для этого вместо “ПК” необходимо выбрать “Mobile: Smartphone”. Но если все вышеприведенные действия были сделаны верно, то и с мобильной версией проблем быть не должно.

Заключение

В заключении хочется уделить внимание следующим моментам:

  1. Повлиять на сторонние скрипты мы не можем. Так например, Googleboot не может получить доступ к скриптам Adsense находящиеся на стороне самого Google.
  2. Часть файлов, к которым открыт доступ, могут выводиться в списке ресурсов доступ к которым не удалось получить с указанной причиной “Временно недоступно”. Думаю, это связано с необходимостью обработки огромного количества данных, которые попросту не успевают обрабатываться.

Буду признателен за каждый лайк:


Оставьте комментарий, Ваше мнение очень важно для меня!

Введенный e-mail не будет виден другим пользователям :

Back to Top