Googlebot не может получить доступ к файлам CSS и JS на вашем сайте

Давайте разберем вопрос предоставления доступов к файлам для выполнения рекомендаций из сообщения «Googlebot не может получить доступ к файлам CSS и JS на сайте http://site.ru/». Данное сообщение можно найти в Google Webmaster Tools. Содержание:

Googlebot не может получить доступ к файлам CSS и JS на вашем сайте

Зачем это Google?

На этом вопросе долго останавливаться не будем. По моему мнению — это очередной шаг борьбы с клоакингом, зарекламленностью и т.д. Не даром во вкладке «Отображение» Google указывает, как видит страницу Googlebot и как её видит пользователь. В случае явных отличий сайту может угрожать пессимизация или более серьезные последствия в виде санкций.

Кейс

В данном посте на примере сайта bsodstop.ru покажу, как удовлетворить поискового робота. Тем более, что мой метод отличается от предложенных другими блогерами.

Исходные данные:

Сайт http://bsodstop.ru/ на движке Joomla.

Ошибки связанные с проблемой доступа к файлам:

Экран с ошибкой - Посмотреть как Googlebot

Посмотреть как Googlebot ошибки

Файл robots.txt с инструкциями:

User-agent: *
Disallow: /script/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /component/
Disallow: /share42/
Disallow: /script/
Disallow: /*?
Allow: /component/xmap/xml?option=com_xmap&view=xml&id=1
Allow: /component/xmap/
Sitemap: http://bsodstop.ru/component/xmap/xml?option=com_xmap&view=xml&id=1
Host: bsodstop.ru

Для начала необходимо понять каким ресурсам необходимо предоставить доступ. Для этого:

  1. Заходим в Google Webmaster Tools.
  2. Выбираем нужный сайт.
  3. Переходим на пункт меню «Сканирование».
  4. Выбираем вложенный пункт меню «Посмотреть как Googlebot».
  5. Оставляем строчку пустой и жмем кнопку «Получить и отобразить». В этом случуе отображаться будет главная страница.
  6. После чего щелкаем на ссылку в столбце «Путь».

Инструкция - Googlebot не может получить доступ

Если детально проанализировать, то для оценки сайта Google хочет получить доступ не только к файлам js и css, а и к файлам изображений и анимации. В связи с этим наилучшим выходом будет полностью открыть сайт для индексации оставив в robots.txt только следующую информацию:

User-agent: *
Disallow:
Sitemap: http://bsodstop.ru/component/xmap/xml?option=com_xmap&view=xml&id=1
Host: bsodstop.ru

А вот уже страницы, которые необходимо закрыть от индексации необходимо закрыть с помощью мета-тега:

<meta name="robots" content="noindex,follow" />

Таким образом мы предоставим Google возможность индексировать все файлы, которые используются при работе сайта и закроем от индексации все ненужные страницы.
Ниже предоставляю код, который позволит закрыть от индексации все страницы, которые содержат символы и слова из архива findme.

<?php	
$url = $_SERVER['REQUEST_URI'];
$findme = array('?', 'component', 'administrator');
foreach($findme as $word)
     if(false !== strpos($url, $word))
          echo '<meta name="robots" content="noindex,follow" />';
?>

Результаты

После внедрения всех рекомендаций имеем следующий результат:

Результаты

Еще одним достоинством данного метода является то, что инструкции в robots.txt имеют рекомендательный характер, в то время как meta=»robots» обязательное условие. Вот что по этому вопросу можно найти в справке Google:

Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их.

И порой в индексе можно встретить страницы, которые закрыты в robots.txt. Например:

 

Описание веб-страницы недоступно из-за ограничений в файле robots.txt

 

Также обязательно проверяйте отображение мобильной версии сайта. Для этого вместо «ПК» необходимо выбрать «Mobile: Smartphone». Но если все вышеприведенные действия были сделаны верно, то и с мобильной версией проблем быть не должно.

Заключение

В заключении хочется уделить внимание следующим моментам:

  1. Повлиять на сторонние скрипты мы не можем. Так например, Googleboot не может получить доступ к скриптам Adsense находящиеся на стороне самого Google.
  2. Часть файлов, к которым открыт доступ, могут выводиться в списке ресурсов доступ к которым не удалось получить с указанной причиной «Временно недоступно». Думаю, это связано с необходимостью обработки огромного количества данных, которые попросту не успевают обрабатываться.

Будем признательны за каждый лайк:

Оставьте комментарий, Ваше мнение очень важно для нас!
Введенный e-mail не будет виден другим пользователям :

Просим ознакомиться с политикой конфиденциальности и соглашением об использовании файлов cookie перед началом использования сайта.

Back to Top

Telegram

Подписывайтесь на наш канал в Telegram, будьте лучше ваших конкурентов

Подпишитесь на наш канал

You have Successfully Subscribed!