Страница обходится роботом.Ошибка Яндекс.

Источник материала:

tehset.ru

Страница обходится роботом, но отсутствует в поиске. Ошибка Яндекс.Вебмастер — Техносеть

 Данная ошибка выводится в отчете после проверки определенных страниц сайта на доступность в  поисковой системе Яндекс. Делается это через специальный сервис Яндекс.Вебмастер (инструмент «Индексирование» -> «Проверка URL»). 

Что за ошибка?

Это означает, что робот посетил её, но не удосужился внести её в поисковую выдачу, сочтя её некачественной и вообще — вы спамер, у вас много рекламы, исправляйте всё немедленно, а потом поговорим! Самое удивительно то, что «некачественным» он иногда считает материал по 5000-10 000 знаков копирайта и отличным положением у конкурента в поиске (у меня не проиндексированная страница в Я была в ТОП-3 в G)

Симптомы:

1. Количество загруженных страниц сайта на порядок больше, чем количество страниц в поиске
2. Некоторые страницы упорно не хотят индексироваться, даже после размещения ссылки на дружественных тематических ресурсах или в социальных сетях
3. Контент на не индексируемых страницах уникальный и качественный
4. Сайт не показывает баннерную рекламу, либо её количество минимально
5. Сайт не находится под фильтрами поисковой системы.

Устраняем ошибки, которые указаны в разделе «Диагностика»

Чтобы повысить качество сайта и страниц в глазах Яндекса, нужно, как это ни странно, воспользоваться советами его самого. Дело в том, что в Я.Вебмастере в разделе «Диагностика» есть список текущих ошибок, которые вполне могут повлиять на выдачу

 Что конкретно нужно исправить и как это сделать?

 Воспользоваться инструментом «Переобход страниц» 

В Яндекс. Вебмастере есть специальный сервис, заставляющий робот заново посетить вашу страницу «Инструменты» — «Переобход страниц». Заставьте робота еще раз посетить вашу страницу. Идеальный вариант — немного добавить контента или хотя бы поменять где-то текст. В общем, видоизмените страницу, на которую будете ссылаться.

 Удалить дубли, запретить их к индексации 

Практически самый главный враг хорошей индексации отдельных страниц, которые не попадают в выдачу — это дубли. Дубли страниц, которые генерирует сама CMS, будь-то WP или DLE. Причем дубли могут быть совсем не явные, т.е. как таковых «вторых» страниц с таким же контентом нет, но есть страницы, у которых срабатывает редирект на основной материал. Их можно отследить в Я.Вебмастере. Для этого зайдите в меню «Индексирование» -> «Статистика». Далее выберите рядом с названием сайта категорию «HTTP-коды 3хх»

Как видите страниц с редиректом пруд пруди:

Самое интересно то, что еще одним стандартным сервисом «Яндекса» дубли не удалить сходу: Пишет ошибку «Нет основание для удаления». Т.е. яндекс не может просто убрать страницу с поиска, если даже вы этого хотите. Ему нужны основания

Для того, чтобы перестали генерироваться дубли и для того, чтобы их можно было удалить с поисковой выдаче нужно проделать следующие шаги

• Прописать строчку кода в файле functions.php (если у вас Word Press)

Обычно этот файл находится в директории с названием вашей темы. Для редактирования можете использовать FTP ну или встроенный редактор в админке WP — это на ваше усмотрение. Вставляем следующий код

remove_action(‘wp_head’, ‘wp_shortlink_wp_head’);

• Настроить файл robot.txt

Чтобы запретить индексацию дублей нужно создать соответствующее правило в файле robot.txt

Disallow: /?p=*

Т.е. страницы вида «site.ru/?p» запрещены к индексации. Кстати, на Word Press проще всего добавить это правило также через код в том же файле functions.php. Результат удаления URL через Я.Вебмастер теперь положительный:

 Создать карту сайта (Sitemap) 

Карта сайта создана специально для упрощения навигации не только пользователей, но и поисковых роботов. Поэтому, если вы считаете, что вашем посетителям она ни к чему, то сделайте её хотя бы для поисковой системы. Давно доказано — файл Sitemap улучшает индексацию страниц и сайта в целом! Для того, чтобы создать файл Sitemap.xml в CMS Word Press используйте плагин «Google XML Sitemaps».

Чтобы показать Яндексу, что файл у вас создан и может использоваться роботом в Я.Вебмастере зайдите в «Настройка индексирования» — «Файлы Sitemap» и вставьте ссылку на неё (учтите, что статус «Очередь на обработку будет висеть достаточно продолжительное время»)

 Заполнить мета тэг name description 

Для каждой странице нужно заполнить её краткое описание, которое содержится в специальном мета тэге <meta name=»description» content=»описание»/>. Поисковые алгоритмы будут использовать данный тэг для формирования описания страницы при выдаче результатов поиска (т.н. сниппет)

Чтобы не заморачиваться с правкой кода, мы можем использовать плагин для Word Press — Meta Tag Manager, который добавляет в конце редактора специальный контейнер, где можно его вписать

Пишем в техническую поддержку Яндекса

Если уверены в качестве своего сайта и конкретно тех страниц, которые не попадают в поиск. У Яндекса довольно большой мануал и огромные список того, «чего не желательно» или вовсе «нельзя». Советуем ознакомиться, перед тем, как строчить кляузу — https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml

Что можно и где нужно писать, чтобы мне ответили?

Итак, вы уверены, что ваш сайт белый и пушистый, поэтому вам срочно нужно написать в Яндекс. Если это действительно так, то:

1. Перейти на страницу https://yandex.ru/support/webmaster-troubleshooting/site-indexing.xml
2. Далее в опросе выбираете — «Мой сайт плохо индексируется». 
3. Затем — «Некоторые страницы сайта отсутствуют в поиске»
4. В самом конце нужно поставить галочку в чекбокс пункта «Страницы отсутствуют в поиске по непонятным причинам»

После чего откроется форма для обратной связи с техподдержкой:

В сообщении можете написать примерно следующий текст (не копируйте его полностью, просто используйте как шаблон)

Добрый день.

Вышеуказанные страницы отсутствуют в результатах выдачи. Проверка URL через сервис Webmaster.Yandex.ru показала статус «Страница обходится роботом, но отсутствует в поиске» В разделе, который указан для профилактики таких случаев (Некачественные сайты) не нашел ничего, чтобы относилось к моему сайту. Контент на страницах уникальный, рекламы на сайте нет, другие страницы сайта индексируются нормально.
Что было дополнительно сделано (перечисляете всё, что пытались сделать, если следовали нашей статье, то текст ниже можно не менять)
— Запрещены к индексации дубли и удалены с помощью инструмента («Удалить URL»). Точнее там были не дубли, а страницы с ошибкой переадресации (HTTP 301 MOVED PERMANENTLY).
— Сделана карта сайта (site.ru/sitemap.xml)
— Добавлен мета тэг description на все записи в блоге
— Использован инструмент «Переобход страниц».
Укажите, пожалуйста, причину непопадания этих страниц в поисковую выдачу.

P.S. Ответ от Яндекса — это просто ошибка инструмента «Проверка URL»

Техническая поддержка Яндекса ответила мне на удивление быстро. Оказалось, мои страницы-таки были в поиске — во всём виноват кривой инструмент «Проверить URL». Я.Вебмастер совсем недавно выкатил новую версию этого сервиса — видимо, пока что,  не всё работает, как задумано.

Т.е. возможно страницы есть, а может и нет? Чтобы точно убедится в том или ином предположении, нужно проверить наличие в индексе на других сервисах для веб-мастеров.

Где проверить есть ли эти страницы в индексе?

Можно с помощью сервиса pr-cy.ru. Там можно даже не регистрироваться или авторизовываться лишний раз. Просто введите адрес URL в строку «Анализ сайта», а затем нажмите на число страниц напротив строки «Яндекс».

Далее откроется страница Яндекса со специальным поисковым запросом, где будут отображены все ваши проиндексированные страницы:

Каков результат?

Через неделю после вышеописанных методов количество страниц в поиске увеличилось на 50% — это при том, что дубли и некачественные страницы, которые были в поиске были удалены! И это всего по прошествии одного апдейта выдачи!