На одном из сайтов возникла следующая проблема: новые страниц в поиске не появляются, а старые постепенно выпадают из Яндекса.
По данным Яндекс.Вебмастер в отчете «Индексирование сайта» — «Страницы в поиске» перестали появляться страницы «за последнюю неделю» и «за последние 2 недели».
Сайт постепенно дорабатывался и было много мелких вроде не критичных изменений. Отследить причинно-следственную связь с появлением проблемы сложно. В частности, менялись адреса страниц, настраивался геотаргетинг и т.д.
Техподдержка Яндекса на вопрос «почему не индексируются страницы?» ответила
стандартным ответом «робот не видит этих страниц».
Начал искать, почему так получается но, совсем запутался — я же страницы вижу, и никаких ошибок нет.
Нашел сервис анализа ответов сервера http://webmaster.yandex.ru/server-response.xml, проверил
и оказывается — сервер выдает «Код статуса HTTP:» то 302 ответ, то 200 на одну и ту же страницу. Ошибка оказалась плавающей, диагностика не удалась. 🙁
Согласно описанию в Яндексе, страницы с 302 редиректом (страница временно перемещена) Яндекс не считает нужным индексировать.
И правда, логика в этом есть — если страница с нужным содержанием переехала временно, то вы сначала определитесь с постоянным местом, потом Я(ндекс) его в индекс и положу.
Искали долго, оказалась следующая проблема — временный редирект был поставлен у блока геотаргетинга. Первый заход на сайт давал 302 ответ и переход на страницу с привязкой к конкретному региону, а дальше, ответы сервера нормальные — 200 ОК. Для каждого посетителя страница с регионом отличается шапкой которая после первого удачного определения, уже не меняется.
Но Яндекс-то первый раз не найдя страницу дальше не идет, а человек при тестировании открыл сайт, увидел 302 ответ, пошел изучать проблему дальше, а ответ-то стал 200 и все ОК.
Нашли исправили, сайт сразу стал индексироваться. Причем у Гугла похожее отношение, но из Гугла сайт выпадать стал гораздо позже.
В итоге маленький недочет программиста, а сайт чуть совсем не выпал из поисковой выдачи.
Аккуратнее с 302 редиректом, лучше его вообще не использовать на сайте и, если перемещаете, так навсегда — 301 редирект работает отлично.
Надеюсь кому-то пригодится и сократит путь поиска проблемы с выпадением страниц из Яндекса из-за 302 кода ответа сайта при редиректе.
Если есть замечания/пожелания — буду рад комментариям.
Добавить комментарий