Вчерашний день в ARD Media начался не с плановой «летучки», а с панического звонка. Наш совсем недавний и очень перспективный клиент - Aurrum, компания, которая продаёт элитную итальянскую мебель. В трубке голос директора по маркетингу, который сложно назвать спокойным: «У нас трафик рухнул! Позиции по всем запросам - в ноль! Поисковики нас совсем не находят. Что делать?!» Нам предстоял первый в моей практике полноценный «пожар». И как выяснилось, огонь был в одном файле.
Первые минуты: паника, принятие и поиск «огнетушителя»
Меня, как ответственного за проект мидла, мгновенно подключили к созвону с продюсером и клиентом. Правила «тушения пожара» с клиентом, как оказалось, просты и сложны одновременно:
- Не отрицать. Даже если ты уверен на 100%, что со своей стороны ничего не ломал. Первая фраза должна быть: «Поняли проблему. Мы начинаем экстренный анализ прямо сейчас».
- Дать срок. Клиенту жизненно важно знать, когда ждать обратной связи. Мы сказали: «Дайте нам 2 часа на первичную диагностику. К 12:00 мы доложим о найденных причинах или хотя бы о направлении поиска».
- Изолировать «очаг». Первый вопрос клиенту: «Что менялось на сайте в последние 48 часов? Были ли обновления, правки, подключались ли новые подрядчики?»
Ответ на третий вопрос стал ключевым. Оказалось, что позавчера они нанимали стороннего фрилансера для настройки «какой-то технической части» сайта, чтобы «улучшить индексацию». Колокольчик в моей голове зазвенел тревожно.
Диагностика: от общего падения к одной строчке кода
Пока босс успокаивал клиента, я открыл все инструменты.
Шаг 1. Быстрая проверка самых очевидных метрик.
Яндекс.Вебмастер, Google Search Console: В разделе «Инструменты» -> «Анализ robots.txt» всё было чисто. «Странно», - подумал я. Но в отчете «Страницы в поиске» график индексированных страниц показывал обвал почти до нуля за последние два дня.
Позиции (ручной проверкой и KeyCollector): По всем ключевым запросам сайт исчез из топ-100. Не упал, а именно исчез.
Трафик (Яндекс.Метрика): График органического трафика с поиска напоминал утёс: ровная линия и резкое падение в пропасть до 5-10 посещений в день.
Такая картина - массовое, мгновенное выпадение из индекса - обычно указывает не на алгоритмический фильр (типа «Калининграда», который действует избирательнее), а на глобальную техническую блокировку.
Шаг 2. Глубокая техническая проверка.
Я запустил Screaming Frog SEO Spider на сайт. Первое, на что он указал в отчёте - невозможно индексировать вложенность из-за запрета в robots.txt.
Да, ответ лежал в самом очевидном, а потому и самом коварном месте - в файле robots.txt.
Шаг 3. Находка.
Я вручную открыл https://aurrum.com/robots.txt. И увидел это:User-agent: *
Disallow: /
Простая, элегантная и убийственная строчка. Она кричит любому роботу (звездочка * означает «всем»): «Пользователь-агент: любой. Запрещено: всё». Disallow: / - это запрет на индексацию всего сайта, от корня.
Это классическая ошибка новичков, которые путают Disallow: с Allow:. Видимо, тот самый фрилансер хотел «разрешить всё», но по неопытности или из-за опечатки поставил запрет.
«Тушение»: как мы возвращали сайт к жизни
Найденную причину нужно было не только исправить, но и правильно преподнести клиенту, чтобы «пожар» не перекинулся на доверие к нам.
Немедленное исправление. Мы связались с техотделом Aurrum (минуя того фрилансера) и предоставили им корректный файл robots.txt, который открывал доступ ко всем основным разделам сайта. Изменение было внесено в течение часа после нашего звонка.
Честный и подробный отчёт клиенту. В 12:00 мы вышли на созвон в Скайпе. Наша презентация была наглядной:
- Слайд 1: График падения трафика и индексации.
- Слайд 2: Скриншот ошибочного файла robots.txt с пояснением, что делает строчка Disallow: /.
- Слайд 3: Скриншот исправленного файла.
- Слайд 4: План дальнейших действий.
Мы чётко объяснили: исправление вступит в силу не мгновенно. Поисковым роботам нужно время, чтобы снова зайти на сайт, перечитать robots.txt и начать повторную индексацию страниц. На полное восстановление позиций и трафика может уйти от нескольких дней до 2-3 недель. Важно было сразу это озвучить, чтобы завтра клиент не ждал чуда.
Чтобы ускорить процесс, мы сразу после исправления отправили в Яндекс.Вебмастер и Google Search Console запросы на переобход (пересканирование) сайта. Также добавили и обновили sitemap.xml, чтобы дать роботам свежий список всех страниц.
Что я вынес из этого «пожара»?
Файл robots.txt - это бомба замедленного действия в руках дилетанта. Одна строчка может убить всё продвижение. Теперь при аудите любого нового клиента это первое, что я проверяю сверхвнимательно.
Лучшая защита - проактивность. В идеале, нужно было заранее обговорить с клиентом процесс согласования любых технических изменений на сайте. Любой сторонний подрядчик должен согласовывать правки с нами, как с ведущими SEO-специалистами.
Клиент ценит не только результат, но и процесс. Да, ошибку совершил не мы. Но именно наш быстрый, профессиональный и спокойный разбор ситуации, наглядная презентация причины и чёткий план по устранению сохранили доверие. Клиент увидел, что мы контролируем ситуацию даже в кризисе.
SEO - это не только о ссылках и текстах. Это, в первую очередь, о техническом фундаменте. И этот случай стал для меня самым ярким уроком: можно сделать идеальную семантику и контент, но одна опечатка в техническом файле сведёт всю работу на нет.
Сегодня утром я снова проверил Яндекс.Вебмастер Aurrum. Кривая проиндексированных страниц пошла вверх. Пожар потушен. Теперь - долгий процесс восстановления (воспользовались «аддурилкой» в Вебмастере, теперь ждём). Но главное, что мы знаем причину и держим руку на пульсе. Этот «пожар» не сжёг нас, а закалил. И дал запомнить железное правило: всегда в первую очередь проверяй robots.txt.
