Как закрыть dev-версию сайта от индексации: 6 методов
Тестовый поддомен легко попадает в индекс и портит SEO: дубли контента, разделённый вес, путаница AI-краулеров. Разбираем 6 рабочих методов закрытия dev — от Basic Auth до X-Robots-Tag. Каждый со своими плюсами и минусами.
Почему robots.txt недостаточно
Ограничения robots.txt
Директива Disallow: / в robots.txt запрещает обход, но не гарантирует исключение из индекса. Если на dev-поддомен ведут внешние ссылки, поисковик может проиндексировать URL без открытия страницы. Плюс любая ошибка в файле — и робот игнорирует весь robots.txt.
Нет гарантии
Robots.txt — рекомендация. Google может показать URL в выдаче.
Утечка URL
URL из внешних ссылок попадают в индекс даже без обхода.
Ошибки в robots
Синтаксическая ошибка — робот игнорирует файл целиком.
6 методов
Как закрыть dev от индексации
1. X-Robots-Tag в HTTP-заголовке. Заголовок X-Robots-Tag: noindex, nofollow в ответе сервера — жёсткий запрет на индексацию. Работает для всех типов страниц и файлов, включая картинки и PDF. Плагин Reemake Redirect Mirror умеет отправлять этот заголовок для dev-поддомена.
2. HTTP Basic Auth. Логин и пароль на уровне сервера или .htaccess. Поисковики не могут пройти авторизацию — значит, не увидят контент.
3. 301-редирект на боевой. Если dev не нужен вовсе — самый чистый вариант. 301 на канонический домен с сохранением пути и query.
4. robots.txt как дополнение. Не как основная защита, но как дополнительный уровень. Плюс к другим методам.
5. Ограничение по IP. Разрешить доступ только сотрудникам. Работает через .htaccess или настройки хостинга.
6. Отдельный robots.txt и sitemap для dev. Отдавать для dev свою «закрытую» версию robots.txt, чтобы робот точно не нашёл страницы.
Рекомендация
Комбинированный подход
Лучший вариант — комбинация из двух методов. Например: Basic Auth + X-Robots-Tag. Первый не даёт роботу пройти, второй работает как страховка, если что-то в настройках сервера сломается. Дополнительно — 301-редирект, если dev не нужен вообще.
Вопросы и ответы
Частые вопросы
X-Robots-Tag работает для картинок и PDF?
Да. В отличие от robots.txt, заголовок закрывает любой контент: изображения, PDF, видео, любые файлы.
Что если dev уже в индексе?
После настройки защиты отправьте URL на переобход. Через 2–4 недели уйдут из индекса. Ускоряет — запрос на удаление через Яндекс.Вебмастер.
Basic Auth неудобен для команды — есть альтернатива?
Да, ограничение по IP. Настройте в .htaccess: разрешить доступ только вашим офисным IP. Или используйте VPN-подключение.
Можно ли использовать комбинацию 301 + noindex?
Не стоит. Если есть 301 — поисковик видит редирект и не индексирует зеркало. Noindex в этом случае избыточен и может создать конфликт.
Dev мешает SEO?
Настроим X-Robots-Tag, Basic Auth или 301-редирект. Проверим чистоту индекса в Вебмастере.
Обсудить задачу →
Messenger Max