Дубли страниц на сайте: откуда берутся и как их убрать

Дубль — это одинаковое или почти одинаковое содержимое, доступное по разным адресам. Для человека разница незаметна: он видит одну и ту же страницу. Для поисковой системы это разные страницы, и ей приходится выбирать, какую из них показывать в выдаче. Иногда она выбирает не ту, которую вы продвигаете, а сигналы — ссылки, поведение пользователей — распыляются между копиями.

Дубли редко появляются специально. Чаще это следствие настроек сервера, особенностей платформы или ошибок при разработке.

Виды дублей

Полные технические дубли

Одна и та же страница открывается по нескольким адресам:

• с www и без: www.example.com и example.com;
• по http и https;
• со слешем в конце и без: /blog и /blog/;
• с index.php или index.html: /index.php и /;
• в разном регистре: /Services и /services;
• с параметрами, которые не меняют содержание: ?utm_source=..., ?ref=....

Частичные дубли

Страницы с разным адресом, но очень похожим содержанием:

• страницы пагинации с одинаковыми title и description;
• страницы сортировки и фильтров в каталоге;
• версии для печати;
• одинаковые описания у разных товаров или услуг;
• страницы городов, отличающиеся только названием.

Смысловые дубли

Две разные страницы отвечают на один и тот же запрос: две статьи на почти одинаковую тему, две страницы одной услуги в разных разделах. Они конкурируют между собой в поиске — это называют каннибализацией.

Как найти дубли

• Вручную проверьте основные варианты адреса главной: с www и без, http и https, с /index.php. Все они должны перенаправлять на один основной адрес.
• Панели вебмастера. В Яндекс.Вебмастере и Search Console есть отчёты о страницах-дублях и о том, какую версию поисковик выбрал канонической.
• Краулер. Программы обхода сайта находят страницы с одинаковыми title, description и содержимым.
• Поиск по сайту в поисковой системе с оператором site: и фрагментом текста — покажет, сколько адресов с этим текстом проиндексировано.

Как убрать дубли

301-редирект

Для полных технических дублей лучшее решение — постоянный редирект на основной адрес. Он склеивает версии и передаёт сигналы основной странице. Важно, чтобы редирект был одношаговым: http://www.example.com/blog/ должен сразу вести на https://example.com/blog, а не через три промежуточных адреса.

Canonical

Тег rel="canonical" указывает основную версию страницы, когда редирект невозможен — например, для страниц с метками рекламы или сортировкой. Пользователь остаётся на странице, а поисковик понимает, какой адрес индексировать.

Noindex

Мета-тег noindex исключает страницу из индекса. Подходит для служебных страниц, результатов поиска по сайту, комбинаций фильтров без спроса. Помните: страницу с noindex нельзя закрывать в robots.txt, иначе робот не увидит тег.

Уникализация

Для частичных дублей — карточек похожих товаров, страниц услуг — решение не техническое, а контентное: написать уникальные описания, заголовки, добавить отличающуюся информацию.

Объединение

Смысловые дубли лучше объединить: из двух слабых статей сделать одну сильную, а со второй поставить 301-редирект.

Пагинация

Страницы списка — вторая, третья и далее — не являются дублями, если на них разные материалы. Но их title и description должны отличаться, например номером страницы. Каноническим адресом для каждой страницы пагинации указывается она сама, а не первая страница списка: иначе поисковик может не найти материалы с дальних страниц.

Фильтры в каталоге

Для интернет-магазинов это отдельная большая тема: комбинации фильтров способны создать тысячи почти одинаковых страниц. Подробно разбираем в статье фильтры в интернет-магазине и SEO.

Тестовые копии и зеркала

Отдельный источник дублей — копии сайта на других адресах: тестовый сервер разработчика, старый домен, который продолжает работать параллельно с новым, технический поддомен хостинга. Если такие копии открыты для индексации, поисковик может посчитать их самостоятельными сайтами с тем же содержимым. Тестовые версии нужно закрывать паролем, старые домены — перенаправлять постоянным редиректом на основной, а технические адреса хостинга — не публиковать и при возможности закрывать.

Профилактика: как не создавать дубли

• настроить главное зеркало и формат адресов до запуска;
• генерировать canonical автоматически на всех страницах;
• не допускать одинаковых title — хорошая админ-панель предупреждает о совпадениях;
• использовать уникальные слаги и проверять их при создании страниц;
• при смене адреса страницы автоматически создавать 301-редирект со старого.

Всё это я закладываю в сайты на этапе разработки. Например, в моей админ-панели при сохранении статьи проверяется уникальность адреса, а SEO-подсказки показывают потенциальные дубли заголовков.

Итог

Дубли размывают сигналы и мешают поисковой системе понять, какую страницу показывать. Большинство из них устраняются техническими настройками — редиректами и canonical, остальные — работой с контентом. Проверьте свой сайт по списку выше или посмотрите мой чек-лист технического SEO. Если нужна помощь, я найду и устраню дубли в рамках технической поддержки, а на новых проектах закладываю защиту от дублей при разработке сайта. Оставьте заявку.