Sitemap.xml и robots.txt: как настроить правильно

Robots.txt и sitemap.xml — служебные файлы, которые посетители сайта никогда не видят. Но именно с них поисковые роботы начинают знакомство с сайтом. Ошибка в robots.txt может закрыть от поиска весь сайт, а неправильная карта сайта — заставить робота тратить время на мусорные страницы вместо важных.

Разберём, как устроены оба файла и как их настроить.

Что такое robots.txt

Robots.txt — текстовый файл в корне сайта (по адресу /robots.txt), в котором указано, какие разделы роботам не нужно обходить. Поисковые системы читают его перед обходом сайта.

Простой пример для сайта компании:

User-agent: *
Disallow: /admin
Disallow: /search
Sitemap: https://example.com/sitemap.xml

Что закрывать

• админ-панель и служебные адреса;
• страницы внутреннего поиска по сайту;
• корзину, оформление заказа, личный кабинет;
• технические адреса, которые не несут ценности для поиска.

Что не закрывать

• CSS, JavaScript и изображения. Поисковые системы отрисовывают страницы почти как браузер. Если стили и скрипты закрыты, робот может решить, что страница сломана или не адаптирована под мобильные.
• Страницы, которые вы хотите видеть в поиске. Звучит очевидно, но после разработки нередко остаётся Disallow: / с тестового сервера.

Важные нюансы

Robots.txt не защищает страницы. Это рекомендация для добросовестных роботов, а не замок. Файл публичный, и любой может увидеть, какие разделы вы «прячете». Конфиденциальные разделы нужно закрывать авторизацией.

Запрет в robots.txt не удаляет страницу из индекса. Если на закрытую страницу есть ссылки, она может оставаться в поиске без описания. Чтобы убрать страницу из выдачи, используют мета-тег noindex — и при этом страницу нельзя закрывать в robots.txt, иначе робот не увидит noindex.

Что такое sitemap.xml

Sitemap.xml — список адресов страниц, которые вы хотите видеть в поиске. Он помогает роботу быстрее находить новые и обновлённые страницы, особенно если сайт большой или внутренняя перелинковка слабая.

Для каждой страницы можно указать дату последнего изменения (lastmod). Её стоит указывать, только если она отражает реальное обновление содержимого: если дата меняется при каждом обращении, поисковики перестают ей доверять.

Что включать в карту сайта

• опубликованные страницы, открытые для индексации;
• только канонические адреса — без параметров, сортировок, меток рекламы;
• только страницы, которые отвечают кодом 200.

Что исключать

• черновики и неопубликованные материалы;
• страницы с noindex;
• адреса, которые перенаправляют на другие страницы;
• админ-панель, авторизацию и служебные адреса;
• пустые категории и страницы без полезного содержания.

Индекс карт

Если страниц много, удобно разделить карту на несколько файлов — например, отдельно страницы, услуги и статьи — и объединить их файлом-индексом. Так проще находить проблемы: в панели вебмастера видно, какая часть сайта индексируется хуже.

Автоматическая генерация

Карта сайта должна обновляться сама при публикации, изменении или удалении материалов. Ручной файл, загруженный однажды при запуске, быстро устаревает: новые статьи в нём не появляются, удалённые страницы остаются. На моих проектах sitemap формируется автоматически и учитывает статус публикации и настройки индексации каждой страницы.

Как файлы работают вместе

Robots.txt и sitemap решают разные задачи, но должны согласовываться друг с другом. Robots.txt говорит, куда роботу не ходить, sitemap — какие страницы особенно важны. Если адрес одновременно есть в карте сайта и запрещён в robots.txt, поисковая система получает противоречивые сигналы и сообщает об этом в панели вебмастера. Поэтому при каждом изменении правил в robots.txt полезно проверить, не попадают ли под запрет страницы из карты сайта, и наоборот.

Также помните о разных версиях сайта. Если сайт доступен и по www, и без него, у каждой версии будет свой robots.txt. Правильное решение — склеить версии постоянным редиректом, чтобы роботы видели только один основной адрес и один набор служебных файлов.

Тестовая версия сайта

Отдельная история — staging, тестовая копия, на которой разработчики проверяют изменения. Её нужно надёжно закрыть от поисковиков: лучше всего паролем, дополнительно — запретом в robots.txt и заголовком noindex. Иначе тестовая копия может попасть в индекс и конкурировать с основным сайтом за те же запросы. При этом правила тестовой версии ни в коем случае не должны попасть на рабочий сайт при выкладке — это одна из самых болезненных ошибок запуска. Надёжный подход — когда запрет индексации включается автоматически в зависимости от окружения, а не правкой файла вручную.

Частые ошибки

1. Disallow: / в robots.txt после переноса с тестового сервера.
2. Закрыты папки со стилями и скриптами.
3. В карте сайта страницы с noindex — противоречивый сигнал для поисковика.
4. В карте сайта адреса с редиректами или ошибкой 404.
5. Карта не обновлялась с момента запуска.
6. В robots.txt не указан адрес карты сайта.
7. Тестовая копия сайта открыта для индексации и конкурирует с основной.

Как проверить

• Откройте /robots.txt и /sitemap.xml в браузере — файлы должны открываться без ошибок.
• В Яндекс.Вебмастере есть инструмент анализа robots.txt: можно проверить, разрешён ли конкретный адрес.
• В Google Search Console и Яндекс.Вебмастере добавьте карту сайта и следите за отчётом: сколько адресов найдено и сколько проиндексировано.
• Выборочно откройте несколько адресов из карты и убедитесь, что они существуют и открыты для индексации.

Итог

Правильно настроенные robots.txt и sitemap.xml — базовая гигиена сайта. Они не продвигают сайт сами по себе, но без них даже хороший контент может индексироваться медленно или неполно. Подробнее о других базовых проверках — в чек-листе технического SEO. Если хотите проверить настройку на своём сайте, это входит в техническую поддержку, а на новых сайтах я настраиваю всё при разработке. Оставьте заявку, и я посмотрю ваш сайт.