Генератор robots.txt
Генератор robots.txt собирает готовый файл с правилами для поисковых роботов — какие разделы сайта закрыть от индексации и где искать карту сайта sitemap.xml.
Как пользоваться инструментом «Генератор robots.txt»
Перечислите пути, которые нужно закрыть от индексации (каждый Disallow с новой строки), укажите адрес sitemap.xml — готовый текст файла сформируется автоматически. Скачайте его и загрузите в корень сайта под именем robots.txt.
Частые вопросы
Куда загружать готовый файл?
В корневую папку сайта (обычно public_html), чтобы он был доступен по адресу вашсайт.ru/robots.txt.
Что если оставить поле Disallow пустым?
Тогда все разделы сайта остаются открытыми для индексации — файл всё равно будет содержать корректный User-agent и Sitemap.
Обязателен ли robots.txt для SEO?
Формально нет, но он помогает управлять тем, что поисковые роботы индексируют, и снижает нагрузку на сканирование ненужных страниц.