Команда КозулинаКоманда КозулинаБесплатный аудит
Меню

Главная › Справка › Индексация сайта

Индексация сайта: robots.txt, sitemap и переобход

Илья Козулин · обновлено 18.11.2026

Индексация — это когда поисковик обошёл страницу и положил её в свою базу. Страница вне индекса не показывается ни в поиске, ни в ответах Алисы и Google в режиме ИИ. Команда Козулина начинает каждый аудит с индексации: robots.txt, карта сайта, перенаправления, запреты и дубли.

100 000 ₽в месяц · договор на месяц

Почему сайт не индексируется

  • Сайт или раздел закрыт в robots.txt строкой Disallow.
  • На странице стоит запрет noindex в мета-теге или в заголовке ответа сервера.
  • canonical указывает на другую страницу.
  • Страницы нет в карте сайта и на неё нет ссылок с других страниц.
  • Сервер отвечает ошибкой или долго.

robots.txt

Файл в корне сайта, где написано, куда роботам можно, а куда нельзя. Для нейросетей важно не закрыть YandexBot, Googlebot, OAI-SearchBot и GPTBot. Строка Sitemap в конце подсказывает, где карта сайта.

User-agent: * Disallow: /admin/ Sitemap: https://site.ru/sitemap.xml

sitemap.xml

Список всех страниц, которые должны быть в поиске, с датой изменения. Отправляется в Вебмастер и Search Console. В карте не должно быть адресов с перенаправлением, 404 и закрытых от индексации.

Как ускорить индексацию

  1. Отправить страницы на переобход в Яндекс Вебмастере.
  2. Сообщить о них через IndexNow: его принимает Яндекс.
  3. В Search Console — «Проверка URL» и «Запросить индексирование».
  4. Поставить ссылку на новую страницу с главной или из меню.

Когда Команда Козулина выкладывает страницы клиента, она отправляет их в IndexNow в тот же день. На teamkozulin.ru так ушли 33 адреса за один заход.

Сколько стоит

100 000 ₽ в месяц

Договор на месяц. Замер и отчёт приходят до оплаты следующего месяца.

  • до 20 материалов на площадках, которые цитируют нейросети
  • 5 страниц сайта: тексты, заголовки, цена «от», разметка
  • аудит сайта до 2 500 адресов с ТЗ разработчику каждый месяц
  • SEO: Метрика, Вебмастер и Search Console, 24 действия в первый месяц
  • ссылки через SAPE, каждый домен проверяем по Ahrefs
  • материалы в СМИ со второго месяца
  • замер в Алисе, ChatGPT и Google в режиме ИИ до первой оплаты и каждый месяц

10 000 ₽

за каждую статью сверх 20 в месяц. Объём вы называете в начале месяца и меняете когда хотите.

  • 30 статей — 200 000 ₽
  • 50 статей — 400 000 ₽
  • 70 статей — 600 000 ₽

5 страниц сайта входят при любом объёме. Подробно о цене

Бесплатный аудит до договора

Задаю 30 запросов вашего рынка Алисе, ChatGPT и Google и показываю, в скольких ответах из 90 называют вас, а в скольких конкурентов и с каких сайтов нейросеть это берёт. Плюс выдача Яндекса и Google, весь ваш сайт и план работ по месяцам. Документ остаётся у вас.

Получить аудит в Telegram

Вопросы

Как проверить индексацию сайта?

В Яндекс Вебмастере — «Страницы в поиске», в Search Console — «Индексирование страниц». Быстро проверить запреты можно в проверке сайта.

Что такое robots.txt?

Файл в корне сайта с правилами для поисковых роботов: какие разделы обходить нельзя и где карта сайта.

Как ускорить индексацию сайта?

Отправить страницы на переобход в Вебмастере, через IndexNow и в Search Console и поставить на них ссылки с главной.