Главная › Справка › Индексация сайта
Индексация сайта: robots.txt, sitemap и переобход
Илья Козулин · обновлено 18.11.2026
Индексация — это когда поисковик обошёл страницу и положил её в свою базу. Страница вне индекса не показывается ни в поиске, ни в ответах Алисы и Google в режиме ИИ. Команда Козулина начинает каждый аудит с индексации: robots.txt, карта сайта, перенаправления, запреты и дубли.
100 000 ₽в месяц · договор на месяц
Почему сайт не индексируется
- Сайт или раздел закрыт в robots.txt строкой Disallow.
- На странице стоит запрет noindex в мета-теге или в заголовке ответа сервера.
- canonical указывает на другую страницу.
- Страницы нет в карте сайта и на неё нет ссылок с других страниц.
- Сервер отвечает ошибкой или долго.
robots.txt
Файл в корне сайта, где написано, куда роботам можно, а куда нельзя. Для нейросетей важно не закрыть YandexBot, Googlebot, OAI-SearchBot и GPTBot. Строка Sitemap в конце подсказывает, где карта сайта.
sitemap.xml
Список всех страниц, которые должны быть в поиске, с датой изменения. Отправляется в Вебмастер и Search Console. В карте не должно быть адресов с перенаправлением, 404 и закрытых от индексации.
Как ускорить индексацию
- Отправить страницы на переобход в Яндекс Вебмастере.
- Сообщить о них через IndexNow: его принимает Яндекс.
- В Search Console — «Проверка URL» и «Запросить индексирование».
- Поставить ссылку на новую страницу с главной или из меню.
Когда Команда Козулина выкладывает страницы клиента, она отправляет их в IndexNow в тот же день. На teamkozulin.ru так ушли 33 адреса за один заход.
Сколько стоит
100 000 ₽ в месяц
Договор на месяц. Замер и отчёт приходят до оплаты следующего месяца.
- до 20 материалов на площадках, которые цитируют нейросети
- 5 страниц сайта: тексты, заголовки, цена «от», разметка
- аудит сайта до 2 500 адресов с ТЗ разработчику каждый месяц
- SEO: Метрика, Вебмастер и Search Console, 24 действия в первый месяц
- ссылки через SAPE, каждый домен проверяем по Ahrefs
- материалы в СМИ со второго месяца
- замер в Алисе, ChatGPT и Google в режиме ИИ до первой оплаты и каждый месяц
10 000 ₽
за каждую статью сверх 20 в месяц. Объём вы называете в начале месяца и меняете когда хотите.
- 30 статей — 200 000 ₽
- 50 статей — 400 000 ₽
- 70 статей — 600 000 ₽
5 страниц сайта входят при любом объёме. Подробно о цене
Бесплатный аудит до договора
Задаю 30 запросов вашего рынка Алисе, ChatGPT и Google и показываю, в скольких ответах из 90 называют вас, а в скольких конкурентов и с каких сайтов нейросеть это берёт. Плюс выдача Яндекса и Google, весь ваш сайт и план работ по месяцам. Документ остаётся у вас.
Получить аудит в TelegramВопросы
Как проверить индексацию сайта?
В Яндекс Вебмастере — «Страницы в поиске», в Search Console — «Индексирование страниц». Быстро проверить запреты можно в проверке сайта.
Что такое robots.txt?
Файл в корне сайта с правилами для поисковых роботов: какие разделы обходить нельзя и где карта сайта.
Как ускорить индексацию сайта?
Отправить страницы на переобход в Вебмастере, через IndexNow и в Search Console и поставить на них ссылки с главной.