Как убрать некачественные страницы в Яндекс с помощью robots.txt
SEO секреты с Сергеем Сивковым
2,02 тыс. подписчиков
Robots.txt – это текстовый файл, расположенный в корне сайта, который позволяет ограничить роботам Яндекса и Гугла доступ к страницам сайта. 0:00 – Вступление. 0:36 – Как почистить некачественные страницы сайта с помощью robots.txt. 1:12 – Закрываем в robots.txt страницы фильтров (в интернет-магазине или др. сайте) – страницы с параметрами. 2:02 – Закрываем страницы добавления в корзину (в интернет-магазине). 2:27 – Пагинация (это порядковая нумерация страниц). Закрываем ненужные страницы в пагинации в разделе каталога. 3:36 – Закрываем в robots.txt страницы с UTM-метками (это параметр в URL (в адресе страницы), используемый для отслеживания рекламных кампаний в контекстной рекламе или любой другой). 4:18 – Закрываем другие языки и автоперевод (некачественный перевод автотранслитером). 5:12 – Мои мысли насчет robots.txt. Почему нужно вручную составлять этот файл. 5:30 – Закрытие системных страниц для CMS. 5:50 – Где находятся некачественные страницы в Яндекс.вебмастере.