Проверка файла robots.txt
Сегодня открыл вебмастер Google и был удивлен появлением нового инструмента для проверки файла robots.txt. Сейчас создание правильного файла не вызывает трудностей, как то уже само собой всё понятно, а вот пару лет назад процесс добавления файла индексации для поисковых систем вызывал определенные проблемы.
Мой файл был сделан правильно, поэтому ошибок и предупреждений новый инструмент мне не выдал. Мы знаем, что каждый файл создается под конкретную панель управления сайтами CMS, а вот правильно ли мы настроили директории и не закрыли ли нужные страницы от индексации, остается для нас загадкой. На скриншоте отметил путь к инструменту в вебмастере, не все же гуру оптимизации и вебмастера гугл. Ошибки и предупреждения инструмент показывает сразу, стоит проверить даже если вы уверены, что ваш файл сделан правильно и вы не можете ошибиться.
Для проверки присутствия страницы в индексе необходимо снизу указать её url и проверить, тут то вам и покажет участвует ли ваша страница в поисковой выдаче или гугл её закинул на задворки интернета. В панели управления предусмотрена возможность редактирования файла, очень удобно, отредактировал и проверил, главное не забыть после устранения проблем загрузить его на сайт, а старый robots.txt убрать.
Рекомендуем самостоятельно проверить ваш файл robots.txt в вебмастере Google, мы оказываем помощь по поисковому продвижению, рассчитать стоимость услуг и оформить заказ сопровождения вашего проекта можно на нашем сайте.
