Проверка файла robots.txt
Сегодня открыл вебмастер Google и был удивлен появлением нового инструмента для проверки файла robots.txt. Сейчас создание правильного файла не вызывает трудностей, как то уже само собой всё понятно, а вот пару лет назад процесс добавления файла индексации для поисковых систем вызывал определенные проблемы. Читать далее »