Robots.txt – общие понятия

Robots.txt представляет собой простой текстовый файл с набором правил индексации сайта поисковыми роботами. Наличие файла Robots.txt необязательно, но позволяет существенно увеличить скорость индексации сайта. Имейте в виду, что директивы в этом файле имеют исключительно рекомендательный характер, и нет полной гарантии, что поисковый робот будет их выполнять. Однако, в большинстве случаев, поисковые роботы индексируют сайт с учетом директив файла Robots.txt. Читать далее…