Robots.txt напрямую влияет на видимость вашего сайта в поисковиках. Чем меньше лишних, неоптимизированных страниц увидит поисковик, тем лучше будет представлено ядро ключевых слов.

В данном файле есть возможность задать основные правила индексирования блога для различных поисковых систем, а также применить различные права доступа для отдельных поисковых ботов.  Читать дальше →