Не секрет, что правильно составленный robots.txt (простой текстовый файл, лежащей в корневой директории сайта) крайне необходим для правильной индексации сайта, исключения из индекса технических страниц, правильного восприятия сайта Яндексом (с www или без).
(далее…)
NexusLab.ru
Инструменты вебмастеров