Файл robots

Файл robots.txt и и sitemap.xml обязательно должен быть на вашем сайте. Для чего нужен robots.txt? Это файл, располагающийся в корневой директории сайта, в котором прописаны специальные указания (они называются директивами) для роботов-поисковиков. Именно к нему в первую очередь обращается робот…