В рамках данного kworkа я досконально настрою ваш robots.txt. За что отвечают данный файл? robots.txt — текстовый файл в формате .txt, который размещается в корневой папке сайта и дает инструкции поисковым роботам в формате разрешить/запретить индексирование той или иной страницы/раздела сайта….
