Каждый блог дает свой ответ на этот счет. Поэтому новички в поисковом продвижении часто путаются, вот так: Что за роботс ти экс ти? Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы...