Генератор robots.txt

Создайте файл robots.txt для вашего сайта за 30 секунд