User-agent: *    # применимо ко всем роботам
Disallow:       # запрещает индексирование всех страниц