User-agent: *
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Visit-time: 2300-0545     # загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.