User-agent: *
#Disallow: /search2.php
Disallow: /page_rank.php
Disallow: /toprank.php
Disallow: /search
#Disallow: /forum
Disallow: /images/
Disallow: /flash/
Disallow: /js/
Disallow: /swf/
Request-rate: 1/3600   # загружать не более одной страницы в час
Visit-time: 2200-0100  # загружать страницы только в промежуток с 22:00 до 01:00 GMT (с 3 до 6 утра по ташкентскому времени).