User-agent: Yandex
Disallow: /*.php$  # запрещает все '*.php' на данном сайте
Disallow: /*/.docs/ # запрещает все подпути содержащие
Disallow: /*/.file/ # запрещает все подпути содержащие