Доступ к сайту осуществляется с двух разных доменов, а если быть конкретным то с поддомена основного домена. В моем случае стояла задача запретить индексирование для поддомена. Для этого необходимо в конфиг nginx добавить следующие строки:
location = /robots.txt { return 200 "User-agent: *\nDisallow: /\n"; }