Всем привет! У меня сайт на трех языках:

Домены такого типа:

Главная язык Украинский и контент на украинском может отображаться по двум путям:

На русском и английском языке контент отображается только так:

Вопрос - для многоязычного сайта хватит стандартного robots.txt, или там нужно что-то дописывать?

P.S. также я заметила на других сайтах robots.txt, что часто стали появляться следуюoщие строки сверху
User-agent: Mediapartners-Google
Disallow:
Почитала о них и все что поняла, это что гуглю можно все сканировать. Хорошо ли это ставить вообще у себя в настройках robots.txt?