Безусловно, на сайте можно почерпнуть больше, но бумажную книгу тоже кайф полистать иногда.

penexe мня опередил, писал в точности такой же пост

Роботы поисковых систем не пойдут туда, куда нужна авторизация. Для них можно прописать нежелательные ссылки в robots.txt (rel=nofollow это только для гугля). А если Вы утверждаете, что некие роботы авторизируются и заходят к Вам )) то тем пофиг на директивы