Без обид, но даже не знаю что сказать. Лишь одно - читайте даташиты, в т.ч. по robots.txt.
А то, что Вы привели в качестве примера википедию, которая с одной стороны не нуждается в продвижении, а с другой - русскую, у которой даже в robots.txt ошибки :), то это - крайне не удачный пример.

Quote:

Садись, двойка.