С удивлением обнаружил в robots.txt строчку Disallow: /sites/. Если файлы расположены не в /files/, а в /sites/*/files, то яндексы-гуглы не будут индексировать значительную часть файлов (doc, pdf, картинки и т.п.). Баг имхо, обсуждается, в частности, здесь http://drupal.org/node/494462.

У меня есть установка дрюпала с мультисайтингом на 30 сайтов, которой уже много-много лет, и большинство сайтов хранят файлы в /sites/. И все эти годы куча файлов не индексировалась. Обнаружил, когда посмотрел логи Яндекс.Сервера.