На эту тему много материала уже написано, можно почитать в блоге http://drupal-admin.ru

В кратце для выделенного сервера можно начать с этого:
1) Для ускорения работы с анонимными запросами можно попробовать кэширующий прокси varnish/nginx или модуль boost
2) Для ускорения работы с авторизованными запросами можно начать с memcached
3) Если много статики, то настроить Nginx перед Apache
4) Настроить APC для кэширования php

Если у Вас шаред хостинг, то наверное нужно начать с модуля Boost. Если не поможет, то выбрать оптимизированный под Drupal шаред хостинг.

Если проблемы остануться, то обращайтесь.