Собственно в настройке темы. Только формат ico используй. Другие форматы не всеми броузерами потдерживаются. Сервисы по созданию ico файлика.
http://www.chami.com/html-kit/services/Favicon/
http://www.favicon.cc/

P.S.: Гугла рулит всегда.

Топикстартер наверное имел ввиду лого в теме оформления.
Самый радикальный способ-открыть page.tpl.php ,найти соответствующие инклюды (что то типа print logo для логотипа и print sitename для названия сайта)и вырезать