Внимательно смотрел ваш сайт вчера и сегодня, вот что выявил.
Подправил настройки сайта следующим образом

Была включена отладка, которая серьезно съедает память и местами съедает время на сбор системной информации.
Работа с APC в качестве кэша переменных на хостинге не особо оптимизирована, с файлами работает быстрее (мое скромное мнение).
Страница категорий грузится долго в основном из-за большого кол-ва материалов внутри категории.
Конкретно проблемы в этом месте
components\com_zoo\controllers\default.php

На странице продукта проблема с позицией tab-text
Много времени тратится на выборку

Влияет именно кол-во материалов внутри категории, а не общее их кол-во в каталоге.
+ сделал некоторые небольшие оптимизации, конкретно для вашего сайта.
Сам хостинг у вас хороший, но на мой взгляд дороговат.
Как вариант я могу вам сделать насильное кеширование страниц категории, можно уменьшить время генерации -1 секунду.
но лучше конечно разделить товары на дополнительные категории. Так чтобы получилось порядка 2-4 тыс товаров на категорию.
Сейчас в некоторых по 30 000+