To nie konfiguracja serwera jest główną przyczyną, ale struktura Twojej strony. Spójrz w swoim teście na zakładkę WATERFALL, głownym problemem w Twojej stronie są liczne odwołania do skryptów, więc serwer czy wersja php niewiele rozwiąże.Oczywiście odpowiedź serwera jest pierwszym problemem, ale popatrz na to co dzieje się potem, to chyba ze 30 s na ładowanie skryptów.
Twoja strona to 46 !!! odwołań w trakcie ładowania, a powinno ich być max. kilkanaście.

Ważna jest zawartość, do wygenerowania pierwszego widoku, dla użytkownika, a Ty na dzień dobry, masz menu, które jest pełne bezproduktywnego kodu.
Uzyj domyślnego szablonu Joomla i domyślnych modułów i wtedy wykonaj test, powinieneś zobaczyć różnicę. To co możliwe przerzuć do ładowania na końcu , a nie w nagłówku strony.