Agradeço a todos por tentar ajudar, mas não resolvi o problema.

Eu acabei deixando esse WHMCS em outra hospedagem que tenho aqui com LiteSpeed e voltou a funcionar normalmente.

Não sei dizero que realmente era o problema, nenhuma das soluções apresentada resolveram o problema.

Abraço

Allan

Você tem que liberar as portas 25,587,110,143 no OUT e IN do firewall.. e também verificar se seu server aceita SMTP remoto. (Alguns PHP MAILER funcionam como SMTP remoto.)