O que fazer para o server detectar e bloquear conta ou email que esteja enviando spam?

Detectar por cabeçalho e corpo iguais(idênticos)

Exemplo: Assunto: Vai spam :)

Corpo: Aqui é um spam :(

Como posso gerenciar isso de forma automática?

Tem uma maneira que ajuda muito contra isso, que é a opção Max hourly emails encontrada na Tweak Settings.

Acho que e por VPS sem cpanel eu acho amigo.

Dica, disable nobody send, no tweak settings.