Melhor Perfomance Para Email Marketing

[keldnner]

Ta, e me diz uma coisa, o tamanho dos emails equivale ao uso da memória junto com o sistema, então se enviar para 1000 emails, a 1MB cada ele utilizaria 1GB da RAM?, mas isso é só no momento do envio, caso não envie fica na fila o que acumularia né?

[Rafael Cresci]

Enviar spam de 1MB e dupla sacanagem, primeiro pelo spam e segundo por ter esse tamanho todo :)

Mas o uso vai depender de variáveis: quanto de banda vc tem, quantas conexões simultâneas, quantas mensagens a cada quantos segundos o MTA dispara, tamanho da mensagem, quanto tempo ele demora pra conectar e despachar, onde vc coloca o outgoing spool, se é separado do retry queue, se o incoming é em outro diretório...

[keldnner]

O que disse foi apenas uma suposição, normalmente o tamanho em de 10kb por email, que é o tamanho da html...

A banda do servidor é de 100Mbps e a conexão simultânea depende da configuração da MTA né?

[keldnner]

Para não criar um novo tópico, estava analisando algumas soluções para melhorar o rendimento de um servidor dedicado próprio para envio, que na verdade foca bastante na idéia de newsletter que é usando opções de opt-in e opt-out.

1. Mudar o mysql para outro servidor, deixando apenas o Exim?

2. Rotacionar IPs variam de acordo com o número de emails para envio? Existe algum padrão ou quanto mais melhor?

2.1. Essa rotação todos os ips devem estar com o reverso feito para um determinado hostname? exemplo mx1, mx2, mx3, .....?

3. As configurações de perfomance do Exim para enviar vários emails aumentam bastante o Load do Servidor, isso é bom por enviar bastante e deixar um pouco o servidor lerdo? Ou é melhor manter o padrão e deixar sem Load?

4. Vi diversas maneiras de melhorar essa perfomance, queue_max_load, smtp_accept, entre outros, qual seria a faixa boa para isso? (Isso depende da conf do servidor, qual usam?)

5. Trabalhar com HDS SAS 15k melhoram também o rendimento, o que mais pode ser feito? RAID? Quais podem melhorar?

6. E se for SSD? melhor ainda? mesmo sem o RAID dos SAS?

7. A memória do servidor faz muita diferença? 4gb da ou para nao ter perigo 8gb é melhor?

8. Entre as perguntas 5 e 7, existe a opção de deixar tudo na memória, essa seria a mais rápida? Pelo que parece se servidor der problema (reiniciar, travar) simplesmente ele perde tudo que está na fila que seria de entrega ou congelados, correto?

9. A configuração de bounce é melhor para um email interno do domínio ou fora? Ex: gmail.

10. O dominio de envio melhora caso utilize o da empresa enviada ou não faz diferença? Exemplo, se eu envio para a empresa bananaverde ter os IPs reversos proprios dele( mx.bananaverde, mx1, mx3.bananaverde) e enviar por um email dele, exemplo envio@bananaverde.

11. A configuração padrão de DKIM e SPF do Cpanel (Atualizado recentemente) já fazem com que os servidores tenham maior confiança, além disso deve ser feito o registro no programa do hotmail entre outros para não ter problema né? Quais seriam? Links?

Obrigado desde já por ajudarem.

Editado Abril 24, 2012 por keldnner

[Jordan Miguel]

LEVANDO EM CONSIDERAÇÃO O MÁXIMO DE DESEMPENHO POSSÍVEL COM EXIM.

1. Mudar o mysql para outro servidor, deixando apenas o Exim?

O ideal é que tenha o seu software de envio em um servidor separado, se conectando ao servidor que faz os envios.. O ideal neste servidor que faz os envios, seria apenas o relayer instalado, preferenciamente o qmail, depois postfix e depois exim.

2. Rotacionar IPs variam de acordo com o número de emails para envio? Existe algum padrão ou quanto mais melhor?

O ideal é que balanceie de acordo com o número de envios.. Claro, que quanto mais IP's, melhor, pois aumentará a taxa de entrega de todos eles e o risco de blacklisting. Lembrando, que NÃO se deve fazer spam e queimar vários IP's.. Eles já estão escassos o bastante.

2.1. Essa rotação todos os ips devem estar com o reverso feito para um determinado hostname? exemplo mx1, mx2, mx3, .....?

Sim, todos devem ter reverso configurado para uma entrada A no domínio principal.

3. As configurações de perfomance do Exim para enviar vários emails aumentam bastante o Load do Servidor, isso é bom por enviar bastante e deixar um pouco o servidor lerdo? Ou é melhor manter o padrão e deixar sem Load?

Ideal é deixar na média do que o servidor pode funcionar, por exemplo, se você tem um quad core, não é bom que o load passe de 4, então, você configura de forma que fique nesta média, entre 3 e 3,5.

4. Vi diversas maneiras de melhorar essa perfomance, queue_max_load, smtp_accept, entre outros, qual seria a faixa boa para isso? (Isso depende da conf do servidor, qual usam?)

Como dito acima, vai depender muito da configuração do servidor..

5. Trabalhar com HDS SAS 15k melhoram também o rendimento, o que mais pode ser feito? RAID? Quais podem melhorar?

Com certeza, pois a spool do exim será lida de forma mais rápida.. O melhor para isto seria SSD em raid, mas seria a solução mais cara.. Como uma solução barata, seria o sugerido pelo cresci, ter uma grande quantidade de memória e por os emails em ram.

6. E se for SSD? melhor ainda? mesmo sem o RAID dos SAS?

Aí dependerá do raid, por exemplo, um Raid 1 não influenciará em nada, apenas na segurança dos dados.. Já os HD's SAS em raid 0 podem ter um maior desempenho(dependerá da velocidade dos discos). O melhor raid, seria o 10, onde você teria duas vezes a capacidade dos discos com uma garantia de segurança de dados.

7. A memória do servidor faz muita diferença? 4gb da ou para nao ter perigo 8gb é melhor?

Com certeza, principalmente se você passar sua SPOOL para ela.

8. Entre as perguntas 5 e 7, existe a opção de deixar tudo na memória, essa seria a mais rápida? Pelo que parece se servidor der problema (reiniciar, travar) simplesmente ele perde tudo que está na fila que seria de entrega ou congelados, correto?

Correto para ambas questões.

9. A configuração de bounce é melhor para um email interno do domínio ou fora? Ex: gmail.

Se você for fazer o processamento deles, talvez seja melhor deixar no próprio servidor, visto que a lógica é que este processamento seja feita de forma mais rápida.

10. O dominio de envio melhora caso utilize o da empresa enviada ou não faz diferença? Exemplo, se eu envio para a empresa bananaverde ter os IPs reversos proprios dele( mx.bananaverde, mx1, mx3.bananaverde) e enviar por um email dele, exemplo envio@bananaverde.

Eu acredito que sim, princpalmente se tiver o DOMAIN KEY configurado, mas não tenho certeza acerca desta questão.

11. A configuração padrão de DKIM e SPF do Cpanel (Atualizado recentemente) já fazem com que os servidores tenham maior confiança, além disso deve ser feito o registro no programa do hotmail entre outros para não ter problema né? Quais seriam? Links?

Deixo isto para sua pesquisa =)

[keldnner]

LEVANDO EM CONSIDERAÇÃO O MÁXIMO DE DESEMPENHO POSSÍVEL COM EXIM.

1. Mudar o mysql para outro servidor, deixando apenas o Exim?

O ideal é que tenha o seu software de envio em um servidor separado, se conectando ao servidor que faz os envios.. O ideal neste servidor que faz os envios, seria apenas o relayer instalado, preferenciamente o qmail, depois postfix e depois exim.

Então dessa forma utilizaria por exemplo o IEM, com o MySQL em um servidor com um dominio secundario, e um outro servidor com o dominio principal que será o bounce e email de autenticação para envio onde vai ser feito todo o procedimento pela MTA, sendo o mais rápido o Qmail né? O Qmail nao tem opção de rotacionar IPs?

2.1. Essa rotação todos os ips devem estar com o reverso feito para um determinado hostname? exemplo mx1, mx2, mx3, .....?

Sim, todos devem ter reverso configurado para uma entrada A no domínio principal.

Então só seria as entradas, n precisaria dos cnames

3. As configurações de perfomance do Exim para enviar vários emails aumentam bastante o Load do Servidor, isso é bom por enviar bastante e deixar um pouco o servidor lerdo? Ou é melhor manter o padrão e deixar sem Load?

Ideal é deixar na média do que o servidor pode funcionar, por exemplo, se você tem um quad core, não é bom que o load passe de 4, então, você configura de forma que fique nesta média, entre 3 e 3,5.

Acho que um dia fiz cagada, o meu chegou a 80 de Loads em um quad, asHEISAUEHSAIEUSAH.

5. Trabalhar com HDS SAS 15k melhoram também o rendimento, o que mais pode ser feito? RAID? Quais podem melhorar?

Com certeza, pois a spool do exim será lida de forma mais rápida.. O melhor para isto seria SSD em raid, mas seria a solução mais cara.. Como uma solução barata, seria o sugerido pelo cresci, ter uma grande quantidade de memória e por os emails em ram.

Mas para saber o quanto precisaria vai depender da media que o spool usa, e do tamanho da news e de quantos emails.

9. A configuração de bounce é melhor para um email interno do domínio ou fora? Ex: gmail.

Se você for fazer o processamento deles, talvez seja melhor deixar no próprio servidor, visto que a lógica é que este processamento seja feita de forma mais rápida.

Se usar a forma de separar o envio e o sistema existirá uma demora por a conexão de sistema e o email para bounce vai ser em servidores diferentes, mas se for botar na balança, o importante seria a velocidade de envio e não do sistema em verificar os emails com problema né?

[Jordan Miguel]

1 - Exatamente! Ainda não encontrei uma solução para rotação de IP's com Qmail.

2.1 - Sim, apenas as entradas e configuração junto ao DC(Geralmente no painel de controle do Dedicado se tem domínio sobre tal)

3 - Não se deve exagerar, assim, você só atrasa seu envio. rsrs

9 - Exatamente. O que não pode, é ficar uma fila enorme de emails a serem processados enquanto outros milhares estão sendo enviados.

[joaopaulo]

[DAS PERGUNTAS DO QUOTE]

1 - Com Qmail e Postfix apenas via iptables. Segue aqui um tutorial para Postfix (eu não uso qmail para isso, mas já li nalgum canto):

http://www.kutukupret.com/2009/11/30/postfix-smtp-outgoing-ip-rotator-using-iptables/

Outra coisa importante: no seu caso, você não precisa ter o servidor DNS/MYSQL no mesmo servidor de envio. Se sua base é fixa, basta jogar os emails num XML e montar um servidor apenas com APACHE+PHP+QMAIL ou POSTIFIX. Aí a cada 2/3 dias, você faz um upload da lista atualizada (via SSH) para ir acrescentando os novos contatos. O servidor DNS seria onde o dominio está hospedando. Basta criar os respectivos registros A, MX, acrescentar os emails no SPF e se usar DKIM, não esquecer da entrada TXT.

2 - Se o remetente for domain.tld, os reversos só devem ter domain.tld. Agora se o rementente for hostname.domain.tld, é bom que o reverso corresponda exatamente a isso.