Backup do cpanel: supercompressão de dados sem sobrecarregar a cpu

[Jaime Silva]

Pessoal, voltei com uma ideia que gostaria de adicionar ao backup nativo do cPanel: compressão transparente de dados. A coisa toda é muito simples e com uma compresão de dados bastante eficiente sem, no entanto, provocar lentidão no servidor de origem - e nem mesmo no destino (local de armazenamento) dos backups. Sim, é possível juntar a eficiência do Rsync com a economia de espaço, tráfego de dados e grana que se obtém ao se compactar os arquivos (não, não é a opção --rsyncable do comando tar).

Principais vantagens:

1. Compatível com o backup incremental nativo do cPanel
2. A compressão é feita no servidor de destino, não no servidor local
3. Nada de .tar.gz, os arquivos copiados ficam salvos como são, tal qual os originais
4. Somente arquivos modificados são (re)compactados
5. Pode ser usado em conjunto com o CpRemote ou JetBackup

A vontade inicial era colocar isso num aplicativo (plugin do WHM), no entanto, devido a falta de tempo para juntar tudo, eu acho melhor fazer isso num script separado e torná-lo compatível com o backup incremental remoto nativo, disponível a partir da versão .66 do cPanel.

Penso em criar o sistema e manter este projeto através de financiamento coletivo (crowdfunding), dando suporte aos colaboradores. O valor a ser exigido seria algo como R$ 23,90 /mês para se ter suporte.

[Jorge Marcelino]

@Jaime Silva Ótimo! Quando iniciará?

[Jaime Silva Autor do tópico]

Bom dia. Inicio hoje.

Deixando claro que o local de armazenamento dos backups precisa ter acesso root via SSH e suporte a Rsync.

[Fabio S Araujo]

Não entendi a parte que diz pode ser usando em conjunto com o CPremote ou Jetbackup, se a pessoa já tem um desses plugins, por que deveria usar o seu?

[Jaime Silva Autor do tópico]

3 horas atrás, Fabio S Araujo disse:

Não entendi a parte que diz pode ser usando em conjunto com o CPremote ou Jetbackup, se a pessoa já tem um desses plugins, por que deveria usar o seu?

Para economizar espaço em disco ao comprimir os dados. Atualmente, você tem que escolher entre backup incremental/diferencial ou Rsync, não se pode ter os dois. Isso não é suportado nativamente.

[Fabio S Araujo]

52 minutos atrás, Jaime Silva disse:

Para economizar espaço em disco ao comprimir os dados. Atualmente, você tem que escolher entre backup incremental/diferencial ou Rsync, não se pode ter os dois. Isso não é suportado nativamente.

Isso eu entendi, achei que seu plugin seria um concorrente do jetbackup e Cpremote, nao entendi essa parte de pode trabalhar em conjunto

[chuvadenovembro]

Jaime,

Se o backup não será compactado em .tar.gz como ficará a função do rsync que compara modificação e tamanho do arquivo...o rsync vai entender que o arquivo compactado é o mesmo sem compactação?

Qual é a eficiência dessa compactação, tem algum exemplo? é possível executar algum comando e fazer um teste de compactação pra ter um parâmetro sobre eficiência dessa proposta?

Esse seu script será codificado e com licença dependendo de pagamento mensal?

[Jaime Silva Autor do tópico]

A compactação é feita a nível do sistema de arquivos, logo o Rsync vai reconhecer como um arquivo qualquer.

A taxa de compactação média fica entre 34 e 46%. Para bancos de dados, esta taxa pode ser bem maior: 72% de redução em relação ao tamanho original. Sobre o teste, você pode comparar usando os comando du -sh e df -h e ver a diferença entre o tamanho do diretório e o espaço ocupado em disco.

A ideia é que o script tenha código aberto. Sem licença formal, porém tem a licença de copyright. Você doa para apoiar o projeto e obter suporte.
Aliás, me parece que essa ideia de crowdfunding não é adequada, pois o script dificilmente precisará de manutenção e, assim, será melhor cobrar por pagamento único.