ZFS no Proxmox: ARC, pools, compressão e a RAM que ele pede

Por que o ZFS consome tanta memória, como dimensionar o ARC, qual topologia de pool escolher e os ajustes que mais afetam desempenho de VM.

Equipe Solvefy 7 min de leitura

O ZFS é provavelmente o melhor sistema de arquivos disponível para storage local em um hipervisor: checksum de integridade em cada bloco, snapshot instantâneo, compressão transparente e replicação entre nós. E é também o que mais gera dúvida na operação, por uma razão específica — ele usa a memória do servidor de um jeito que parece errado e não é.

Este texto cobre as decisões que mais afetam o resultado.

O ARC e a memória "consumida"

A reclamação mais comum: "o ZFS comeu toda a RAM do servidor".

O ARC é o cache de leitura do ZFS, em memória. Ele é agressivo de propósito: ocupa a memória livre disponível porque memória ociosa não serve para nada, e devolve quando outro processo precisa.

Duas informações que resolvem a maior parte da confusão:

  • O ARC é liberado sob pressão. Se uma VM precisa de memória, o ZFS reduz o cache. Não há competição real.
  • Memória de ARC não é desperdício — é o que evita ir ao disco. Reduzi-lo demais torna o storage mais lento, não o servidor mais folgado.

O que de fato precisa ser feito em um hipervisor é limitar o ARC a um valor explícito. O padrão é generoso para um servidor de arquivos e inadequado para um nó que precisa de memória previsível para VMs.

A prática que funciona: reserve para o ARC algo em torno de 10 a 20% da memória do nó, com um piso de alguns gigabytes, e inclua esse valor no cálculo de capacidade — a memória do ARC não está disponível para VMs. O erro que vemos é dimensionar as VMs para toda a memória do servidor e depois descobrir que o nó está apertado.

Deixar o padrão em um nó com VMs leva ao sintoma clássico: o nó parece ter memória, o ZFS está usando, e o processo de uma VM nova não encontra espaço na hora de iniciar.

Topologia do pool

A decisão estrutural, e a que não dá para mudar depois sem recriar o pool.

TopologiaRedundânciaDesempenho de escritaPerda de espaço
Espelho (mirror)sobrevive a 1 disco por parmelhor50%
RAIDZ1sobrevive a 1 discopior1 disco
RAIDZ2sobrevive a 2 discospior2 discos
Espelhos agrupados1 por par, vários paresmelhor50%

Para storage de VM, a recomendação é clara e contraria a intuição de quem vem de RAID tradicional: use espelhos, não RAIDZ.

O motivo é o padrão de acesso. Carga de VM é feita de muitas operações pequenas e aleatórias. RAIDZ precisa envolver todos os discos do grupo em cada escrita, o que faz o desempenho de operações por segundo ser aproximadamente o de um único disco, independentemente de quantos discos existam no grupo. Espelhos agrupados somam o desempenho de cada par.

RAIDZ é excelente para arquivos grandes e sequenciais — backup, arquivo morto, mídia. Para disco de VM, custa caro em desempenho e o espaço economizado raramente compensa.

Uma consequência prática de dimensionamento: com espelhos, metade da capacidade bruta é redundância. Quem orça contando com a eficiência do RAIDZ e descobre depois que precisa de espelhos tem um problema de orçamento.

Compressão: ligue

Um dos poucos ajustes que melhora tudo ao mesmo tempo. A compressão padrão moderna é rápida o suficiente para que o ganho de I/O supere o custo de CPU — o disco transfere menos bytes, então ler e escrever fica mais rápido, não mais lento.

Em dado de VM, a taxa típica fica entre 1,3 e 2 vezes, dependendo do conteúdo. Dado já comprimido (vídeo, imagem, arquivo compactado) não comprime mais, e o ZFS percebe isso e não insiste.

Deve estar ligada em praticamente todo pool. É o ajuste de melhor relação entre benefício e risco do ZFS.

O que normalmente não vale a pena

Deduplicação. Parece atraente e exige uma quantidade enorme de memória para manter a tabela de blocos — memória que, se faltar, degrada o pool inteiro de forma difícil de reverter. Para VM, a compressão entrega boa parte do benefício sem o risco. A recomendação é direta: não ligue, salvo caso muito específico e dimensionado com cuidado.

Cache de leitura em disco separado. Faz sentido quando o pool é de discos mecânicos e há um SSD disponível. Em pool já de SSD ou NVMe, o ganho é marginal.

Dispositivo de log de escrita separado. Só ajuda escrita síncrona. Se for usar, precisa ser um dispositivo com proteção contra perda de energia — caso contrário ele se torna exatamente o ponto onde o dado se perde em uma queda, que é o oposto do objetivo.

Os ajustes que afetam VM

Tamanho de bloco do volume. É o ajuste mais impactante e o menos conhecido. Ele precisa ser definido na criação do volume e tem efeito direto no desempenho e na eficiência:

  • Valor muito pequeno aumenta o custo de metadados.
  • Valor muito grande causa amplificação de escrita: alterar poucos bytes obriga a reescrever um bloco inteiro.

O padrão do Proxmox é razoável para uso geral. Para banco de dados, vale alinhar o tamanho do bloco ao tamanho da página do banco — é um dos ajustes de maior efeito em carga transacional.

Descarte de blocos. Habilitado na VM, com o disco marcado como SSD quando o storage é SSD. Sem isso, o espaço apagado dentro da VM nunca é devolvido ao pool, e o consumo só cresce.

Atualização de horário de acesso. Desligar reduz escritas desnecessárias sem efeito prático para disco de VM.

Snapshot e replicação

Duas funções do ZFS que mudam a operação:

Snapshot é instantâneo e ocupa pouco no início, crescendo conforme o dado muda. Excelente como rede de proteção antes de uma mudança. Com a ressalva de sempre: não é backup — mora no mesmo pool do dado e não sobrevive à perda dele.

Replicação envia as diferenças entre snapshots para outro nó, em intervalo definido. É o que viabiliza alta disponibilidade com storage local: a VM pode subir no outro nó porque uma cópia recente do disco já está lá.

A consequência que precisa estar escrita no acordo de serviço: o RPO é igual ao intervalo de replicação. Replicando a cada 15 minutos, você perde até 15 minutos em um failover. Não é zero, e o cliente precisa saber disso antes do incidente.

Manutenção

  • Verificação periódica do pool (scrub), que lê tudo e confere os checksums, corrigindo silenciosamente o que estiver corrompido. Mensal é uma cadência razoável, em janela de baixo movimento.
  • Monitorar o estado do pool e erros por disco. O ZFS contabiliza erros de leitura, escrita e checksum — e erro de checksum crescente é o melhor aviso antecipado de disco morrendo que existe.
  • Vigiar a ocupação. Acima de cerca de 80%, o desempenho de escrita degrada de forma perceptível. Planeje para não chegar lá.
  • Acompanhar o atraso da replicação, que é uma falha silenciosa: replicação parada não gera erro, só aumenta o seu RPO sem avisar.
  • Snapshots esquecidos, que consomem espaço em silêncio.

Erros comuns

  • Deixar o ARC no padrão em um nó com VMs.
  • Não descontar a memória do ARC do cálculo de capacidade.
  • Usar RAIDZ para disco de VM e estranhar o desempenho.
  • Orçar capacidade com a eficiência do RAIDZ e precisar de espelhos.
  • Deixar a compressão desligada.
  • Ligar deduplicação sem dimensionar a memória necessária.
  • Dispositivo de log de escrita sem proteção contra perda de energia.
  • Tamanho de bloco inadequado para banco de dados.
  • Descarte de blocos desabilitado, com o pool só crescendo.
  • Operar acima de 80% de ocupação.
  • Não monitorar erros de checksum por disco.
  • Não monitorar o atraso da replicação.
  • Não escrever o RPO da replicação no acordo de serviço.
  • Tratar snapshot como backup.
  • Nunca rodar verificação do pool.

Onde a Solvefy/Cloud entra

Como parceiros oficiais Proxmox, dimensionamos e operamos ZFS com as decisões que não dá para refazer depois: topologia adequada à carga, ARC limitado e descontado da capacidade, compressão ligada, tamanho de bloco alinhado ao uso, descarte habilitado, replicação com RPO definido e escrito, e monitoramento de erros de checksum, ocupação e atraso de replicação — com verificação periódica agendada. Também fazemos a comparação honesta entre ZFS local com replicação e Ceph distribuído para o seu caso, que é uma decisão de RPO e de orçamento antes de ser técnica.

Seu ZFS está dimensionado ou só está funcionando? Fazemos um diagnóstico gratuito da infraestrutura, sem compromisso, em solvefy.cloud.

Solvefy/Cloud — Infraestrutura que cresce com você.

Faça agora o seu diagnóstico e orçamento

Inicie com um diagnóstico gratuito da sua infraestrutura e receba uma proposta personalizada, com escopo, cronograma e valores.