Ceph no dia a dia: OSD fora, rebalanceamento e recuperação

O que fazer quando um OSD cai, como ler o estado do cluster, por que a recuperação deixa tudo lento e os limiares de disco que travam a escrita.

Equipe Solvefy 7 min de leitura

Instalar Ceph no Proxmox é razoavelmente simples — o painel conduz o processo e em algumas horas o cluster está de pé. Operá-lo no dia em que algo sai do lugar é outra conversa, e é onde a maioria das equipes descobre que não sabe ler o que o cluster está dizendo.

Este texto cobre a operação cotidiana: o que cada estado significa, o que fazer quando um disco cai, por que a recuperação derruba o desempenho e os limiares que param a escrita.

Como ler o estado do cluster

Três estados, e o do meio é o que gera mais dúvida.

HEALTH_OK — tudo alocado, todas as réplicas presentes.

HEALTH_WARN — o dado está íntegro e servindo, mas algo exige atenção. Não é emergência, e não é normal: WARN permanente significa que alguém parou de olhar.

HEALTH_ERR — há risco de perda de dado ou indisponibilidade. Exige ação imediata.

As causas mais comuns de WARN, em ordem de frequência:

  • Um OSD fora do cluster.
  • Recuperação ou redistribuição em andamento — neste caso é temporário e esperado.
  • Disco acima do limiar de aviso de ocupação.
  • Número de grupos de posicionamento inadequado para a quantidade de OSDs.
  • Relógio dessincronizado entre os nós — causa banal e frequente.
  • Versões divergentes entre os componentes depois de uma atualização parcial.

O último item merece nota: durante uma atualização nó a nó, WARN por divergência de versão é esperado e some quando o ciclo termina. Deixar o ciclo pela metade por semanas é o que transforma isso em problema.

Quando um OSD cai

O cenário mais comum da operação. O que acontece e o que fazer.

O que o Ceph faz sozinho

  1. Marca o OSD como `down`. O cluster para de escrever nele.
  2. Espera. Há um intervalo de carência antes de considerar a perda definitiva — porque um nó reiniciando volta em minutos, e redistribuir dados desnecessariamente é caro.
  3. Marca como `out` quando o prazo expira, e inicia a redistribuição: as réplicas que estavam naquele disco são recriadas nos OSDs restantes.
  4. Volta a HEALTH_OK quando a redundância é restabelecida.

Essa automação é a principal virtude do Ceph. O cluster se cura sem intervenção — desde que haja capacidade livre para absorver os dados do disco perdido.

O que você precisa fazer

Primeiro, descobrir por quê. OSD que cai sem motivo aparente costuma ter uma destas causas:

  • Disco com falha física — verifique os indicadores de saúde do dispositivo.
  • Processo encerrado por falta de memória no nó.
  • Problema de rede, não de disco — especialmente se vários OSDs do mesmo nó caíram juntos.
  • Nó reiniciado, planejada ou não.

Vários OSDs do mesmo host caindo ao mesmo tempo é quase sempre rede ou o nó inteiro, não os discos.

Depois, decidir:

  • Se o disco está bom e foi um problema transitório, religar o OSD é o caminho. Se isso acontecer antes do prazo de carência, nem há redistribuição.
  • Se o disco falhou, substituir. E aqui está o ponto crítico: aguarde a redistribuição terminar antes de remover o disco fisicamente. Remover durante a recuperação reduz a redundância abaixo do esperado — se outro disco falhar nesse intervalo, você perde dado.

Por que tudo fica lento durante a recuperação

A reclamação mais comum, e tem explicação direta: a recuperação é I/O. O cluster está lendo réplicas existentes e escrevendo cópias novas, usando os mesmos discos e a mesma rede que atendem as VMs.

O Ceph tem controles para limitar quanto da capacidade vai para a recuperação em vez do tráfego de cliente. A troca é explícita:

  • Recuperação agressiva restabelece a redundância rápido e degrada as VMs enquanto isso.
  • Recuperação contida preserva o desempenho e deixa o cluster com redundância reduzida por mais tempo.

Qual escolher depende de um julgamento que vale fazer antes do incidente: quanto tempo você aceita operar com redundância reduzida? Com três réplicas e um disco fora, você ainda tem duas cópias — há margem. Com duas réplicas e um disco fora, você está a uma falha de perder dado, e a recuperação deveria ser prioridade sobre o desempenho.

A decisão que evita esse dilema é anterior: use três réplicas em produção. Duas réplicas economizam espaço e deixam o cluster sem margem exatamente quando ele mais precisa.

Os limiares de disco que param a escrita

A causa de incidente mais evitável e mais surpreendente do Ceph.

O cluster tem limiares de ocupação com comportamentos escalonados:

NívelO que acontece
AvisoHEALTH_WARN, alertando sobre o disco mais cheio
Quase cheioPara de alocar dados novos naquele OSD
CheioPara a escrita no pool inteiro

Leia a última linha de novo: o cluster para de aceitar escrita quando um OSD atinge o limiar máximo. Não é degradação — é parada, e ela atinge todas as VMs daquele pool.

Dois detalhes que tornam isso traiçoeiro:

O limiar é por OSD, não pela média. Um cluster com 60% de ocupação média pode ter um OSD em 92% por distribuição desigual, e esse OSD sozinho trava a escrita. Monitorar a média não protege.

A recuperação consome espaço. Quando um nó cai, os dados dele são redistribuídos pelos restantes — o que aumenta a ocupação de todos. Um cluster em 80% pode ultrapassar o limiar durante a recuperação de uma falha prevista.

Por isso a regra de capacidade: planeje o Ceph para operar em torno de 65–70% de ocupação, não mais. O espaço "desperdiçado" é o que permite sobreviver a uma falha.

A conta de capacidade

Erro frequente de dimensionamento: a capacidade utilizável não é a soma dos discos.

  • Divida a capacidade bruta pelo fator de replicação. Com três réplicas, um terço.
  • Desconte a folga para recuperação — espaço para absorver os dados de um nó perdido.
  • Aplique o limiar operacional de 65–70%.

Um cluster de três nós com 10 TB brutos cada, com três réplicas, não tem 30 TB utilizáveis nem 10 TB — tem bem menos, depois das duas últimas contas. Quem orça pela soma bruta descobre isso tarde.

O que monitorar, com alerta

  • Estado de saúde, com alerta em WARN que persista além de algumas horas.
  • Ocupação do OSD mais cheio, não da média. Este é o alerta mais importante da lista.
  • Número de OSDs fora e tempo nesse estado.
  • Recuperação em andamento, com duração — recuperação que não termina indica falta de capacidade.
  • Latência por OSD, que revela disco degradando antes de ele falhar.
  • Uso da rede de storage, especialmente durante recuperação.
  • Sincronização de relógio entre os nós.

A manutenção planejada

Quando a parada do nó é programada, há um procedimento que evita redistribuição desnecessária: sinalizar ao cluster que a ausência é temporária, para que ele não inicie a recuperação durante os minutos do reinício.

O roteiro, em ordem:

  1. Confirmar que o cluster está saudável antes de começar. Manutenção em cluster degradado é como operar com uma mão amarrada.
  2. Sinalizar a manutenção, suspendendo a redistribuição automática.
  3. Esvaziar o nó das VMs.
  4. Fazer o serviço.
  5. Devolver o nó e confirmar que os OSDs voltaram.
  6. Remover a sinalização e acompanhar a normalização.
  7. Só considerar concluído quando voltar a HEALTH_OK.

O passo 6 é o mais esquecido. Sinalização de manutenção deixada ativa significa que o cluster não vai se recuperar sozinho na próxima falha de verdade — e ninguém descobre até precisar.

Erros comuns

  • Conviver com HEALTH_WARN permanente até parar de olhar.
  • Remover disco antes de a redistribuição terminar.
  • Operar com duas réplicas em produção.
  • Monitorar ocupação média em vez do OSD mais cheio.
  • Dimensionar capacidade pela soma bruta dos discos.
  • Operar acima de 70% e travar a escrita durante uma recuperação.
  • Fazer manutenção com o cluster já degradado.
  • Esquecer de remover a sinalização de manutenção.
  • Não decidir, antes do incidente, a prioridade entre recuperação e desempenho.
  • Culpar o disco quando vários OSDs do mesmo nó caem — normalmente é rede.
  • Relógio dessincronizado gerando WARN inexplicável.
  • Deixar ciclo de atualização pela metade, com versões divergentes por semanas.

Onde a Solvefy/Cloud entra

Como parceiros oficiais Proxmox, implantamos e sustentamos Ceph com a operação resolvida, não só a instalação: dimensionamento com a conta real de replicação e folga de recuperação, três réplicas em produção, monitoramento do OSD mais cheio com alerta antes do limiar, política de recuperação definida conforme o seu apetite de risco, e o roteiro de manutenção planejada documentado. Também treinamos a equipe a ler o estado do cluster — porque Ceph que ninguém sabe interpretar é um storage distribuído operado no escuro.

Seu cluster Ceph está em WARN há tempo demais? Fazemos um diagnóstico gratuito da infraestrutura, sem compromisso, em solvefy.cloud.

Solvefy/Cloud — Infraestrutura que cresce com você.

Faça agora o seu diagnóstico e orçamento

Inicie com um diagnóstico gratuito da sua infraestrutura e receba uma proposta personalizada, com escopo, cronograma e valores.