Instalar Ceph no Proxmox é razoavelmente simples — o painel conduz o processo e em algumas horas o cluster está de pé. Operá-lo no dia em que algo sai do lugar é outra conversa, e é onde a maioria das equipes descobre que não sabe ler o que o cluster está dizendo.
Este texto cobre a operação cotidiana: o que cada estado significa, o que fazer quando um disco cai, por que a recuperação derruba o desempenho e os limiares que param a escrita.
Como ler o estado do cluster
Três estados, e o do meio é o que gera mais dúvida.
HEALTH_OK — tudo alocado, todas as réplicas presentes.
HEALTH_WARN — o dado está íntegro e servindo, mas algo exige atenção. Não é emergência, e não é normal: WARN permanente significa que alguém parou de olhar.
HEALTH_ERR — há risco de perda de dado ou indisponibilidade. Exige ação imediata.
As causas mais comuns de WARN, em ordem de frequência:
- Um OSD fora do cluster.
- Recuperação ou redistribuição em andamento — neste caso é temporário e esperado.
- Disco acima do limiar de aviso de ocupação.
- Número de grupos de posicionamento inadequado para a quantidade de OSDs.
- Relógio dessincronizado entre os nós — causa banal e frequente.
- Versões divergentes entre os componentes depois de uma atualização parcial.
O último item merece nota: durante uma atualização nó a nó, WARN por divergência de versão é esperado e some quando o ciclo termina. Deixar o ciclo pela metade por semanas é o que transforma isso em problema.
Quando um OSD cai
O cenário mais comum da operação. O que acontece e o que fazer.
O que o Ceph faz sozinho
- Marca o OSD como `down`. O cluster para de escrever nele.
- Espera. Há um intervalo de carência antes de considerar a perda definitiva — porque um nó reiniciando volta em minutos, e redistribuir dados desnecessariamente é caro.
- Marca como `out` quando o prazo expira, e inicia a redistribuição: as réplicas que estavam naquele disco são recriadas nos OSDs restantes.
- Volta a HEALTH_OK quando a redundância é restabelecida.
Essa automação é a principal virtude do Ceph. O cluster se cura sem intervenção — desde que haja capacidade livre para absorver os dados do disco perdido.
O que você precisa fazer
Primeiro, descobrir por quê. OSD que cai sem motivo aparente costuma ter uma destas causas:
- Disco com falha física — verifique os indicadores de saúde do dispositivo.
- Processo encerrado por falta de memória no nó.
- Problema de rede, não de disco — especialmente se vários OSDs do mesmo nó caíram juntos.
- Nó reiniciado, planejada ou não.
Vários OSDs do mesmo host caindo ao mesmo tempo é quase sempre rede ou o nó inteiro, não os discos.
Depois, decidir:
- Se o disco está bom e foi um problema transitório, religar o OSD é o caminho. Se isso acontecer antes do prazo de carência, nem há redistribuição.
- Se o disco falhou, substituir. E aqui está o ponto crítico: aguarde a redistribuição terminar antes de remover o disco fisicamente. Remover durante a recuperação reduz a redundância abaixo do esperado — se outro disco falhar nesse intervalo, você perde dado.
Por que tudo fica lento durante a recuperação
A reclamação mais comum, e tem explicação direta: a recuperação é I/O. O cluster está lendo réplicas existentes e escrevendo cópias novas, usando os mesmos discos e a mesma rede que atendem as VMs.
O Ceph tem controles para limitar quanto da capacidade vai para a recuperação em vez do tráfego de cliente. A troca é explícita:
- Recuperação agressiva restabelece a redundância rápido e degrada as VMs enquanto isso.
- Recuperação contida preserva o desempenho e deixa o cluster com redundância reduzida por mais tempo.
Qual escolher depende de um julgamento que vale fazer antes do incidente: quanto tempo você aceita operar com redundância reduzida? Com três réplicas e um disco fora, você ainda tem duas cópias — há margem. Com duas réplicas e um disco fora, você está a uma falha de perder dado, e a recuperação deveria ser prioridade sobre o desempenho.
A decisão que evita esse dilema é anterior: use três réplicas em produção. Duas réplicas economizam espaço e deixam o cluster sem margem exatamente quando ele mais precisa.
Os limiares de disco que param a escrita
A causa de incidente mais evitável e mais surpreendente do Ceph.
O cluster tem limiares de ocupação com comportamentos escalonados:
| Nível | O que acontece |
|---|---|
| Aviso | HEALTH_WARN, alertando sobre o disco mais cheio |
| Quase cheio | Para de alocar dados novos naquele OSD |
| Cheio | Para a escrita no pool inteiro |
Leia a última linha de novo: o cluster para de aceitar escrita quando um OSD atinge o limiar máximo. Não é degradação — é parada, e ela atinge todas as VMs daquele pool.
Dois detalhes que tornam isso traiçoeiro:
O limiar é por OSD, não pela média. Um cluster com 60% de ocupação média pode ter um OSD em 92% por distribuição desigual, e esse OSD sozinho trava a escrita. Monitorar a média não protege.
A recuperação consome espaço. Quando um nó cai, os dados dele são redistribuídos pelos restantes — o que aumenta a ocupação de todos. Um cluster em 80% pode ultrapassar o limiar durante a recuperação de uma falha prevista.
Por isso a regra de capacidade: planeje o Ceph para operar em torno de 65–70% de ocupação, não mais. O espaço "desperdiçado" é o que permite sobreviver a uma falha.
A conta de capacidade
Erro frequente de dimensionamento: a capacidade utilizável não é a soma dos discos.
- Divida a capacidade bruta pelo fator de replicação. Com três réplicas, um terço.
- Desconte a folga para recuperação — espaço para absorver os dados de um nó perdido.
- Aplique o limiar operacional de 65–70%.
Um cluster de três nós com 10 TB brutos cada, com três réplicas, não tem 30 TB utilizáveis nem 10 TB — tem bem menos, depois das duas últimas contas. Quem orça pela soma bruta descobre isso tarde.
O que monitorar, com alerta
- Estado de saúde, com alerta em WARN que persista além de algumas horas.
- Ocupação do OSD mais cheio, não da média. Este é o alerta mais importante da lista.
- Número de OSDs fora e tempo nesse estado.
- Recuperação em andamento, com duração — recuperação que não termina indica falta de capacidade.
- Latência por OSD, que revela disco degradando antes de ele falhar.
- Uso da rede de storage, especialmente durante recuperação.
- Sincronização de relógio entre os nós.
A manutenção planejada
Quando a parada do nó é programada, há um procedimento que evita redistribuição desnecessária: sinalizar ao cluster que a ausência é temporária, para que ele não inicie a recuperação durante os minutos do reinício.
O roteiro, em ordem:
- Confirmar que o cluster está saudável antes de começar. Manutenção em cluster degradado é como operar com uma mão amarrada.
- Sinalizar a manutenção, suspendendo a redistribuição automática.
- Esvaziar o nó das VMs.
- Fazer o serviço.
- Devolver o nó e confirmar que os OSDs voltaram.
- Remover a sinalização e acompanhar a normalização.
- Só considerar concluído quando voltar a HEALTH_OK.
O passo 6 é o mais esquecido. Sinalização de manutenção deixada ativa significa que o cluster não vai se recuperar sozinho na próxima falha de verdade — e ninguém descobre até precisar.
Erros comuns
- Conviver com HEALTH_WARN permanente até parar de olhar.
- Remover disco antes de a redistribuição terminar.
- Operar com duas réplicas em produção.
- Monitorar ocupação média em vez do OSD mais cheio.
- Dimensionar capacidade pela soma bruta dos discos.
- Operar acima de 70% e travar a escrita durante uma recuperação.
- Fazer manutenção com o cluster já degradado.
- Esquecer de remover a sinalização de manutenção.
- Não decidir, antes do incidente, a prioridade entre recuperação e desempenho.
- Culpar o disco quando vários OSDs do mesmo nó caem — normalmente é rede.
- Relógio dessincronizado gerando WARN inexplicável.
- Deixar ciclo de atualização pela metade, com versões divergentes por semanas.
Onde a Solvefy/Cloud entra
Como parceiros oficiais Proxmox, implantamos e sustentamos Ceph com a operação resolvida, não só a instalação: dimensionamento com a conta real de replicação e folga de recuperação, três réplicas em produção, monitoramento do OSD mais cheio com alerta antes do limiar, política de recuperação definida conforme o seu apetite de risco, e o roteiro de manutenção planejada documentado. Também treinamos a equipe a ler o estado do cluster — porque Ceph que ninguém sabe interpretar é um storage distribuído operado no escuro.
Seu cluster Ceph está em WARN há tempo demais? Fazemos um diagnóstico gratuito da infraestrutura, sem compromisso, em solvefy.cloud.
Solvefy/Cloud — Infraestrutura que cresce com você.