Curso de Kafka para Administradores

Fundamentos da Administração de Kafka

• Onde o Kafka se encaixa numa plataforma de dados moderna e as responsabilidades típicas de produção
• Conceitos essenciais para operadores: brokers, tópicos, partições, offsets, grupos de consumidores
• Fundamentos da replicação: líderes e seguidores, réplicas em sincronização, compromissos de disponibilidade
• Destaques operacionais do Kafka e terminologia comum utilizada em runbooks

Modo KRaft e Design de Clusters

• Básicos do KRaft: controladores, quórum de metadados, eleições e porquê da sua importância operacional
• Planeamento de implementação: dimensionamento para throughput, partições, retenção e crescimento
• Papéis e disposições dos nós: controladores combinados vs dedicados, considerações de domínios de falha
• Laboratório: inspecionar metadados KRaft, validar a saúde do quórum e interpretar logs de controlador

Instalação, Configuração e Operações Diárias

• Abordagens de instalação (pacotes, tarball, contentores) e o que padronizar em ambientes empresariais
• Configuração central de brokers que impacta a fiabilidade: listeners, replicação, diretórios de log, retenção
• Operações de serviço seguras: ordem de arranque, terminação graciosa e verificações de validação
• Laboratório: implementar um cluster multi-nó, verificar o registo de brokers e confirmar produção e consumo base

Gestão de Tópicos, Partições e Colocação de Dados

• Ciclo de vida de tópicos utilizando a CLI do Kafka: criar, descrever, atualizar configurações, excluir
• Escolha de partições e fatores de replicação para cargas de trabalho reais, incluindo anti-patterns comuns
• Reposicionamentos e equilíbrio: quando mover partições e como verificar o progresso com segurança
• Laboratório: criar tópicos, disparar um reposicionamento de partição, simular uma falha de broker e confirmar a recuperação

Segurança do Kafka para Produção

• TLS para tráfego de cliente e entre brokers: certificados, cadeias de confiança e passos de validação
• Autenticação com SASL: seleção de mecanismos comuns e evitar configurações incorretas
• Autorização com ACLs: padrões de menor privilégio para administradores, produtores e consumidores
• Laboratório: ativar TLS e SASL, validar a conectividade do cliente e aplicar ACLs para papéis de aplicação

Observabilidade, Fiabilidade e Resolução de Problemas

• Essenciais de monitorização: saúde do controlador, partições com replicação insuficiente, latência de pedidos, saturação de disco e rede
• Logs e métricas: ler logs de brokers e expor métricas via exportador JMX para pilhas de observabilidade comuns
• Playbooks operacionais: reinícios em cascata, alterações seguras de configuração, gestão de disco cheio e problemas de ISR
• Laboratório: criar um conjunto mínimo de alertas, diagnosticar um cluster degradado e restabelecer a replicação saudável

Atualizações e Preparação para Recuperação de Desastres

• Planeamento de atualizações para Kafka: verificações de compatibilidade, ambientes de teste e abordagem de rollback
• Expectativas de cópias de segurança e recuperação: o que pode ser copiado, o que não pode, e básicos de recuperação de configuração
• Visão geral da replicação entre clusters e quando usar MirrorMaker 2 para DR e migrações
• Encerramento: lista de verificação operacional, artefatos de transição e próximos passos para lançamento em produção