Curso de Administration of Kafka Topic
O Kafka Topic é um componente fundamental do Apache Kafka, servindo como um canal lógico para organizar e processar fluxos de dados.
Este treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a administradores de sistema de nível iniciante a intermediário que desejam aprender como gerenciar efetivamente os tópicos do Kafka para streaming e processamento eficientes de dados.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os fundamentos e a arquitetura do tópico Kafka.
- Criar, configurar e gerenciar tópicos do Kafka.
- Monitorar os tópicos do Kafka para saúde, desempenho e disponibilidade.
- Implementar medidas de segurança para tópicos do Kafka.
Formato do curso
- Palestra interativa e discussão.
- Muitos exercícios e prática.
- Implementação prática em um ambiente de laboratório ao vivo.
Opções de personalização do curso
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.
Programa do Curso
Introdução a Kafka Topic Administration
- Visão geral de Apache Kafka
- Fundamentos dos tópicos Kafka
- Casos de utilização dos tópicos Kafka
Criar e gerir tópicos do Kafka
- Criar tópicos utilizando ferramentas de linha de comandos do Kafka
- Configuração das propriedades dos tópicos
- Modificação e eliminação de tópicos
Monitorização de tópicos do Kafka
- Importância da monitorização dos tópicos do Kafka
- Métricas e ferramentas de monitorização
- Monitorizar o estado e o desempenho dos tópicos
Segurança e controlo Access dos tópicos do Kafka
- Visão geral dos recursos de segurança do Kafka
- Configuração de SSL para comunicação segura
- Autenticação e autorização
Dimensionamento e ajuste de desempenho
- Estratégias para escalonar tópicos do Kafka
- Técnicas de ajuste de desempenho
- Adicionando partições dinamicamente
Retenção e limpeza de dados
- Configuração de políticas de retenção
- Gerir a utilização do espaço em disco
- Limpeza de dados e compactação de registos
Alta disponibilidade e recuperação de desastres
- Garantir a alta disponibilidade com a replicação
- Estratégias de recuperação de desastres
- Gerir a transferência em caso de falha e a recuperação de dados
Práticas recomendadas e tópicos avançados
- Práticas recomendadas para administração de tópicos do Kafka
- Técnicas avançadas de gerenciamento de tópicos
- Considerações sobre casos de uso específicos
- Tendências e desenvolvimentos futuros na administração de tópicos do Kafka
Resolução de problemas
Resumo e próximos passos
Requisitos
- Conhecimento de sistemas distribuídos
- Experiência com a interface de linha de comandos Linux
- Experiência básica de programação em Java ou noutra linguagem de programação
Público-alvo
- Administradores de sistemas
Precisa de ajuda para escolher o curso certo?
Curso de Administration of Kafka Topic - Enquiry
Administration of Kafka Topic - Solicitação de Consultoria
Solicitação de Consultoria
Declaração de Clientes (2)
Podíamos fazer-lhe perguntas e ele saltava para os diapositivos ou exemplos para tentar mostrar e responder a todas as nossas perguntas
Johannes - Canon Medical Informatics Europe B.V.
Curso - Administration of Kafka Topic
Máquina Traduzida
abordagem interactiva do professor, que não conta uma história simples, mas age de acordo com as perguntas do público.
Rens - Canon Medical Informatics Europe B.V.
Curso - Administration of Kafka Topic
Máquina Traduzida
Próximas Formações Provisórias
Cursos Relacionados
Apache Kafka Connect
7 HorasEsta formação em direto, ministrada por um formador, em Portugal (online ou no local) destina-se a programadores que pretendam integrar Apache Kafka em bases de dados e aplicações existentes para processamento, análise, etc.
No final desta formação, os participantes serão capazes de
- Usar o Kafka Connect para ingestão de grandes volumes de dados de um banco de dados em tópicos do Kafka.
- Ingerir dados de log gerados por servidores de aplicativos em tópicos do Kafka.
- Make quaisquer dados coletados disponíveis para processamento de fluxo.
- Exportar dados dos tópicos do Kafka para sistemas secundários para armazenamento e análise.
Building Kafka Solutions with Confluent
14 Horaseste instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações.
no final deste treinamento, os participantes poderão:
- Instalar e configurar o Confluent Platform.
- Utilizar as ferramentas e serviços de gerenciamento do Confluent para executar o Kafka de forma mais fácil.
- Armazenar e processar dados de fluxo de entrada.
- Otimizar e gerenciar clusters do Kafka.
- Proteger fluxos de dados.
formato do curso
- Aula interativa e discussão.
- Muitos exercícios e prática.
- Implementação hands-on em um ambiente de laboratório ao vivo.
Opções de personalização do curso
- Este curso é baseado na versão open source do Confluent: Confluent Open Source.
- Para solicitar um treinamento personalizado para este curso, por favor entre em contato conosco para agendar.
Building Data Pipelines with Apache Kafka
7 HorasApache Kafka é uma plataforma de streaming distribuída. É, de fato, um padrão para a construção de pipelines de dados e resolve muitos casos de uso diferentes em torno do processamento de dados: ele pode ser usado como uma fila de mensagens, um log distribuído, um processador de fluxo etc.
Vamos começar com alguma teoria por trás dos pipelines de dados em geral, depois continuar com conceitos fundamentais por trás de Kafka. Também descobriremos componentes importantes como o Kafka Streams e o Kafka Connect.
A Practical Introduction to Stream Processing
21 HorasNeste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços.
No final desta formação, os participantes serão capazes de
- Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
- Compreender e selecionar a estrutura mais apropriada para o trabalho.
- Processar dados de forma contínua, simultânea e de forma registo a registo.
- Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
- Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.
Mensagens Distribuídas com Apache Kafka
14 HorasEste curso destina-se a arquitetos, desenvolvedores, administradores de sistemas e qualquer pessoa que queira entender e usar um sistema de mensagens distribuídas de alto rendimento. Se você tiver requisitos mais específicos (por exemplo, apenas lado da administração do sistema), este curso pode ser adaptado para atender melhor às suas necessidades.
Kafka for Administrators
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a administradores de sistemas que desejam configurar, implantar, gerenciar e otimizar um cluster Kafka de nível empresarial.
No final desta formação, os participantes serão capazes de
- Configurar e administrar um cluster do Kafka.
- Avaliar os benefícios e desvantagens da implantação do Kafka no local versus na nuvem.
- Implantar e monitorar o Kafka usando várias ferramentas de ambiente no local e na nuvem.
Apache Kafka for Developers
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a desenvolvedores de nível intermediário que desejam desenvolver aplicativos de big data com Apache Kafka.
No final desta formação, os participantes serão capazes de:
- Desenvolva produtores e consumidores Kafka para enviar e ler dados de Kafka. Integre o Kafka com sistemas externos usando o Kafka Connect. Escreva aplicativos de streaming com Kafka Streams e ksqlDB. Integre um aplicativo cliente Kafka com o Confluent Cloud para implantações Kafka baseadas em nuvem. Ganhe experiência prática por meio de exercícios práticos e casos de uso do mundo real.
Apache Kafka for Python Programmers
7 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Apache Kafka no fluxo de dados com Python.
No final deste treinamento, os participantes poderão usar Apache Kafka para monitorar e gerenciar condições em fluxos de dados contínuos usando a programação Python.
Security for Apache Kafka
7 HorasEsta formação presencial ou online em Portugal, ministrada por um instrutor, destina-se a testadores de software que desejam implementar medidas de segurança da rede em uma aplicação Apache Kafka.
No final desta formação, os participantes serão capazes de
- Implantar Apache Kafka em um servidor baseado na nuvem.
- Implementar criptografia SSL para prevenir ataques.
- Adicionar autenticação ACL para rastrear e controlar o acesso do usuário.
- Garantir que clientes confiáveis tenham acesso a clusters Kafka com autenticação SSL e SASL.
Apache Kafka and Spring Boot
7 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores de nível intermediário que desejam aprender os fundamentos do Kafka e integrá-lo com Spring Boot.
No final desta formação, os participantes serão capazes de
- Compreender o Kafka e a sua arquitetura.
- Aprender a instalar, configurar e montar um ambiente Kafka básico.
- Integrar o Kafka com Spring Boot.
Stream Processing with Kafka Streams
7 HorasO Kafka Streams é uma biblioteca do lado do cliente para criar aplicativos e microsserviços cujos dados são transmitidos para e de um sistema de mensagens Kafka. Tradicionalmente, o Apache Kafka conta com o Apache Spark ou o Apache Storm para processar dados entre produtores e consumidores de mensagens. Ao chamar a API Kafka Streams de dentro de um aplicativo, os dados podem ser processados diretamente no Kafka, ignorando a necessidade de enviar os dados para um cluster separado para processamento.
Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão a integrar o Kafka Streams em um conjunto de aplicativos Java de amostra que transmitem dados para e do Apache Kafka para processamento de fluxo.
No final deste treinamento, os participantes serão capazes de:
- Compreender as características e vantagens do Kafka Streams em relação a outros frameworks de processamento de fluxos
- Processar dados de fluxo diretamente dentro de um cluster Kafka
- Escriver um aplicativo ou microsserviço Java ou Scala que se integra com Kafka e Kafka Streams
- Escriver código conciso que transforma tópicos de entrada do Kafka em tópicos de saída do Kafka
- Criar, empacotar e implantar o aplicativo
Público
- Desenvolvedores
Formato do curso
- Parte palestra, parte discussão, exercícios e prática intensiva
Notas
- Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar
Confluent KSQL
7 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código.
No final deste treinamento, os participantes serão capazes de:
- Instalar e configurar o Confluent KSQL.
- Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
- Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
- Conceber e implementar consultas interactivas e contínuas para ETL de fluxo contínuo e análise em tempo real.
SMACK Stack for Data Science
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a cientistas de dados que desejam usar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.
No final desta formação, os participantes serão capazes de
- Implementar uma arquitetura de pipeline de dados para processar big data.
- Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
- Analisar dados com Spark e Scala.
- Gerenciar dados não estruturados com o Apache Cassandra.
Spark Streaming with Python and Kafka
7 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real.
No final deste treinamento, os participantes poderão usar Spark Streaming para processar fluxos de dados ao vivo para uso em bancos de dados, sistemas de arquivos e painéis ao vivo.
Microservices with Spring Cloud and Kafka
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam transformar a arquitetura tradicional em uma arquitetura baseada em microsserviços altamente simultânea usando Spring Cloud, Kafka, Docker, Kubernetes e Redis.
No final desta formação, os participantes serão capazes de
- Configurar o ambiente de desenvolvimento necessário para a construção de microsserviços.
- Desenhar e implementar um ecossistema de microsserviços altamente concorrente usando Spring Cloud, Kafka, Redis, Docker e Kubernetes.
- Transformar serviços monolíticos e SOA em arquitetura baseada em microsserviços.
- Adotar uma abordagem DevOps para desenvolver, testar e liberar software.
- Garantir alta simultaneidade entre os microsserviços em produção.
- Monitorar os microsserviços e implementar estratégias de recuperação.
- Realizar o ajuste de desempenho.
- Aprenda sobre as tendências futuras na arquitetura de microsserviços.