Entrar em Contato

Programa do Curso

Introdução ao EXO e Clustering de IA Local

  • Visão geral do framework EXO e do ecossistema exo-explore
  • Comparação entre inferência centralizada em nuvem e inferência local distribuída
  • Arquitetura: descoberta de dispositivos via libp2p, backend MLX, painel e camadas de API
  • Requisitos de hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, armazenamento compartilhado

Instalando o EXO no macOS

  • Configurando Xcode, Metal ToolChain e pré-requisitos do macOS
  • Instalando uv, Node.js e toolchain Rust nightly
  • Instalando a versão fixada do fork macmon para monitoramento de Apple Silicon
  • Clonando o repositório e construindo o painel com npm
  • Executando o EXO a partir do código-fonte e verificando o painel em localhost:52415

Instalando o EXO no Linux

  • Instalando dependências via apt ou Homebrew no Linux
  • Configurando uv, Node.js 18+ e Rust nightly
  • Construindo o painel e executando o EXO em modo exclusivo de CPU
  • Estrutura de diretórios: caminhos XDG Base Directory para configuração, dados, cache e logs

Descoberta Automática de Dispositivos e Formação de Cluster

  • Compreensão da auto-descoberta baseada em libp2p em redes locais
  • Configurando namespaces personalizados com EXO_LIBP2P_NAMESPACE para isolamento do cluster
  • Verificando a participação dos nós na visualização do cluster no painel
  • Solucionando falhas de descoberta e problemas de segmentação de rede

Habilitando RDMA sobre Thunderbolt 5

  • Arquitetura RDMA e a alegação de redução de latência em 99%
  • Habilitando RDMA no modo Recovery do macOS com rdma_ctl
  • Requisitos de cabos e restrições de topologia de portas no Mac Studio
  • Sincronizando versões do macOS em todos os nós do cluster
  • Solucionando problemas de descoberta RDMA e configuração DHCP

Implantando Modelos de Última Geração

  • Usando o painel para carregar e fragmentar modelos DeepSeek v3.1, Qwen3-235B e família Llama
  • Visualizando alocações de instância com o endpoint da API /instance/previews
  • Criando instâncias de modelo com fragmentação por pipeline ou paralelismo tensorial
  • Configurando cards de modelo personalizados a partir do HuggingFace hub

Monitoramento e Solução de Problemas

  • Lendo logs do EXO e compreendendo rastreamento distribuído
  • Interpretando a saúde do cluster na visualização do painel
  • Diagnosticando falhas em nós de trabalho e comportamento de reconexão
  • Utilizando EXO_TRACING_ENABLED para análise de gargalos de desempenho

Manutenção e Atualizações do Cluster

  • Atualizando binários do EXO e procedimentos de reconstrução do painel
  • Migrando caches de modelos e gerenciando modelos pré-baixados via NFS
  • Removendo nós de forma graciosa e reequilibrando cargas de trabalho

Requisitos

  • Compreensão dos fundamentos de rede (IP, subnetting, firewalls)
  • Experiência com administração de linha de comando no macOS ou Linux
  • Familiaridade com gerenciamento de pacotes Python (pip/uv) e ferramentas Node.js

Público-Alvo

  • Administradores de sistemas
  • Engenheiros DevOps
  • Arquitetos de infraestrutura de IA responsáveis pela implantação de LLMs on-premise
 21 Horas

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas