Entrar em Contato

Programa do Curso

Introdução ao EXO e Agregação de IA Local

  • Visão geral do framework EXO e do ecossistema exo-explore
  • Comparando inferência centralizada em nuvem vs. inferência local distribuída
  • Arquitetura: descoberta de dispositivos libp2p, backend MLX, painel e camadas de API
  • Requisitos de hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, armazenamento compartilhado

Instalando o EXO no macOS

  • Configurando o Xcode, Metal ToolChain e pré-requisitos do macOS
  • Instalando uv, Node.js, toolchain Rust nightly
  • Instalando a fork pinada do macmon para monitoramento do Apple Silicon
  • Clonando o repositório e construindo o painel com npm
  • Executando o EXO a partir do código-fonte e verificando o painel localhost:52415

Instalando o EXO no Linux

  • Instalando dependências via apt ou Homebrew no Linux
  • Configurando uv, Node.js 18+ e Rust nightly
  • Construindo o painel e executando o EXO em modo apenas CPU
  • Estrutura de diretórios: caminhos XDG Base Directory para config, data, cache e logs

Descoberta Automática de Dispositivos e Formação de Cluster

  • Entendendo a auto-descoberta baseada em libp2p em redes locais
  • Configurando namespaces personalizados com EXO_LIBP2P_NAMESPACE para isolamento de cluster
  • Verificando a adesão ao nó na visualização de cluster do painel
  • Lidando com falhas de descoberta e problemas de segmentação de rede

Habilitando RDMA via Thunderbolt 5

  • Arquitetura RDMA e a alegação de redução de 99% na latência
  • Habilitando RDMA no modo de recuperação do macOS com rdma_ctl
  • Requisitos de cabo e restrições de topologia de porta no Mac Studio
  • Sincronização das versões do macOS em todos os nós do cluster
  • Solucionando problemas de descoberta de RDMA e configuração de DHCP

Implantando Modelos de Última Geração

  • Usando o painel para carregar e fragmentar modelos DeepSeek v3.1, Qwen3-235B e família Llama
  • Visualizando posicionamento de instâncias com o ponto de API /instance/previews
  • Criando instâncias de modelo com fragmentação por pipeline ou paralelismo de tensor
  • Configurando cartões de modelo personalizados do Hub HuggingFace

Monitoramento e Solução de Problemas

  • Lendo logs do EXO e entendendo o rastreamento distribuído
  • Interpretando a saúde do cluster na visualização de cluster do painel
  • Diagnosticando falhas de nós workers e comportamento de reconexão
  • Usando EXO_TRACING_ENABLED para análise de gargalos de desempenho

Manutenção e Atualizações de Cluster

  • Atualizando binários do EXO e procedimentos de reconstrução do painel
  • Migrando caches de modelos e gerenciando modelos pré-baixados via NFS
  • Remoção elegante de nós e balanceamento de carga

Requisitos

  • Compreensão dos fundamentos de redes (IP, sub-redes, firewalls)
  • Experiência com administração da linha de comando no macOS ou Linux
  • Conhecimento sobre gerenciamento de pacotes Python (pip/uv) e ferramentas Node.js

Público-alvo

  • Administradores de sistema
  • Engenheiros de DevOps
  • Arquitetos de infraestrutura de IA responsáveis pela implantação de LLMs on-premise
 21 Horas

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas