Entrar em Contato
 Duração 21 horas

Programa do Curso

Introdução ao EXO e ao Agrupamento de IA Local

  • Visionagem geral do framework EXO e do ecossistema exo-explore
  • Comparação entre inferência centralizada em nuvem e inferência local distribuída
  • Arquitetura: deteção de dispositivos libp2p, backend MLX, dashboard e camadas API
  • Requisitos de hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, armazenamento partilhado

Instalação do EXO em macOS

  • Definição do Xcode, Metal ToolChain e pré-requisitos do macOS
  • Instalação do uv, Node.js, toolchain Rust nightly
  • Instalação da bifurcação (fork) macmon fixada para monitorização Apple Silicon
  • Clonagem do repositório e construção do dashboard com npm
  • Execução do EXO a partir do código-fonte e verificação do dashboard em localhost:52415

Instalação do EXO em Linux

  • Instalação de dependências via apt ou Homebrew no Linux
  • Configuração do uv, Node.js 18+ e Rust nightly
  • Construção do dashboard e execução do EXO em modo apenas CPU
  • Estrutura de diretórios: caminhos XDG Base Directory para configuração, dados, cache e registos

Deteção Automática de Dispositivos e Formação de Clúster

  • Compreensão da auto-deteção baseada em libp2p através de redes locais
  • Configuração de namespaces personalizados com EXO_LIBP2P_NAMESPACE para isolamento do clúster
  • Verificação da participação de nós na vista de clúster do dashboard
  • Tratamento de falhas de deteção e problemas de segmentação de rede

Ativação do RDMA sobre Thunderbolt 5

  • Arquitetura RDMA e a alegação de redução de latência de 99 por cento
  • Ativação do RDMA no modo de recuperação do macOS com rdma_ctl
  • Requisitos de cabo e restrições de topologia de portas no Mac Studio
  • Alinhamento de versões do macOS em todos os nós do clúster
  • Resolução de problemas de deteção RDMA e configuração DHCP

Implementação de Modelos de Fronteira

  • Utilização do dashboard para carregar e dividir (sharding) modelos da família DeepSeek v3.1, Qwen3-235B e Llama
  • Pré-visualização de colocações de instâncias através do endpoint da API /instance/previews
  • Criação de instâncias de modelos com partição paralela de pipeline ou tensor
  • Configuração de cartões de modelo personalizados a partir do hub HuggingFace

Monitorização e Resolução de Problemas

  • Leitura de registos EXO e compreensão da rastreabilidade distribuída
  • Interpretação da saúde do clúster na vista de clúster do dashboard
  • Diagnóstico de falhas de nós de trabalho e comportamento de reconexão
  • Utilização de EXO_TRACING_ENABLED para análise de gargalos de desempenho

Manutenção e Atualizações do Clúster

  • Atualização de binários EXO e procedimentos de reconstrução do dashboard
  • Migração de caches de modelos e gestão de modelos pré-descarregados sobre NFS
  • Remoção adequada de nós e realocação de cargas de trabalho

Requisitos

  • Compreensão dos fundamentos de rede (IP, sub-rede, firewalls)
  • Experiência com administração de linha de comandos em macOS ou Linux
  • Familiaridade com a gestão de pacotes Python (pip/uv) e ferramentas Node.js

Público-Alvo

  • Administradores de sistemas
  • Engenheiros DevOps
  • Arquitetos de infra-estrutura de IA responsáveis pela implementação de LLMs on-premise

Formação Empresarial Personalizada

Soluções de formação concebidas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, formação online em direto, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas