Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Duração 14 horas
Programa do Curso
Soberania em IA e Implantação Local de LLMs
- Riscos dos LLMs em nuvem: retenção de dados, treino com inputs, jurisdição estrangeira.
- Arquitetura do Ollama: servidor de modelos, registo e API compatível com a OpenAI.
- Comparação com vLLM, llama.cpp e Text Generation Inference.
- Licenciamento de modelos: termos para Llama, Mistral, Qwen e Gemma.
Instalação e Configuração de Hardware
- Instalação do Ollama em Linux com suporte para CUDA e ROCm.
- Alternativa apenas para CPU e otimização AVX/AVX2.
- Implantação Docker e mapeamento de volumes persistentes.
- Configuração de múltiplas GPUs e estratégias de alocação de VRAM.
Gestão de Modelos
- Obtenção de modelos a partir do registo do Ollama: ollama pull llama3.
- Importação de modelos GGUF a partir do HuggingFace e do TheBloke.
- Níveis de quantização: compensações entre Q4_K_M, Q5_K_M e Q8_0.
- Alternação de modelos e limites de carregamento concorrente.
Modelfiles Personalizados
- Sintaxe dos Modelfiles: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajuste de temperatura, top_p e repeat_penalty.
- Engenharia de prompts de sistema para comportamento específico do papel.
- Criação e publicação de modelos personalizados no registo local.
Integração de APIs
- Ponto de entrada /v1/chat/completions compatível com a OpenAI.
- Respostas em streaming e modo JSON.
- Integração com LangChain, LlamaIndex e aplicações personalizadas.
- Autenticação e limitação de taxa através de proxy reverso.
Otimização de Desempenho
- Dimensão da janela de contexto e gestão do KV cache.
- Inferência em lotes e tratamento de pedidos paralelos.
- Alocação de threads de CPU e reconhecimento NUMA.
- Monitorização da utilização da GPU e pressão de memória.
Segurança e Conformidade
- Isolamento de rede para pontos de entrada de disponibilização de modelos.
- Filtragem de entradas e pipelines de moderação de saídas.
- Registo de auditoria de prompts e conclusões.
- Proveniência dos modelos e verificação de hashes.
Requisitos
- Conhecimentos intermédios de administração de sistemas Linux e contentores.
- Compreensão de machine learning e modelos transformer a um nível alto.
- Familiaridade com APIs REST e JSON.
Público-Alvo
- Engenheiros e desenvolvedores de IA que estão a substituir APIs de LLM em nuvem.
- Organizações com requisitos de sensibilidade de dados que impedem o uso de modelos em nuvem.
- Equipas governamentais e de defesa que necessitam de modelos de linguagem em ambientes isolados (air-gapped).
Formação Empresarial Personalizada
Soluções de formação concebidas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, formação online em direto, a partir de 2600 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
