Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Soberania de IA e Implantação Local de LLMs
- Riscos dos LLMs na nuvem: retenção de dados, treinamento com base nas entradas, jurisdição estrangeira.
- Arquitetura do Ollama: servidor de modelos, registro e API compatível com OpenAI.
- Comparação com vLLM, llama.cpp e Text Generation Inference.
- Licenciamento de modelos: termos do Llama, Mistral, Qwen e Gemma.
Instalação e Configuração de Hardware
- Instalação do Ollama no Linux com suporte a CUDA e ROCm.
- Fallback apenas para CPU e otimização AVX/AVX2.
- Implantação via Docker e mapeamento de volumes persistentes.
- Configuração multi-GPU e estratégias de alocação de VRAM.
Gestão de Modelos
- Baixar modelos do registro do Ollama: ollama pull llama3.
- Importar modelos GGUF do HuggingFace e TheBloke.
- Níveis de quantização: trade-offs entre Q4_K_M, Q5_K_M e Q8_0.
- Troca de modelos e limites de carregamento concorrente de modelos.
Modelfiles Personalizados
- Sintaxe do Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajuste de temperatura, top_p e repeat_penalty.
- Engenharia de prompts de sistema para comportamento específico de função.
- Criação e publicação de modelos personalizados no registro local.
Integração de API
- Endpoint /v1/chat/completions compatível com OpenAI.
- Respostas em streaming e modo JSON.
- Integração com LangChain, LlamaIndex e aplicativos personalizados.
- Autenticação e controle de taxa com proxy reverso.
Otimização de Desempenho
- Tamanho da janela de contexto e gerenciamento do cache KV.
- Inferência em lote e tratamento de solicitações paralelas.
- Alocação de threads de CPU e consciência NUMA.
- Monitoramento da utilização da GPU e pressão de memória.
Segurança e Conformidade
- Isolamento de rede para endpoints de serviço de modelos.
- Pipelines de filtragem de entrada e moderação de saída.
- Registro de auditoria de prompts e conclusões.
- Procedência do modelo e verificação de hash.
Requisitos
- Administração intermediária de Linux e contêineres.
- Compreensão de machine learning e modelos transformer em alto nível.
- Conhecimento prévio de APIs REST e JSON.
Público-Alvo
- Engenheiros de IA e desenvolvedores que substituem APIs de LLM na nuvem.
- Organizações com sensibilidade de dados que impedem o uso de modelos na nuvem.
- Equipes governamentais e de defesa que exigem modelos de linguagem em rede isolada (air-gapped).
14 Horas
Treinamento Corporativo Personalizado
Soluções de treinamento projetadas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, treinamento online ao vivo, a partir de 2600 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
