Curso de Modelos de Decisão de Auto-Hospedagem: Servindo, Quantização, Latência e Operações

Opções de Implantação

• Compromissos (trade-offs) entre API hospedada e auto-hospedagem.
• Padrões de implantação local (on-premises), em borda (edge) e isolada (air-gapped).
• Modelo único versus portfólio de modelos.
• Comparação do custo por decisão.

Dimensionamento de Hardware e Capacidade

• Footprint de memória pelo número de parâmetros.
• Apenas CPU versus aceleração por GPU.
• Planejamento de concorrência e taxa de transferência (throughput).
• Margem para crescimento do comprimento da tarefa.

Pilhas de Serviço (Serving Stacks)

• Opções com vLLM e SGLang.
• Execução com llama.cpp e GGUF.
• Ollama para desenvolvimento local.
• Escolha com base na forma da carga de trabalho de decisão.

Quantização Sem Perder Calibração

• Formatos de precisão e economia de memória.
• Medição da perda de qualidade e calibração.
• Variantes por tensor e conscientes de importância.
• Testes de aceitação após a quantização.

Engenharia de Latência

• Latência mediana versus latência de cauda (tail latency).
• Crescimento da latência com o comprimento do contexto.
• Arranque quente (warm start) e cache de modelos.
• Agrupamento (batching) de múltiplas perguntas de decisão.

Ambientes de Borda e Restritos

• Pequenos modelos de decisão em CPU.
• Implantação em Apple Silicon e dispositivos embarcados.
• Operação offline e estratégia de atualização.
• Distribuição de pesos em ambientes isolados (air-gapped).

Containerização e Escalabilidade

• Design de imagens para serviço de modelos.
• Gestão de volumes e cache.
• Escalabilidade horizontal e roteamento.
• Limites de recursos e compartilhamento de GPU.

Observabilidade

• Métricas de solicitação, latência e erro.
• Monitoramento da distribuição de confiança.
• Rastreamento de resultados de decisão e escalonamento.
• Alertas sobre desvio de calibração.

Versionamento e Lançamento

• Versionamento de modelos e adaptadores.
• Implantação sombra (shadow) e canária (canary).
• Arquivos de modelo fixados para auditoria.
• Procedimentos de rollback.

Segurança e Multi-Tenancy

• Autenticação e limitação de taxa (rate limiting).
• Isolamento de tenant para prompts e logs.
• Isolamento de rede e controle de saída (egress).
• Log de auditoria de decisões.