Programa do Curso

Introdução ao Ajuste Eficiente de Parâmetros Fine-Tuning (PEFT)

  • Motivação e limitações do ajuste fino completo
  • Visão geral do PEFT: objetivos e benefícios
  • Aplicações e casos de uso na indústria

LoRA (Adaptação de Baixa Rangem)

  • Conceito e intuição por trás da LoRA
  • Implementando LoRA usando Hugging Face e PyTorch
  • Mão na massa: Ajuste fino de um modelo com LoRA

Ajuste de Adaptadores

  • Como os módulos adaptadores funcionam
  • Integração com modelos baseados em transformers
  • Mão na massa: Aplicando Ajuste de Adaptadores a um modelo transformer

Ajuste de Prefixo

  • Usando prompts suaves para ajuste fino
  • Vantagens e limitações comparadas à LoRA e adaptadores
  • Mão na massa: Ajuste de Prefixo em uma tarefa LLM

Avaliando e Comparando Métodos PEFT

  • Métricas para avaliar desempenho e eficiência
  • Compreensões entre velocidade de treinamento, uso de memória e precisão
  • Experimentos de benchmarking e interpretação dos resultados

Implantação de Modelos Ajustados Fino

  • Salvando e carregando modelos ajustados fino
  • Considerações de implantação para modelos baseados em PEFT
  • Integração em aplicações e pipelines

Melhores Práticas e Extensões

  • Combinando PEFT com quantização e distilação
  • Uso em configurações de baixos recursos e multilíngues
  • Direções futuras e áreas ativas de pesquisa

Resumo e Próximos Passos

Requisitos

  • Compreensão dos fundamentos de aprendizado de máquina
  • Experiência em trabalhar com grandes modelos linguísticos (LLMs)
  • Familiaridade com Python e PyTorch

Público-alvo

  • Cientistas de dados
  • Engenheiros de IA
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas