Programa do Curso

Introdução aos Modelos de Código Aberto LLMs

  • O que são modelos de peso aberto e por que eles são importantes
  • Visão geral de LLaMA, Mistral, Qwen e outros modelos da comunidade
  • Casos de uso para implantações privadas, em local ou seguras

Configuração do Ambiente e Ferramentas

  • Instalação e configuração das bibliotecas Transformers, Datasets e PEFT
  • Escolhendo hardware apropriado para o fine-tuning
  • Carga de modelos pré-treinados de Hugging Face ou outros repositórios

Preparação e Pré-processamento dos Dados

  • Formatos de conjunto de dados (ajuste por instrução, dados de chat, texto apenas)
  • Tokenização e gerenciamento de sequências
  • Criação de conjuntos de dados personalizados e carregadores de dados

Técnicas Fine-Tuning

  • Ajuste fino completo padrão vs. métodos eficientes em parâmetros
  • Aplicando LoRA e QLoRA para fine-tuning eficiente
  • Usando a API Trainer para experimentação rápida

Avaliação e Otimização do Modelo

  • Avaliando modelos fine-tuned com métricas de geração e precisão
  • Gerenciamento de overfitting, generalização e conjuntos de validação
  • Dicas de otimização de desempenho e registro

Implantação e Uso Privado

  • Salvando e carregando modelos para inferência
  • Implantando modelos fine-tuned em ambientes empresariais seguros
  • Estratégias de implantação em local vs. na nuvem

Casos de Estudo e Use Cases

  • Exemplos de uso empresarial de LLaMA, Mistral e Qwen
  • Lidando com fine-tuning multilíngue e específico por domínio
  • Discussão: Trade-offs entre modelos abertos e fechados

Resumo e Próximos Passos

Requisitos

  • Compreensão dos modelos de linguagem grandes (LLMs) e sua arquitetura
  • Experiência com Python e PyTorch
  • Familiaridade básica com o ecossistema Hugging Face

Público-alvo

  • Praticantes de aprendizado de máquina (ML)
  • Desenvolvedores de IA
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas