Programa do Curso

Introdução ao Fine-Tuning da PNL

  • O que é a afinação fina?
  • Vantagens da afinação fina de modelos linguísticos pré-treinados
  • Visão geral dos modelos pré-treinados mais populares (GPT, BERT, T5)

Compreender as tarefas de PNL

  • Análise de sentimentos
  • Sumarização de texto
  • Tradução automática
  • Reconhecimento de entidades nomeadas (NER)

Configurar o ambiente

  • Instalar e configurar Python e bibliotecas
  • Utilizar Hugging Face Transformadores para tarefas de PNL
  • Carregar e explorar modelos pré-treinados

Técnicas de afinação

  • Preparar conjuntos de dados para tarefas de PNL
  • Tokenização e formatação de entrada
  • Afinação para tarefas de classificação, geração e tradução

Otimizar o desempenho do modelo

  • Compreender as taxas de aprendizagem e o tamanho dos lotes
  • Utilizar técnicas de regularização
  • Avaliação do desempenho do modelo com métricas

Laboratórios práticos

  • Afinação do BERT para análise de sentimentos
  • Ajuste fino do T5 para sumarização de texto
  • Ajuste fino do GPT para tradução automática

Implementação de modelos ajustados

  • Exportar e guardar modelos
  • Integração de modelos em aplicações
  • Noções básicas de implementação de modelos em plataformas de nuvem

Desafios e práticas recomendadas

  • Evitar o sobreajuste durante o ajuste fino
  • Lidar com conjuntos de dados desequilibrados
  • Garantir a reprodutibilidade nas experiências

Tendências futuras no ajuste fino de PNL

  • Modelos pré-treinados emergentes
  • Avanços na aprendizagem por transferência para PNL
  • Explorar aplicações multimodais de PNL

Resumo e próximos passos

Requisitos

  • Conhecimento básico dos conceitos de PNL
  • Experiência com programação Python
  • Familiaridade com estruturas de aprendizagem profunda, como TensorFlow ou PyTorch

Público-alvo

  • Cientistas de dados
  • Engenheiros de PNL
 21 Horas

Próximas Formações Provisórias

Categorias Relacionadas