Entrar em Contato
 Duração 21 horas

Programa do Curso

Introdução aos Grandes Modelos de Linguagem (LLMs)

  • Visão geral dos LLMs
  • Definição e importância
  • Aplicações na IA de hoje

Arquitetura Transformer

  • O que é um transformer e como funciona?
  • Principais componentes e funcionalidades
  • Incorporação (embedding) e codificação posicional
  • Atenção multi-cabeça (multi-head attention)
  • Rede neural feed-forward
  • Normalização e ligações residuais

Modelos Transformer

  • Mecanismo de auto-atenção
  • Arquitetura encoder-decoder
  • Incorporações posicionais
  • BERT (Bidirectional Encoder Representations from Transformers)
  • GPT (Generative Pretrained Transformer)

Otimização de Desempenho e Armadilhas

  • Comprimento do contexto
  • Mamba e modelos de espaço de estado
  • Flash attention
  • Transformers esparsos
  • Transformers de visão
  • Importância da quantização

Melhoria dos Transformers

  • Geração de texto aumentada por recuperação (retrieval augmented text generation)
  • Mistura de modelos
  • Árvore de pensamentos

Fine-Tuning

  • Teoria da adaptação de baixa ranque (low-rank adaptation)
  • Fine-Tuning com QLora

Leis de Escala e Otimização em LLMs

  • Importância das leis de escala para LLMs
  • Escala de dados e tamanho do modelo
  • Escala computacional
  • Escala de eficiência de parâmetros

Otimização

  • Relação entre o tamanho do modelo, o tamanho dos dados, o orçamento computacional e os requisitos de inferência
  • Otimização do desempenho e da eficiência dos LLMs
  • Boas práticas e ferramentas para treino e fine-tuning de LLMs

Formação e Fine-Tuning de LLMs

  • Etapas e desafios do treino de LLMs do zero
  • Aquisição e manutenção de dados
  • Requisitos de dados em larga escala, CPU e memória
  • Desafios de otimização
  • Paisagem dos LLMs open-source

Fundamentos da Aprendizagem por Reforço (RL)

  • Introdução à Aprendizagem por Reforço
  • Aprendizagem através de reforço positivo
  • Definição e conceitos centrais
  • Processo de Decisão de Markov (MDP)
  • Programação dinâmica
  • Métodos de Monte Carlo
  • Aprendizagem por Diferença Temporal

Aprendizagem Profunda por Reforço

  • Redes Q Profundas (DQN)
  • Otimização de Política Próxima (PPO)
  • Elementos da Aprendizagem por Reforço

Integração de LLMs e Aprendizagem por Reforço

  • Combinação de LLMs com Aprendizagem por Reforço
  • Como a RL é utilizada em LLMs
  • Aprendizagem por Reforço com Feedback Humano (RLHF)
  • Alternativas ao RLHF

Estudos de Caso e Aplicações

  • Aplicações no mundo real
  • Histórias de sucesso e desafios

Temas Avançados

  • Técnicas avançadas
  • Métodos de otimização avançados
  • Pesquisa e desenvolvimentos de fronteira

Resumo e Próximos Passos

Requisitos

  • Conhecimento básico de Aprendizagem de Máquina

Público-Alvo

  • Cientistas de dados
  • Engenheiros de software

Formação Empresarial Personalizada

Soluções de formação concebidas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, formação online em direto, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas