Programa do Curso

Introdução aos LLMs Multimodais no Vertex AI

  • Visão geral das capacidades multimodais no Vertex AI
  • Modelos Gemini e modalidades suportadas
  • Casos de uso em empresas e pesquisa

Configurando o Ambiente de Desenvolvimento

  • Configurando o Vertex AI para fluxos de trabalho multimodais
  • Trabalhando com conjuntos de dados em diferentes modalidades
  • Laboratório prático: configuração do ambiente e preparação dos conjuntos de dados

Janelas de Contexto Longo e Raciocínio Avançado

  • Compreendendo fluxos de trabalho com contexto longo
  • Casos de uso em planejamento e tomada de decisão
  • Laboratório prático: implementando análise de contexto longo

Design de Fluxos de Trabalho Multimodais

  • Combinando análise de texto, áudio e imagem
  • Encadeando etapas multimodais em pipelines
  • Laboratório prático: projetando um pipeline multimodal

Trabalhando com Parâmetros da API Gemini

  • Configurando entradas e saídas multimodais
  • Otimizando a inferência e eficiência
  • Laboratório prático: ajustando parâmetros da API Gemini

Aplicações Avançadas e Integrações

  • Agentes e assistentes multimodais interativos
  • Integrando APIs e ferramentas externas
  • Laboratório prático: construindo uma aplicação multimodal

Avaliação e Iteração

  • Testando o desempenho multimodal
  • Métricas para precisão, alinhamento e drift
  • Laboratório prático: avaliando fluxos de trabalho multimodais

Resumo e Próximos Passos

Requisitos

  • Proficiência em programação Python
  • Experiência com desenvolvimento de modelos de aprendizado de máquina
  • Familiaridade com dados multimodais (texto, áudio, imagem)

Público-Alvo

  • Pesquisadores em IA
  • Desenvolvedores avançados
  • Cientistas de ML
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas