Curso de Fine-Tuning Vision-Language Models (VLMs)
Fine-Tuning Vision-Language Models (VLMs) is a specialized skill used to enhance multimodal AI systems that process both visual and textual inputs for real-world applications.
This instructor-led, live training (online or onsite) is aimed at advanced-level computer vision engineers and AI developers who wish to fine-tune VLMs such as CLIP and Flamingo to improve performance on industry-specific visual-text tasks.
By the end of this training, participants will be able to:
- Understand the architecture and pretraining methods of vision-language models.
- Fine-tune VLMs for classification, retrieval, captioning, or multimodal QA.
- Prepare datasets and apply PEFT strategies to reduce resource usage.
- Evaluate and deploy customized VLMs in production environments.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Programa do Curso
Introduction to Vision-Language Models
- Overview of VLMs and their role in multimodal AI
- Popular architectures: CLIP, Flamingo, BLIP, etc.
- Use cases: search, captioning, autonomous systems, content analysis
Preparing the Fine-Tuning Environment
- Setting up OpenCLIP and other VLM libraries
- Dataset formats for image-text pairs
- Preprocessing pipelines for vision and language inputs
Fine-Tuning CLIP and Similar Models
- Contrastive loss and joint embedding spaces
- Hands-on: fine-tuning CLIP on custom datasets
- Handling domain-specific and multilingual data
Advanced Fine-Tuning Techniques
- Using LoRA and adapter-based methods for efficiency
- Prompt tuning and visual prompt injection
- Zero-shot vs. fine-tuned evaluation trade-offs
Evaluation and Benchmarking
- Metrics for VLMs: retrieval accuracy, BLEU, CIDEr, recall
- Visual-text alignment diagnostics
- Visualizing embedding spaces and misclassifications
Deployment and Use in Real Applications
- Exporting models for inference (TorchScript, ONNX)
- Integrating VLMs into pipelines or APIs
- Resource considerations and model scaling
Case Studies and Applied Scenarios
- Media analysis and content moderation
- Search and retrieval in e-commerce and digital libraries
- Multimodal interaction in robotics and autonomous systems
Summary and Next Steps
Requisitos
- An understanding of deep learning for vision and NLP
- Experience with PyTorch and transformer-based models
- Familiarity with multimodal model architectures
Audience
- Computer vision engineers
- AI developers
Precisa de ajuda para escolher o curso certo?
Curso de Fine-Tuning Vision-Language Models (VLMs) - Consulta
Fine-Tuning Vision-Language Models (VLMs) - Solicitação de Consultoria
Solicitação de Consultoria
Próximas Formações Provisórias
Cursos Relacionados
Técnicas Avançadas em Aprendizagem Transferida
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de aprendizado de máquina de nível avançado que desejam dominar técnicas de aprendizado de transferência de ponta e aplicá-las a problemas complexos do mundo real.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender conceitos e metodologias avançadas na aprendizagem por transferência.
- Implementar técnicas de adaptação específicas do domínio para modelos pré-treinados.
- Aplicar a aprendizagem contínua para gerenciar tarefas e conjuntos de dados em evolução.
- Dominar o ajuste fino de várias tarefas para melhorar o desempenho do modelo em todas as tarefas.
Implantando Modelos Afinados em Produção
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam implantar modelos ajustados de forma confiável e eficiente.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os desafios da implantação de modelos ajustados em produção.
- Containerizar e implantar modelos usando ferramentas como Docker e Kubernetes.
- Implementar monitoramento e registro para modelos implantados.
- Otimizar modelos para latência e escalabilidade em cenários do mundo real.
Afinamento Específico para Finanças
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário que desejam obter habilidades práticas na personalização de modelos de IA para tarefas financeiras críticas.
Ao final deste treinamento, os participantes serão capazes de:
- Entenda os fundamentos do ajuste fino para aplicativos financeiros.
- Aproveite os modelos pré-treinados para tarefas específicas de domínio em finanças.
- Aplicar técnicas para deteção de fraude, avaliação de risco e geração de aconselhamento financeiro.
- Garantir a conformidade com regulamentos financeiros como GDPR e SOX.
- Implementar a segurança dos dados e práticas éticas de IA em aplicações financeiras.
Aperfeiçoamento de Modelos e Grandes Modelos de Linguagem (LLMs)
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário a avançado que desejam personalizar modelos pré-treinados para tarefas e conjuntos de dados específicos.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os princípios do ajuste fino e suas aplicações.
- Preparar conjuntos de dados para o ajuste fino de modelos pré-treinados.
- Ajuste fino de grandes modelos de linguagem (LLMs) para tarefas de PNL.
- Otimizar o desempenho do modelo e abordar desafios comuns.
Fine-Tuning Eficiente com Adaptação de Baixa Taxa (LoRA)
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores de nível intermediário e profissionais de IA que desejam implementar estratégias de ajuste fino para grandes modelos sem a necessidade de recursos computacionais extensos.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios da adaptação de baixo ranqueamento (LoRA).
- Implementar LoRA para um ajuste fino eficiente de modelos grandes.
- Otimizar o ajuste fino para ambientes com recursos limitados.
- Avaliar e implementar modelos ajustados por LoRA para aplicações práticas.
Aperfeiçoamento de Modelos Multimodais
28 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam dominar o ajuste fino do modelo multimodal para soluções inovadoras de IA.
No final deste treinamento, os participantes serão capazes de:
- Compreender a arquitetura de modelos multimodais como CLIP e Flamingo.
- Prepare e pré-processe conjuntos de dados multimodais de forma eficaz.
- Ajuste fino de modelos multimodais para tarefas específicas.
- Otimizar modelos para aplicações e desempenho no mundo real.
Afinamento para Processamento de Linguagem Natural (PLN)
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário que desejam aprimorar seus projetos de PNL por meio do ajuste fino eficaz de modelos de linguagem pré-treinados.
No final deste treinamento, os participantes serão capazes de:
- Compreender os fundamentos do ajuste fino para tarefas de PNL.
- Ajustar modelos pré-treinados, como GPT, BERT e T5, para aplicações específicas de PNL.
- Otimizar os hiperparâmetros para melhorar o desempenho do modelo.
- Avaliar e implementar modelos ajustados em cenários do mundo real.
Aperfeiçoamento de Modelos DeepSeek LLM para Aplicações AI Personalizadas
21 HorasEste treinamento ao vivo e presidido por um instrutor (online ou no local) é direcionado a pesquisadores avançados de IA, engenheiros de aprendizado de máquina e desenvolvedores que desejam ajustar modelos DeepSeek LLM para criar aplicações de IA especializadas, adaptadas às necessidades específicas de indústrias, domínios ou negócios.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender a arquitetura e as capacidades dos modelos DeepSeek, incluindo DeepSeek-R1 e DeepSeek-V3.
- Preparar conjuntos de dados e pré-processar dados para ajuste fino.
- Ajustar modelos DeepSeek LLM para aplicações específicas de domínio.
- Otimizar e implantar eficientemente os modelos ajustados.
Fine-Tuning Grandes Modelos de Linguagem Usando QLoRA
14 HorasEsta formação ao vivo, ministrada por um instrutor em Portugal (online ou presencial), é direcionada a engenheiros de aprendizado de máquina de nível intermediário a avançado, desenvolvedores de IA e cientistas de dados que desejam aprender como usar o QLoRA para ajustar eficientemente grandes modelos para tarefas específicas e personalizações.
No final desta formação, os participantes serão capazes de:
- Compreender a teoria por trás do QLoRA e das técnicas de quantização para LLMs (Large Language Models).
- Implementar o QLoRA no ajuste fino de grandes modelos linguísticos para aplicações específicas de domínio.
- Otimizar o desempenho do ajuste fino em recursos computacionais limitados usando quantização.
- Deploy e avaliar modelos ajustados finamente em aplicações do mundo real de forma eficiente.
Fine-Tuning com Reinforcement Learning do Feedback Humano (RLHF)
14 HorasEsta formação ao vivo, ministrada por um instrutor em Portugal (online ou presencial), é direcionada a engenheiros de aprendizado de máquina avançados e pesquisadores de IA que desejam aplicar RLHF para ajustar modelos grandes de IA com melhor desempenho, segurança e alinhamento.
Ao final desta formação, os participantes serão capazes de:
- Compreender as bases teóricas do RLHF e por que é essencial no desenvolvimento moderno de IA.
- Implementar modelos de recompensa baseados em feedback humano para orientar processos de aprendizado por reforço.
- Ajustar modelos grandes de linguagem usando técnicas de RLHF para alinhar as saídas com as preferências humanas.
- Aplicar as melhores práticas para escalar fluxos de trabalho de RLHF para sistemas de IA de produção.
Otimizando Grandes Modelos para Afinamento com Custos Eficientes
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam dominar técnicas para otimizar grandes modelos para um ajuste fino e econômico em cenários do mundo real.
No final deste treinamento, os participantes serão capazes de:
- Compreender os desafios do ajuste fino de grandes modelos.
- Aplicar técnicas de treinamento distribuído a grandes modelos.
- Aproveite a quantização do modelo e a poda para obter eficiência.
- Otimizar a utilização de hardware para tarefas de ajuste fino.
- Implantar modelos de ajuste fino de forma eficaz em ambientes de produção.
Engenharia de Prompts e Afinamento com Exemplos Reduzidos
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário que desejam aproveitar o poder da engenharia rápida e do aprendizado de poucos disparos para otimizar o desempenho do LLM para aplicativos do mundo real.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios da engenharia de prompt e da aprendizagem de poucos disparos.
- Projetar prompts eficazes para várias tarefas de PNL.
- Aproveitar as técnicas de poucos disparos para adaptar LLMs com dados mínimos.
- Otimizar o desempenho do LLM para aplicações práticas.
Técnicas Paramétricas Eficientes Fine-Tuning (PEFT) para Modelos de Linguagem Grandes (LLMs)
14 HorasEste treinamento ao vivo, ministrado por um instrutor em Portugal (online ou presencial), é direcionado a cientistas de dados e engenheiros de IA de nível intermediário que desejam ajustar modelos de linguagem grandes de forma mais econômica e eficiente usando métodos como LoRA, Adapter Tuning e Prefix Tuning.
No final deste treinamento, os participantes serão capazes de:
- Compreender a teoria por trás das abordagens de ajuste fino com eficiência paramétrica.
- Implementar LoRA, Adapter Tuning e Prefix Tuning usando Hugging Face PEFT.
- Comparar as vantagens e desvantagens em termos de desempenho e custo dos métodos PEFT versus o ajuste fino completo.
- Implantar e escalar modelos de linguagem ajustados com requisitos reduzidos de computação e armazenamento.
Introdução ao Aprendizado Transferível
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de aprendizado de máquina de nível iniciante a intermediário que desejam entender e aplicar técnicas de aprendizado de transferência para melhorar a eficiência e o desempenho em projetos de IA.
No final deste treinamento, os participantes serão capazes de:
- Compreender os principais conceitos e benefícios do aprendizado de transferência.
- Explore modelos pré-treinados populares e seus aplicativos.
- Realize o ajuste fino de modelos pré-treinados para tarefas personalizadas.
- Aplicar o aprendizado de transferência para resolver problemas do mundo real em PNL e visão computacional.
Solucionando Desafios de Afinamento Fino
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam refinar suas habilidades no diagnóstico e solução de desafios de ajuste fino para modelos de aprendizado de máquina.
No final deste treinamento, os participantes serão capazes de:
- Diagnosticar problemas como overfitting, underfitting e desequilíbrio de dados.
- Implementar estratégias para melhorar a convergência do modelo.
- Otimizar pipelines de ajuste fino para melhor desempenho.
- Depurar processos de treinamento usando ferramentas e técnicas práticas.