Cursos de Fine-Tuning Vision-Language Models (VLMs)
Fine-Tuning Vision-Language Models (VLMs) is a specialized skill used to enhance multimodal AI systems that process both visual and textual inputs for real-world applications.
This instructor-led, live training (online or onsite) is aimed at advanced-level computer vision engineers and AI developers who wish to fine-tune VLMs such as CLIP and Flamingo to improve performance on industry-specific visual-text tasks.
By the end of this training, participants will be able to:
- Understand the architecture and pretraining methods of vision-language models.
- Fine-tune VLMs for classification, retrieval, captioning, or multimodal QA.
- Prepare datasets and apply PEFT strategies to reduce resource usage.
- Evaluate and deploy customized VLMs in production environments.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Programa do Curso
Introduction to Vision-Language Models
- Overview of VLMs and their role in multimodal AI
- Popular architectures: CLIP, Flamingo, BLIP, etc.
- Use cases: search, captioning, autonomous systems, content analysis
Preparing the Fine-Tuning Environment
- Setting up OpenCLIP and other VLM libraries
- Dataset formats for image-text pairs
- Preprocessing pipelines for vision and language inputs
Fine-Tuning CLIP and Similar Models
- Contrastive loss and joint embedding spaces
- Hands-on: fine-tuning CLIP on custom datasets
- Handling domain-specific and multilingual data
Advanced Fine-Tuning Techniques
- Using LoRA and adapter-based methods for efficiency
- Prompt tuning and visual prompt injection
- Zero-shot vs. fine-tuned evaluation trade-offs
Evaluation and Benchmarking
- Metrics for VLMs: retrieval accuracy, BLEU, CIDEr, recall
- Visual-text alignment diagnostics
- Visualizing embedding spaces and misclassifications
Deployment and Use in Real Applications
- Exporting models for inference (TorchScript, ONNX)
- Integrating VLMs into pipelines or APIs
- Resource considerations and model scaling
Case Studies and Applied Scenarios
- Media analysis and content moderation
- Search and retrieval in e-commerce and digital libraries
- Multimodal interaction in robotics and autonomous systems
Summary and Next Steps
Requisitos
- An understanding of deep learning for vision and NLP
- Experience with PyTorch and transformer-based models
- Familiarity with multimodal model architectures
Audience
- Computer vision engineers
- AI developers
Precisa de ajuda para escolher o curso certo?
Cursos de Fine-Tuning Vision-Language Models (VLMs) - Enquiry
Fine-Tuning Vision-Language Models (VLMs) - Solicitação de Consultoria
Solicitação de Consultoria
Próximas Formações Provisórias
Cursos Relacionados
Advanced Techniques in Transfer Learning
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de aprendizado de máquina de nível avançado que desejam dominar técnicas de aprendizado de transferência de ponta e aplicá-las a problemas complexos do mundo real.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender conceitos e metodologias avançadas na aprendizagem por transferência.
- Implementar técnicas de adaptação específicas do domínio para modelos pré-treinados.
- Aplicar a aprendizagem contínua para gerenciar tarefas e conjuntos de dados em evolução.
- Dominar o ajuste fino de várias tarefas para melhorar o desempenho do modelo em todas as tarefas.
Deploying Fine-Tuned Models in Production
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam implantar modelos ajustados de forma confiável e eficiente.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os desafios da implantação de modelos ajustados em produção.
- Containerizar e implantar modelos usando ferramentas como Docker e Kubernetes.
- Implementar monitoramento e registro para modelos implantados.
- Otimizar modelos para latência e escalabilidade em cenários do mundo real.
Domain-Specific Fine-Tuning for Finance
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário que desejam obter habilidades práticas na personalização de modelos de IA para tarefas financeiras críticas.
Ao final deste treinamento, os participantes serão capazes de:
- Entenda os fundamentos do ajuste fino para aplicativos financeiros.
- Aproveite os modelos pré-treinados para tarefas específicas de domínio em finanças.
- Aplicar técnicas para deteção de fraude, avaliação de risco e geração de aconselhamento financeiro.
- Garantir a conformidade com regulamentos financeiros como GDPR e SOX.
- Implementar a segurança dos dados e práticas éticas de IA em aplicações financeiras.
Fine-Tuning Models and Large Language Models (LLMs)
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário a avançado que desejam personalizar modelos pré-treinados para tarefas e conjuntos de dados específicos.
Ao final deste treinamento, os participantes serão capazes de:
- Compreender os princípios do ajuste fino e suas aplicações.
- Preparar conjuntos de dados para o ajuste fino de modelos pré-treinados.
- Ajuste fino de grandes modelos de linguagem (LLMs) para tarefas de PNL.
- Otimizar o desempenho do modelo e abordar desafios comuns.
Efficient Fine-Tuning with Low-Rank Adaptation (LoRA)
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores de nível intermediário e profissionais de IA que desejam implementar estratégias de ajuste fino para grandes modelos sem a necessidade de recursos computacionais extensos.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios da adaptação de baixo ranqueamento (LoRA).
- Implementar LoRA para um ajuste fino eficiente de modelos grandes.
- Otimizar o ajuste fino para ambientes com recursos limitados.
- Avaliar e implementar modelos ajustados por LoRA para aplicações práticas.
Fine-Tuning Multimodal Models
28 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam dominar o ajuste fino do modelo multimodal para soluções inovadoras de IA.
No final deste treinamento, os participantes serão capazes de:
- Compreender a arquitetura de modelos multimodais como CLIP e Flamingo.
- Prepare e pré-processe conjuntos de dados multimodais de forma eficaz.
- Ajuste fino de modelos multimodais para tarefas específicas.
- Otimizar modelos para aplicações e desempenho no mundo real.
Fine-Tuning for Natural Language Processing (NLP)
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário que desejam aprimorar seus projetos de PNL por meio do ajuste fino eficaz de modelos de linguagem pré-treinados.
No final deste treinamento, os participantes serão capazes de:
- Compreender os fundamentos do ajuste fino para tarefas de PNL.
- Ajustar modelos pré-treinados, como GPT, BERT e T5, para aplicações específicas de PNL.
- Otimizar os hiperparâmetros para melhorar o desempenho do modelo.
- Avaliar e implementar modelos ajustados em cenários do mundo real.
Fine-Tuning DeepSeek LLM for Custom AI Models
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a pesquisadores de IA de nível avançado, engenheiros de aprendizado de máquina e desenvolvedores que desejam ajustar os modelos LLM DeepSeek para criar aplicativos de IA especializados adaptados a setores, domínios ou necessidades de negócios específicos.
No final deste treinamento, os participantes serão capazes de:
- Compreender a arquitetura e os recursos dos modelos DeepSeek, incluindo DeepSeek -R1 e DeepSeek -V3.
- Preparar conjuntos de dados e pré-processar dados para o ajuste fino.
- Afinar o DeepSeek LLM para aplicações específicas do domínio.
- Otimizar e implementar modelos ajustados de forma eficiente.
Fine-Tuning Large Language Models Using QLoRA
14 HorasEsta formação ao vivo, ministrada por um instrutor em Portugal (online ou presencial), é direcionada a engenheiros de aprendizado de máquina de nível intermediário a avançado, desenvolvedores de IA e cientistas de dados que desejam aprender como usar o QLoRA para ajustar eficientemente grandes modelos para tarefas específicas e personalizações.
No final desta formação, os participantes serão capazes de:
- Compreender a teoria por trás do QLoRA e das técnicas de quantização para LLMs (Large Language Models).
- Implementar o QLoRA no ajuste fino de grandes modelos linguísticos para aplicações específicas de domínio.
- Otimizar o desempenho do ajuste fino em recursos computacionais limitados usando quantização.
- Deploy e avaliar modelos ajustados finamente em aplicações do mundo real de forma eficiente.
Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)
14 HorasEste treinamento ao vivo e ministrado por um instrutor em Portugal (online ou presencial) é direcionado a profissionais de nível intermediário em ML e desenvolvedores de IA que desejam ajustar e implantar modelos open-weight como LLaMA, Mistral e Qwen para aplicações específicas de negócios ou internas.
No final deste treinamento, os participantes serão capazes de:
- Compreender o ecossistema e as diferenças entre modelos de IA open-source.
- Preparar conjuntos de dados e configurações de ajuste fino para modelos como LLaMA, Mistral e Qwen.
- Executar pipelines de ajuste fino usando Hugging Face Transformers e PEFT.
- Avaliar, salvar e implantar modelos ajustados em ambientes seguros.
Fine-Tuning for Retrieval-Augmented Generation (RAG) Systems
14 HorasEsta formação ao vivo, liderada por um instrutor, em Portugal (online ou presencial), é direcionada a engenheiros de NLP intermediários e equipes de gestão do conhecimento que desejam ajustar pipelines RAG para melhorar o desempenho em casos de uso como resposta a perguntas, busca empresarial e resumos.
No final desta formação, os participantes serão capazes de:
- Compreender a arquitetura e o fluxo de trabalho dos sistemas RAG.
- Ajustar componentes recuperador e gerador para dados específicos do domínio.
- Avaliar o desempenho RAG e aplicar melhorias através das técnicas PEFT.
- Implantar sistemas RAG otimizados para uso interno ou de produção.
Fine-Tuning with Reinforcement Learning from Human Feedback (RLHF)
14 HorasEsta formação ao vivo, ministrada por um instrutor em Portugal (online ou presencial), é direcionada a engenheiros de aprendizado de máquina avançados e pesquisadores de IA que desejam aplicar RLHF para ajustar modelos grandes de IA com melhor desempenho, segurança e alinhamento.
Ao final desta formação, os participantes serão capazes de:
- Compreender as bases teóricas do RLHF e por que é essencial no desenvolvimento moderno de IA.
- Implementar modelos de recompensa baseados em feedback humano para orientar processos de aprendizado por reforço.
- Ajustar modelos grandes de linguagem usando técnicas de RLHF para alinhar as saídas com as preferências humanas.
- Aplicar as melhores práticas para escalar fluxos de trabalho de RLHF para sistemas de IA de produção.
Optimizing Large Models for Cost-Effective Fine-Tuning
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível avançado que desejam dominar técnicas para otimizar grandes modelos para um ajuste fino e econômico em cenários do mundo real.
No final deste treinamento, os participantes serão capazes de:
- Compreender os desafios do ajuste fino de grandes modelos.
- Aplicar técnicas de treinamento distribuído a grandes modelos.
- Aproveite a quantização do modelo e a poda para obter eficiência.
- Otimizar a utilização de hardware para tarefas de ajuste fino.
- Implantar modelos de ajuste fino de forma eficaz em ambientes de produção.
Prompt Engineering and Few-Shot Fine-Tuning
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de nível intermediário que desejam aproveitar o poder da engenharia rápida e do aprendizado de poucos disparos para otimizar o desempenho do LLM para aplicativos do mundo real.
No final deste treinamento, os participantes serão capazes de:
- Compreender os princípios da engenharia de prompt e da aprendizagem de poucos disparos.
- Projetar prompts eficazes para várias tarefas de PNL.
- Aproveitar as técnicas de poucos disparos para adaptar LLMs com dados mínimos.
- Otimizar o desempenho do LLM para aplicações práticas.
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
14 HorasEste treinamento ao vivo, ministrado por um instrutor em Portugal (online ou presencial), é direcionado a cientistas de dados e engenheiros de IA de nível intermediário que desejam ajustar modelos de linguagem grandes de forma mais econômica e eficiente usando métodos como LoRA, Adapter Tuning e Prefix Tuning.
No final deste treinamento, os participantes serão capazes de:
- Compreender a teoria por trás das abordagens de ajuste fino com eficiência paramétrica.
- Implementar LoRA, Adapter Tuning e Prefix Tuning usando Hugging Face PEFT.
- Comparar as vantagens e desvantagens em termos de desempenho e custo dos métodos PEFT versus o ajuste fino completo.
- Implantar e escalar modelos de linguagem ajustados com requisitos reduzidos de computação e armazenamento.