Curso de Ajuste Fino de LLMs de Código Aberto (LLaMA, Mistral, Qwen, etc.)

Introdução aos LLMs de Código Aberto

• O que são modelos de peso aberto e por que são importantes.
• Visão geral dos modelos LLaMA, Mistral, Qwen e outros modelos da comunidade.
• Casos de uso para implantações privadas, on-premise ou seguras.

Configuração do Ambiente e Ferramentas

• Instalação e configuração das bibliotecas Transformers, Datasets e PEFT.
• Escolha de hardware adequado para ajuste fino.
• Carregamento de modelos pré-treinados do Hugging Face ou de outros repositórios.

Preparação e Pré-processamento de Dados

• Formatos de conjuntos de dados (ajuste fino por instrução, dados de chat, apenas texto).
• Tokenização e gerenciamento de sequências.
• Criação de conjuntos de dados personalizados e carregadores de dados.

Técnicas de Ajuste Fino

• Ajuste fino completo padrão vs. métodos eficientes em parâmetros.
• Apliação de LoRA e QLoRA para ajuste fino eficiente.
• Uso da API Trainer para experimentação rápida.

Avaliação e Otimização de Modelos

• Avaliação de modelos ajustados com métricas de geração e precisão.
• Gerenciamento de overfitting, generalização e conjuntos de validação.
• Dicas de ajuste de desempenho e registros.

Implantação e Uso Privado

• Salvamento e carregamento de modelos para inferência.
• Implantação de modelos ajustados em ambientes empresariais seguros.
• Estratégias de implantação on-premise vs. na nuvem.

Estudos de Caso e Casos de Uso

• Exemplos de uso empresarial de LLaMA, Mistral e Qwen.
• Tratamento de ajuste fino multilíngue e específico de domínio.
• Discussão: Compromissos entre modelos abertos e fechados.

Resumo e Próximos Passos