Curso de Deep Reinforcement Learning com Python

1. Introdução ao Deep Reinforcement Learning

• O que é Aprendizado por Reforço?
• Diferença entre Aprendizado Supervisionado, Não Supervisionado e por Reforço
• Aplicações de DRL em 2025 (robótica, saúde, finanças, logística)
• Entendendo o ciclo de interação agente-ambiente

2. Fundamentos do Aprendizado por Reforço

• Processos de Decisão de Markov (MDP)
• Estado, Ação, Recompensa, Política e funções de Valor
• Compromisso entre Exploração e Explotação
• Métodos Monte Carlo e aprendizado Temporal-Difference (TD)

3. Implementação de Algoritmos Básicos de RL

• Métodos tabulares: Programação Dinâmica, Avaliação de Política e Iteração
• Q-Learning e SARSA
• Exploração epsilon-gulosa e estratégias de decaimento
• Implementando ambientes de RL com OpenAI Gymnasium

4. Transição para Deep Reinforcement Learning

• Limitações dos métodos tabulares
• Uso de redes neurais para aproximação de funções
• Arquitetura e fluxo de trabalho do Deep Q-Network (DQN)
• Repetição de experiências (experience replay) e redes-alvo

5. Algoritmos Avançados de DRL

• Double DQN, Dueling DQN e Repetição de Experiência Priorizada
• Métodos de Gradiente de Política: algoritmo REINFORCE
• Arquiteturas Actor-Critic (A2C, A3C)
• Otimização de Política Proximal (PPO)
• Soft Actor-Critic (SAC)

6. Trabalhando com Espaços de Ações Contínuas

• Desafios no controle contínuo
• Uso do DDPG (Deep Deterministic Policy Gradient)
• Twin Delayed DDPG (TD3)

7. Ferramentas e Frameworks Práticos

• Uso do Stable-Baselines3 e Ray RLlib
• Registro e monitoramento com TensorBoard
• Ajuste de hiperparâmetros para modelos DRL

8. Engenharia de Recompensas e Design de Ambientes

• Modelagem de recompensas (reward shaping) e balanceamento de penalidades
• Conceitos de transferência de aprendizado simulado para o mundo real (sim-to-real)
• Criação de ambientes customizados no Gymnasium

9. Ambientes Parcialmente Observáveis e Generalização

• Lidando com informação incompleta do estado (POMDPs)
• Abordagens baseadas em memória usando LSTMs e RNNs
• Melhorando a robustez e generalização do agente

10. Teoria dos Jogos e Aprendizado por Reforço Multiagente

• Introdução a ambientes multiagente
• Cooperação vs. competição
• Aplicações em treinamento adversarial e otimização de estratégias

11. Estudos de Caso e Aplicações do Mundo Real

• Simulações de direção autônoma
• Precificação dinâmica e estratégias de negociação financeira
• Robótica e automação industrial

12. Solução de Problemas e Otimização

• Gerenciando esparsidade de recompensas e superajuste (overfitting)
• Escalando modelos DRL em GPUs e sistemas distribuídos

13. Resumo e Próximos Passos

• Revisão da arquitetura DRL e algoritmos-chave
• Tendências da indústria e direções de pesquisa (por exemplo, RLHF, modelos híbridos)
• Recursos adicionais e materiais de leitura