Curso de Web Scraping with Python
Web Scraping é uma técnica para extrair dados de um site, em seguida, salvá-lo em um arquivo ou banco de dados local.
Este treinamento ao vivo orientado por instrutor (no local ou remoto) é destinado a desenvolvedores que desejam usar o Python para automatizar o processo de rastreamento de muitos sites para extrair dados para processamento e análise.
No final deste treinamento, os participantes serão capazes de:
- Instalar e configurar o Python e todos os pacotes relevantes.
- Recuperar e analisar dados armazenados em muitos sites.
- Entender como os sites funcionam e como sua estrutura HTML é organizada.
- Construir spiders para rastrear a web em escala.
- Usar o Selenium para rastrear páginas web baseadas em AJAX.
Formato do Curso
- Aula interativa e discussão.
- Muitos exercícios e prática.
- Implementação prática em um ambiente de laboratório ao vivo.
Opções de personalização de curso
- Este curso pressupõe conhecimento de programação.
- Para solicitar um treinamento personalizado para este curso, entre em contato conosco para combinar.
Programa do Curso
Introdução
Configurando o Ambiente de Desenvolvimento
Python Cartilha: Estruturas de Dados, Condicionais, Manipulação de Arquivos, etc.
Python Pacotes para Web Scraping: Scrapy e BeautifulSoup
Como funciona um site
Como HTML é estruturado
Fazendo uma solicitação da Web
Raspar uma página HTML
Trabalhando com XPath e CSS
Filtrando dados usando Expressions regulares
Criando um rastreador da Web
Rastreando páginas AJAX e JavaScript com Selenium.
Práticas recomendadas para raspagem na Web
Solução de problemas
Resumo e conclusão
Requisitos
- Programming experiência, preferencialmente em Python. Se os participantes tiverem experiência em programação em uma linguagem diferente de Python, o treinamento pode ser estendido para incluir exercícios mais introdutórios de Python.
Público
- Desenvolvedores
Precisa de ajuda para escolher o curso certo?
Curso de Web Scraping with Python - Enquiry
Web Scraping with Python - Solicitação de Consultoria
Solicitação de Consultoria
Declaração de Clientes (1)
Muitos exemplos e tópicos diferentes foram abordados, desde investigações básicas até gerenciamento de login e gerenciamento de páginas dinâmicas.
Daniele Tagliaferro - Creditsafe Italia Srl
Curso - Web Scraping with Python
Máquina Traduzida
Próximas Formações Provisórias
Cursos Relacionados
BDD with Python and Behave
7 HorasThis instructor-led, live training begins with a discussion of BDD and how the Behave framework can be used to carry out BDD testing for web applications. Participants are given ample opportunity to interact with the instructor and peers while implementing the concepts and tactics learned in this hands-on, practice-based lab environment.
No final deste treinamento, os participantes terão uma compreensão firme do BDD e Behave, bem como a prática necessária para implementar essas técnicas e ferramentas em cenários de teste do mundo real.
Scaling Data Analysis with Python and Dask
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados e engenheiros de software que desejam usar o Dask com o ecossistema Python para criar, dimensionar e analisar grandes conjuntos de dados.
No final desta formação, os participantes serão capazes de
- Configurar o ambiente para começar a criar o processamento de big data com Dask e Python.
- Explorar os recursos, as bibliotecas, as ferramentas e as APIs disponíveis no Dask.
- Compreender como o Dask acelera a computação paralela em Python.
- Aprenda como escalar o ecossistema Python (Numpy, SciPy e Pandas) usando Dask.
- Otimizar o ambiente Dask para manter o alto desempenho na manipulação de grandes conjuntos de dados.
Análise de dados em Python usando Pandas e Numpy
14 HorasThis instructor-led, live training in Portugal (online or onsite) is aimed at intermediate-level Python developers and data analysts who wish to enhance their skills in data analysis and manipulation using Pandas and NumPy.
By the end of this training, participants will be able to:
- Set up a development environment that includes Python, Pandas, and NumPy.
- Create a data analysis application using Pandas and NumPy.
- Perform advanced data wrangling, sorting, and filtering operations.
- Conduct aggregate operations and analyze time series data.
- Visualize data using Matplotlib and other visualization libraries.
- Debug and optimize their data analysis code.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 HorasEste treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a desenvolvedores que desejam usar a pilha FARM (FastAPI, React e MongoDB) para criar aplicativos da Web dinâmicos, de alto desempenho e escalonáveis.
No final desta formação, os participantes serão capazes de
-
Configurar o ambiente de desenvolvimento necessário que integra FastAPI, React e MongoDB.
Compreender os principais conceitos, recursos e benefícios da pilha FARM.
Aprender a criar APIs REST com FastAPI.
Aprender a conceber aplicações interactivas com React.
Desenvolver, testar e implantar aplicativos (front-end e back-end) usando a pilha FARM.
Developing APIs with Python and FastAPI
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam usar o FastAPI com Python para criar, testar e implantar APIs RESTful com mais facilidade e rapidez.
No final desta formação, os participantes serão capazes de
- Configurar o ambiente de desenvolvimento necessário para criar APIs com Python e FastAPI.
- Criar APIs de forma mais rápida e fácil usando a biblioteca FastAPI.
- Aprender como criar modelos de dados e esquemas baseados em Pydantic e OpenAPI.
- Conectar APIs a um banco de dados usando SQLAlchemy.
- Implementar segurança e autenticação em APIs usando as ferramentas do FastAPI.
- Construir imagens de contêiner e implantar APIs web em um servidor de nuvem.
Fundamentos de Aprendizado de Máquinas com Python
14 HorasO objetivo deste curso é fornecer uma competência básica na aplicação de métodos Machine Learning na prática. Através do uso do Python linguagem de programação e suas várias bibliotecas, e com base em uma série de exemplos práticos, este curso ensina como usar os blocos de construção mais importantes de Machine Learning, como tomar decisões de modelagem de dados, interpretar as saídas dos algoritmos e validar os resultados.
Nosso objetivo é dar-lhe as habilidades para entender e usar as ferramentas mais fundamentais da caixa de ferramentas de forma confiável e evitar os problemas comuns das aplicações Data Science.
Machine Learning with Python – 4 Days
28 Horaso objetivo deste curso é fornecer proficiência geral na aplicação de métodos de aprendizado de máquina na prática. Através do uso da linguagem de programação Python e suas várias bibliotecas, e com base em uma infinidade de exemplos práticos, este curso ensina como usar os blocos de construção mais importantes do aprendizado de máquina, como fazer decisões de modelagem de dados, interpretar o saídas dos algoritmos e validar os resultados.
nosso objetivo é dar a você as habilidades para entender e usar as ferramentas mais fundamentais da caixa de ferramentas de aprendizado de máquina com confiança e evitar as armadilhas comuns de aplicações de data Sciences.
Accelerating Python Pandas Workflows with Modin
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas e desenvolvedores de dados que desejam usar Modin para criar e implementar cálculos paralelos com Pandas para uma análise de dados mais rápida.
No final deste treinamento, os participantes serão capazes de:
- Configurar o ambiente necessário para começar a desenvolver fluxos de trabalho Pandas em escala com Modin.
- Compreender os recursos, a arquitetura e as vantagens de Modin.
- Conhecer as diferenças entre Modin, Dask e Ray.
- Realizar operações Pandas mais rapidamente com Modin.
- Implementar toda a API Pandas e as funções.
Python for Natural Language Generation (NLG)
21 HorasIn this instructor-led, live training in Portugal, participants will learn how to use Python to produce high-quality natural language text by building their own NLG system from scratch. Case studies will also be examined and the relevant concepts will be applied to live lab projects for generating content.
By the end of this training, participants will be able to:
- Use NLG to automatically generate content for various industries, from journalism, to real estate, to weather and sports reporting.
- Select and organize source content, plan sentences, and prepare a system for automatic generation of original content.
- Understand the NLG pipeline and apply the right techniques at each stage.
- Understand the architecture of a Natural Language Generation (NLG) system.
- Implement the most suitable algorithms and models for analysis and ordering.
- Pull data from publicly available data sources as well as curated databases to use as material for generated text.
- Replace manual and laborious writing processes with computer-generated, automated content creation.
Unit Testing with Python
21 HorasNeste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar o PyTest para escrever testes curtos e fáceis de manter que são elegantes, expressivos e legíveis.
No final desta formação, os participantes serão capazes de
- Escreva testes legíveis e de fácil manutenção sem a necessidade de código boilerplate.
- Use o modelo de fixação para escrever pequenos testes.
- Escalonar testes até testes funcionais complexos para aplicações, pacotes e bibliotecas.
- Compreender e aplicar recursos do PyTest, como hooks, reescrita de assert e plug-ins.
- Reduzir os tempos de teste executando testes em paralelo e em vários processadores.
- Executar testes em um ambiente de integração contínua, juntamente com outros utilitários como tox, mock, coverage, unittest, doctest e Selenium.
- Usar Python para testar aplicações não-Python.
Advanced Machine Learning with Python
21 HorasNeste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão as técnicas de aprendizado de máquina mais relevantes e de ponta em Python à medida que constroem uma série de aplicativos de demonstração envolvendo dados de imagem, música, texto e financeiros.
No final deste treinamento, os participantes serão capazes de:
- Implementar algoritmos e técnicas de aprendizado de máquina para resolver problemas complexos.
- Aplique o aprendizado profundo e o aprendizado semi-supervisionado a aplicativos que envolvam dados de imagem, música, texto e financeiros.
- Utilizar o potencial máximo dos algoritmos Python.
- Utilizar bibliotecas e pacotes como NumPy e Theano.
Python: Automate the Boring Stuff
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal é baseado no popular livro, "Automate the Boring Stuff with Python", de Al Sweigart. Destina-se a principiantes e abrange conceitos essenciais de programação Python através de exercícios práticos e discussões. O foco está em aprender a escrever código para aumentar drasticamente a produtividade do escritório.
No final desta formação, os participantes saberão como programar em Python e aplicar esta nova competência para:
- Automatizar tarefas escrevendo programas simples em Python.
- Escrever programas que podem reconhecer padrões de texto com "expressões regulares".
- Gerar e atualizar planilhas Excel de forma programática.
- Analisar PDFs e documentos Word.
- Rastrear sites e extrair informações de fontes online.
- Escrever programas que enviam notificações por e-mail.
- Utilizar as ferramentas de depuração do Python para resolver bugs rapidamente.
- Controlar o mouse e o teclado de forma programática para clicar e digitar por você.
Advanced Python - 4 Days
28 HorasNeste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão técnicas avançadas de programação Python, incluindo como aplicar essa linguagem versátil para resolver problemas em áreas como aplicativos distribuídos, análise e visualização de dados, programação de interface do usuário e scripts de manutenção.
Programação Python
28 HorasEste curso foi desenvolvido para aqueles que desejam aprender a Python programação Python . A ênfase está na linguagem Python , nas principais bibliotecas, bem como na seleção das melhores e mais úteis bibliotecas desenvolvidas pela comunidade Python . Python dirige negócios e é usado por cientistas de todo o mundo - é uma das linguagens de programação mais populares.
O curso pode ser ministrado utilizando a versão mais recente Python 3.x com exercícios práticos que exploram todo o seu potencial. Este curso pode ser ministrado em qualquer sistema operacional (todas as variantes do UNIX, incluindo Linux e Mac OS X, bem como Microsoft Windows).
Os exercícios práticos constituem cerca de 70% do tempo do curso e cerca de 30% são demonstrações e apresentações. Discussões e perguntas podem ser feitas durante o curso.
Nota: o treinamento pode ser adaptado às necessidades específicas mediante solicitação prévia, antes da data do curso proposto.
Test Automation with Selenium and Python
14 HorasNeste treinamento ao vivo conduzido por instrutor em Portugal os participantes combinam o poder do Python com Selenium para automatizar o teste de uma aplicação web de amostra. Ao combinar teoria com prática em um ambiente de laboratório ao vivo, os participantes obterão o conhecimento e a prática necessários para automatizar seus próprios projetos de teste da Web usando Python e Selenium.