Vamos falar sobre web scraping, uma das coisas que podemos fazer com Python, o que é Web scraping?
Bem, web scraping significa simplesmente usar Python de forma programática ou qualquer linguagem de captura de dados de um
site.
Então, por exemplo, posso pegar dados da Amazon, da Airbnb.
Talvez de um site de receitas, qualquer site da Web pode ser copiado; portanto, basicamente, quando falamos sobre web scraping, queremos dizer baixar
uma página da Web, obter os dados dessa página da Web, limpá-la de alguma forma para que seja útil
para nós.
E então, usando esses dados, você vê, é assim que os sites funcionam.
Temos um navegador que usamos como um cromo e temos um servidor.
Um servidor é simplesmente um computador em algum lugar do mundo que possui três arquivos necessários para exibir uma página
da web.
Temos um arquivo HTML, que é o conteúdo do site.
Você pode pensar nisso como texto e imagens de um site.
Temos acesso, o que nos dá as cores e o estilo bonito que os sites têm.
E então temos o JavaScript, que nos permite ter diferentes comportamentos em nosso site, como enviar
formulários ou ter menus suspensos.
E tudo que um navegador faz como o Chrome é, ei, se Andre visitar este site, digamos que o navegador FIFA
dotcom saberá quando eu digitar FIFA dotcom que diz, ei, servidor, você pode me fornecer o FIFA
dotcom e- acesso de e-mail em arquivos JavaScript?
E o servidor diz, sim, sem problema.
Aqui estão eles.
E então a página é exibida em nosso navegador.
Então, esses três arquivos, bem, os dados neles estão acessíveis para nós, certo?
Ele é exibido em uma página da web.
Portanto, esses arquivos agora são algo que podemos realmente verificar.
Por exemplo, se formos ao site da FIFA pontocom, você verá aqui que, bem, temos uma
página bonita com muitas informações.
Isso é ótimo.
E se eu
Direito.
Clique aqui e visualize o código-fonte da página.
Esta é a página HTML do site da FIFA.
Como você pode ver, é bem longo.
Mas contém todos os dados que vemos nesta página.
Agora, os arquivos JavaScript experientes estão vinculados a ele.
Mas o principal dado que é o texto podem ser as imagens.
Estão todos aqui, então, por exemplo, temos as últimas notícias, temos os 10 principais objetivos.
Da Copa do Mundo Feminina, bem, vamos descobrir, digamos, os 10 melhores gols.
Da Copa do Mundo Feminina, sabe, é isso que temos, temos o texto bem aqui.
E web scraping é simplesmente isso, pegar esses dados.
E, em seguida, remover todas as partes com as quais não nos importamos e apenas manter as
partes com as quais nos preocupamos e o web scraping funcionará porque essas informações são públicas para que um site seja exibido.
Tem que ser público.
Talvez você ainda esteja se perguntando por que o web scraping pode ser útil.
Bem, existem muitos, muitos casos para isso.
Por exemplo, vou criar um link para este recurso, onde ele fala sobre alguns dos grandes usos do web scraping.
Por que desejaríamos descartar um site?
E você pode ver aqui, há muitos motivos pelos quais talvez você queira obter leads.
Ou seja, você deseja coletar todos os e-mails que estão em uma página da Web, talvez um formulário de contato, talvez você
tenha um escritório de ioga, produto de software, talvez vá a cada página da Web de estúdios de ioga e encontre as informações de
contato, raspe esses dados então você não precisa fazer isso manualmente.
Talvez você queira encontrar todos os empregos e vagas em aberto em um site e, em vez de clicar manualmente em
páginas diferentes, pode obter esses dados.
E há muitos, muitos casos de uso em nosso projeto que iremos construir para esta sessão.
Na verdade, vamos vasculhar o Hacker News, um site muito popular para muitos programadores,
e vamos transformar isso em algo ainda mais útil para lermos, analisarmos e ficarmos atualizados com nosso
setor.
Mas vamos chegar lá em breve.
Vamos fazer uma pausa aqui e aprender um pouco mais sobre Web scraping no próximo vídeo.