Web scraping com python // Coletando dados em sites e salvando em arquivo 

Olá Pessoal , para pegar o parâmetro do headers do User Agent digite o comando: my user agent na barra de endereço do seu navegador. Além disso o código fonte está nas descrições.

Canal só com assunto TOp, com aplicações bem práticas no PYTHON do dia dia,necessidades diárias e tal. Sou fã número 1 do seu canal, já divulguei nas minhas redes sociais. Parabéns pelo conteúdo. Continue assim...

muito de cara, exatamente isso que procurava

Excelente trabalho, só sucesso.... parabéns!

Parabéns pelo vídeo. Codificação simplificada, bem explicada e abordando as necessidades reais do web scraping.

Explicação clara e com ótima didática. Parabéns!!!

Melhor vídeo sobre o assunto..que didática

Muito bom, vale ouro aulas assim.

Massa de mais, gratidão pelo video

Tutorial muito bom amigo, bem didático :) Valeu !

Mano já ganhou mais um inscrito, muito obrigado por compartilhar seu conhecimento, já tava pra desistir kkkk

Perfeito, eu pagaria por essa aula facilmente

Muito bom!!!

Excelente vídeo

Show to aprendendo bs4

Se eu não inserir o Headers não da certo ?

Ola. Se for uma informacao em que a pagina busca em uma base de dados e mostrada tambem funciona?

Obrigado

Excelente, professor! O Sr. Poderia fazer um vídeo para prospectar Instagram encontrado no Google Pesquisas? Usa do esse método?

Uma pergunta aqui, se o site que raspar não tiver essa estrutura de tags html, apenas alguns , e , qual seria a melhor opção raspar esses dados?

Indica algum curso ou livro para aprofundar o conhecimento na área. Seus vídeos são excelentes.

vc pode ensinar web scraping orientado a objetos ?

Muito bom mesmo. Ótima didática. Parabéns! Porém, confesso que o gerundismo me deixou agoniado. Mas pode ser um problema meu mesmo.

Ótimo vídeo, merece muitos likes. Pode usar o pandas para salvar o arquivo formatado?

Conteúdo top! Parabéns. Eu preciso extrair dados de um site, para preencher uma planilha já existente, e ela tem algumas fórmulas.. Quando eu colar esses dados nessa planilha, as fórmulas somem?

Note: Divs mudaram, site mudou. Erros na execução do code.

Obrigado pela aula! Você sabe dizer se consigo coletar dados de um website que usa json pra criptografar o html?

Alguém pode me indicar um bom curso de web scraping?

Amigo, eu gostaria de fazer a mesma aplicação, porém queria ler uma conversa comigo mesmo no whatsapp coletar informações diárias e salvar cada mensagem em uma linha de um arquivo scv. É possível?

você poderia ter explicado oque cada linha faz, incluindo os recursos do bs4... não conheço essa biblioteca, tô tendo contato com ela agora

Boa tarde Fabricio, primeiramente gostaria de agradecer pelo excelente conteudo, tá de parabéns!!! uma obs, no seu exemplo vc mostra como iterar entre as paginas, porem, vi que as placas estão se repetindo, veja no final do video o item da linha 1 e 17 são os mesmos, ou seja, pelo que percebi esta trazendo as informações somente da pagina 1, qual seria a solução para esse problema?

A iteração não funciona mais :( o site mudou, e o código URL não segue mais a lógica.

AttributeError: 'NoneType' object has no attribute 'get_text', ALGUEM SABE O QUE PODE SER?

Fabrício, boa noite! Como vai? Seria possível iterar nos links "Href" que direcionam para outras páginas, pegar algum dado voltar pra lista e clicar no próximo "href" e assim sucessivamente até o final da página? Desde já agradeço por compartilhar o conhecimento.

Muito bom amigo, só uma dúvida eu consigo extrair dados de um site onde eu preciso efeturar login?

Olá amigo obrigado pela aula !!! Mas preciso além de entrar no site, preciso ciclar nos detalhes e extrair as informações de lá. Existe a possibilidade de fazer isso com vários itens com loop?

É possível ver a quantidade de download no Mediafire com este método?

Como colocar um título para as colunas? consegui fazer este procedimento para analisar preços de aluguéis em Portugal, quero jogar isso pra dentro do meu banco de dados com um ETL e ir salvando isso semanalmente em um DW numa tabela DIMENSAO, parabens pelo conteudo

Fabrício, é possível coletar em um site que precisar ter acesso com login e senha?. tipo. quero coletar dados de um site meu, onde mostra quantidade de pessoas que se cadastrou.

OPa! tudo beleza? Cara, me tira uma duvida. Eu acompanho um site , onde a cada acompanhamento eu preciso extrair o resultado que aconteceu em X evento. Eu venho fazendo o acompanhamento em duas situações, no inicio do evento e no final, simplesmente pq o site não possui registro do que aconteceu. Minha questão atualmente: Eu venho fazendo isso de forma manual, o que é bem desgastante e ao mesmo tempo ineficiente, pq eu preciso dormir ou tenho alguns afazeres ao longo do dia e isso quebra a alimentação do "banco de dados". Você teria alguma ideia de como eu posso otimizar essa extração,? Eu já pensei em fazer captura de tela. Porém, eu teria muitas horas de vídeo. fico agradecido!

Boa tarde, muito bom o video, será que eu consigo puxar e-mails de sites que consultamos e-mails com vazamento de dados?

Imagina criar um bot que ele verifica o preços de um certo tipo de produto varias vezes ao dia e caso ele chegue em um valor predefinido ele compra automaticamente, seria genial pra ganhar vantagem.

meio atrasado aqui mas o meu codigo da o seguinte erro "import requests ModuleNotFoundError: No module named 'requests' " já instalei o modulo via pip, já mudei o interpretador e etc......

Muito boa aula. Estou usando python 2.7 devido compatibilidade com meu sistema. Fiz um scrapping para pegar o preço do dólar e salvar em arquivo csv a cada 3 minutos. Além do preço, coloquei para salvar a data e horário: 2021-09-14 09:44:32 R$5,21. Fiz também 1 script para cada produto que quero acompanhar o preço na kabum. Monitor WAtercooler Pasta térmica Para cada produto fiz uma pasta e dentro da pasta o script main.py Basicamente só altero a url e nome do arquivo para salvar csv. Cada script da kabum salva num arquivo csv a data hora preco (se for oferta: quantidade restante). Não consegui pegar o tempo restante da oferta com o beautifulsoup4, preciso pesquisar mais. Então ficou assim as pastas e arquivos: 02-kabum_monitor_gigabyte_g27f main.py kabum_monitor_gigabyte_g27f.csv 03-kabum_wtc_corsair_h100x main.py kabum_wtc_corsair_h100x.csv run_scripts.py Dúvida: Como eu poderia fazer um scrip que rode os outros scripts clicando apenas 1vez no RUN do vscode?

Boa noite amigo, show de bola suas explicaçoes. Tenho um caso que primeiro preciso abrir um browser google chrome e depois colocar uma url e por ultimo preciso colocar um login e senha e por ultimo preciso coletar os dados da pagina. voce tem um exemplo disto?? desde ja agradesco.

quero saber como pego as informações da blaze e catalogo em meu site. pra ficar arquivado, sabe me dizer. tenho um site wordpress

ótimo vídeo. Tem como coletar a imagem de cada produto, para aparecer na planilha também?

quando eu digito Class no meu pycharm ele não aparece opções oque pode ser ?

sera se da pra pegar de resultados tipo da loteria e filtrar todos pra fazer probalidades de jogos futuros?]

Colega. Fiz este tuto maravilhoso seu. Acontece que os nomes das classes do pichau mudaram e quando soup.find('div', class_'MuiGid-container...') não acha nada .. tem um nome nojento de grande e não sei se posso usar caracteres coringas (tipo * ou %) ... Como resolver ??

Cara você mandou MUITO nessa aula! Eu apenas percebi que na hora de fazer o scrapping tem alguns preços que ele n tá pegando, simplesmente PULANDO os preços, mesmo que existentes no site, sabe dizer o porque?

Travei no logo no inicio, onde consigo o headers? Nesse seu caso como conseguiu?

quando eu coloco "lote = lotes [0]" (lote pq no meu código faz mais sentido) aparece "indexError: list index out of range" pq isso acontece?

Estou fazendo um teste na kabum, em numero de páginas não tem um a"class" para a ultima página, como posso resolver?

Muito obrigado pelo vídeo, muito didático. Entretanto, estou tendo algumas dificuldades com o código. Estou tentando aqui no dia 09/10/2021, fiz todos os passos iniciais sem problemas, mas quando eu abro o inspect do site, aparecem dados bem diferentes dos seus. Não aparece como class "product-line", mas sim algo como "MuiGrid-root MuiGrid-item MuiGrid-grid-xs-6 MuiGrid-grid-sm-6 MuiGrid-grid-md-4 MuiGrid-grid-lg-3 MuiGrid-grid-xl-2". Assim, tentei várias classes aqui pra preencher o class_ do placas, mas o vetor sempre acaba ficando vazio, fazendo com que não seja possível buscar o placas[0], uma vez que ele não existe. Será que você conseguiria me ajudar nisso? Thanks.

Eu preciso extrair os dados das normas publicadas no site do banco central do Brasil, porém essa busca de normas dentro do site já possui um sistema de filtro. Queria saber como eu posso estar utilizando o Web Scraping nesse caso, porque não há uma página específica, nem numeração e etc..

A informação que eu quero está dentro de uma tag script, tem alguma diferença?

você tem alguma dica pra quem quer trabalhar com geocodificação usando Python? com meu código atual só consigo codificar uma base pequena de dados e queria aperfeiçoar isso

Esse código teu ainda funciona? Eu estava tentando fazer um scraping na Pichau mas notei que o nome da classe está mudando a cada acesso.. Nesse caso é possível fazer scraping?

Onde ele pegar a informação Headers?

Não sei por qual motivo, mas to tentando executar o código na parte de puxar a marca e o valor, tem hora que puxa e tem hora que da esse erro, como corrigir isso? "c:/Users/BOT-SCRAP/scraper.py" Traceback (most recent call last): File "c:/Users/BOT-SCRAP/scraper.py", line 13, in placa = placas[0] IndexError: list index out of range

Tambem da para fazer em sites de apostas

O código não funciona mais. Dar esse erro: AttributeError: 'NoneType' object has no attribute 'get_text'

Olá, tem como eu fazer uma busca de qualquer site que eu queira trazendo três colunas no excel , product name, upc code e price?

Olá! Como eu faria se a fonte fosse um arquivo html do meu pc?? Estou tendo esse erro: "No connection adapters were found"

Fiz meu propio web scraping e todos os meus dados estão sendo salvos em uma mesma linha, ao inves de uma linha embaixo da outra além deles virem triplicados. pode me ajudar?

Queria um desse para consultar o preço no compras paraguai, mais eu tenho 180 links salvos ja, e queria que usasse os links salvos ja na planilha, e me retornasse os valores atualizados. Teria algum codigo assim? Porque não faço ideia como implementar no "range"

Tenho uma dúvida, exeplo, tenho uma div com a classe "elemento-x" e dentro desse div, tenho uma ul, e algumas li, como faço pra pegar os valores, desses li Consultei a documentação do bs4, más continuo perdido

Muito bom. Mas se o objetivo fosse acessar o HB da Clear(web browser) e selecionar: ativo (ex: PETR4F), tipo de operação(compra/ venda), tipo de ordem (a mercado), quantidade de papéis, preço (tipo de ordem a mercado não é informado o preço) e fazer o envio do pedido (envio do formulário)? Seria web scraping também?

Como fazer para q cada página fique em uma sheet diferente?

e possivel fazer com site onde fazemos logim?

E quando existem várias divs encadeadas, uma dentro da outra, como faço pra buscar a informação?

não deu nem pro começo, esse headers me ferrou, precisava saber oque era isso

Como coloca esse auto complite q tem no sei VS? Sou novato. Obrigado

estou fazendo em um site especifico, o nome do produto deu certo mas o valor fica dentro de um box R$ 918 como posso fazer?

Deu falha exceção lançada , ‘NoneType’ object hás attribute’ get_text’ Na variável última página, poderia me ajudar

Onde pegou esse código do headers?

Qual é o software que vocês está usando? Ele é gratuito?

onde acha esse headers embaixo do url ?

Como q eu pego o header ?

Olá, boa tarde! Parabéns pelo conteúdo! Estou tentando criar uma espécie de looping. Estou automatizando o upload de arquivos que geram uma espécie de status, e a sequência é basicamente essa: carregar todos os arquivos de uma pasta e pegar esses status gerados e transferir para uma planilha de Excel. Porém estou tendo dificuldades na execução, de montar uma lógica que faça isso de forma ordenada, um por um.

O html mudou queria entender pq meu codigo não funciona alguém me ajuda por favor

simplesmente não da mais certo, pqp viu, o site da pichau mudou e a partir do get_text, não vai

Boa noite amigo, excelente video ! Eu gostaria de criar um robo automatizado para analisar roletas de um site de aposta e configurar minhas estratégias, exemplo básico: 02 cores na roleta, assim que sair uma sequência de 4x a mesma cor ele apostar na outra.... enfim algo do tipo, tem alguma matéria sobre isso? Consigo fazer pelo python ??

Copiei o código disponibilizado, troque o user agent, e dá esse erro: AttributeError: 'NoneType' object has no attribute 'get_text' , alguém sabe como resolver? Obrigado!

poderia compartilhar seu arquivo?

oxi, esse headers faz oq

No caso eu dei uma adaptada no código pq tava precisando para pegar outro tipo de informação e precisei ajustar e refazer algumas coisas. No final da alguns problemas como por exemplo "NameError: name 'BeatifulSoup' is not defined", esse é o principal problema, os outros são sempre com erros de digitação meu mesmo. Como eu posso resolver isso?

Web scraping como esse não é ilegal?

Qual seu contato amigo?! Poderia me passar? Obrigado

A vida do dev é ecnontrar o código com menos erros kk..

irmao tu passou o parametro headers mas nao falou nd, como eu vou fazer isso em casa? do vento?

poderia ter diminuido o explorer pra gente ver o codigo todo. foda.

tentei mas aqui só dá erro, sempre retorna [] e eu nem passei do (placas = soup.find_all) usando um outro site

Muito bom!!!