Como fazer web scraping com python em sites dinâmicos // O site muda toda hora 

Excelente vídeo com exemplo da vida real. Estou cansado de ver vídeo no YT e em cursos da galera mostrando exemplos direcionados... sei que webscaping é algo complicado de ficar fazendo ou mostrando por questões legais. Mas o conteúdo é educacional, ninguém em sã consciência irá fazer 5 milhões de requisições num treinamento. Obrigado por compartilhar seus conhecimentos conosco. Ganho um inscrito.

muito bom e bem explicado , de facil entendimento para quem esta começando.

Top demais, não conhecia esse beautiful soup mas pelo que entendi, diferente do Selenium ele não precisa de um driver que avisa pro chrome que está sendo automatizado

Ótimo vídeo, parabéns. Sugestão para o próximo: webscraping com método post, de algum site que precise selecionar filtros e depois exportar em csv ou xlsx.. obs: sem utilizar o selenium

Vídeo muito bom! Poderia falar um pouco sobre os problemas legais do web scraping? Gosto muito de fazer, mas sempre fico com medo de ter algum problema, mesmo fazendo poucas requisições por minuto

Excelente os vídeos... me ajudou em muitas coisas.... Mas um problema que não consegui resolver é que o campo que eu quero está com a tag dentro com um document.write("

Pra achar a quantidade era melhor Split(' ')[0]

Ajudou muito, eu estava penando para achar laço e estava apanhando ainda mais por está usando em um site de chamado.

surreal a forma que você entrega o conteúdo, muito obrigado, facilitou muito Um grande professor!

Muito Bom Fabricio, gracas a seu outro video consgui fazer um web scraping. Gastei ums 2 dias, mas o codigo rodou. Não sou programador, mas me lancei nesse desafio de aprender uma linguagem esse ano. Valeu, sucesso.

Pro pessoal que está recebendo o erro → AttributeError: 'NoneType' object has no attribute 'get_text'. Pode ser necessário alterar o header da request (variável "headers").

Boa noite. Também sou iniciante, mas consegui aprender facilmente . Parabéns pela excelente didática.

muito bom, Sou teu fan agora em !!!!! Poderia criar um video usando o scrapy!!!

Show de bola Fabrício ! Tô inscrito

Parabéns to estudando esse tema pra fazer uns frela na upwork porém ainda tenho medo que fazer mas valeu to aprendendo bastante com seu material

Até agora tudo certinho, aula maravilhosa

Top de mais , muito obrigado , teria como fazer um video buscando precos de passagem aereas ? seria pedir muito ? abracos e sucesso

Excelente! Obrigada por compartilhar seus conhecimentos de forma tão clara!

Top demais! Parabéns pela vídeo aula, super didático!

O rei do WebScraping👏👏👏👏

muito obrigado pôr compartilhar seu conhecimento com o público.

amigo muito bom seu vídeo 👏👏.... faz webscrapy em site feito em javascript.😊😊

Parabéns! Ótimo conteúdo, excelente iniciativa Resolvi testar, criei o Código com o mesmo exemplo, conferi linha a linha a sintaxe. mas ocorre um erro. na linha site = requests.get(url, headers=headers) name 'headers' is not defined. Did you mean: 'headers'? pensei em declarar essa variável, mas não funcionou. Poderia dar uma luz sobre este erro?

Conteúdo sensacional. Muito Obrigado!!

Boa tarde, tudo bem? Adorei o conteúdo do vídeo, parabéns! Eu fiquei com uma dúvida somente no final. eu consigo exportar as informações de forma organizada para ele cair diretamente no Google sheets?

neste caso do exemplo o site tem este elemento que mostra a quantidade de produtos, o que facilitou na lógica para encontrar a qtde de páginas. E nos casos em que o site gera centenas de páginas mas nao tem este elemento indicando a qtde de itens?

Boa tarde galera. Fui executar o programa igual o professor no momento 9:29 do vídeo. Porém, o meu código retornou o seguinte erro: Traceback (most recent call last): File "C:\Users\marce\PycharmProjects\webscrapping\scrapping.py", line 13, in qtd_itens = soup.find('div', id='listingCount').get_text().strip() AttributeError: 'NoneType' object has no attribute 'get_text' O que devo fazer para soluciona-lo?

Parabéns pelo vídeo, Fabricio você tem decorado em mente cada função dessas biblioteca ? Eu sinceramente não consigo codificar sozinho sem ver algum video, tu tem alguma dica para melhorar isso ?

Sou iniciante, mas consegui aprender alguns conceitos importantes. Mas gostaria de elevar o nível do código, mas não sei como. Gostaria de permitir o usuário entrar com uma busca de parte do texto, depois procurar no DF as informações compatíveis com o texto buscado e por fim, retornar o menor valor da busca dele. Nem sei como começar isso!!!!

Ótima aula!

+1 inscrito, like

incredible possibilities to those who master it. I am almost done with my first track, but there is so much more to discover and learn. TNice tutorials

cara o video em si muito bom mas voce faz uma explicação muito rapida onde algumas partes sempre tenho que voltar no video para poder acompanhar

consegue fazer um código em python para extrair os numeros de qquer uma das loterias do site da CAIXA?

ola boa tarde tou querendo fazer um script/bot voce pode me ajudar nisso ?

Oláa, preciso muuuito de ajuda! Tenho que fazer o levantamento das lojas da drogaria raia mas quando coloco qtd_itens = soup.find('p', class = "count-containe inlin").get_text().strip() aparece : AttributeError Traceback (most recent call last) in () 1 #'pager inline' ----> 2 qtd_itens = soup.find('p', {"class": "count-containe inline"}).get_text().strip() AttributeError: 'NoneType' object has no attribute 'get_text'

Como referenciar uma url para um site que é preciso logar? Ao tentar coletar os dados de uma classe, da tela inicial de login e não da tela atual

Muito bom. :D

muito bom. adorei

Em alguns sites que executa alguns elementos em tempo de execução com o ajax, essa forma não vai funcionar muito bem, poderia fazer um vídeo explicando sobre essas paginas que executam uma parte do html em ajax , eu contornei esse problema com o selenium para abrir o site antes de fazer o request, mas ficou um pouco lento o programa, teria outra solução?

Aula excelente irmão! Eu tenho uma dúvida.. eu conseguiria fazer esse mesmo procedimento no mercado livre ? Mas aí os dados que eu gostaria de extrair seria de um produto específico, e iriam além do título e do preço. Eu gostaria de extrair título, preço, a quantidade de vendas que o anuncio tem, o estoque de cada vendedor, a reputação de cada vendedor, o nome do vendedor e o tipo de anúncio (se ele é clássico, Premium, clássico com frete grátis, Premium com frete grátis...). Para esses dados além do título e do preço, acredito eu que o Pyton além de analisar a capa de cada anúncio, ele teria que entar em anúncio por anúncio, e verificar essas condições.

como eu faço esse calculo quando a pagina nao tem o valor de paginas a amostra, só tem la em baixo um mostrar mais que quando clica carrega mais itens sem atualizar a pagina. Eu consigo a quantidade de pagina vendo pelas propriedades onde fica o mostrar mais, como faço pra colocar esse valor que esta na tag mostrar mais pra deixar automatizada a contagem de paginas? min 11:10

linda didática!

O web scraping possibilita baixar arquivo vetorial como mapas, lotes de quadras etc de um site de intranet?

Parabens pelo vídeo.... uma dúvida,.. eu conseguiria fazer a parte do web scraping com o selenium apenas? vi outros vídeos uma junção do BS com selenium, e não consigo entender pq usam os dois. se puder me esclarecer, agradeço desde já

eu no caso estou precisando raspar o numero atual da roleta simultaneamente assim que muda em cada rodada. este código que vc fez da pra fazer esta raspagem em tempo real e enviar pro meu BOT ?

Opa Fabrício e amigos, seria possível pegar fotos + descrição + comentário, com todos esses arquivos já ensinados no vídeo?

Super Obrigado!!!!!!!!!!!

Top mano

estou com um erro conforme mensagem abaixo. AttributeError Traceback (most recent call last) Untitled-1.ipynb Célula: 1 in () 12 site = requests.get(url, headers=headers) 13 soup = BeautifulSoup(site.content, 'html.parser') ---> 14 qtd_itens = soup.find('div', id='listingCount').get_text().strip() 16 index = qtd_itens.find(' ') 17 qtd = qtd_itens[:index] AttributeError: 'NoneType' object has no attribute 'get_text' poderia esclarecer porque está apresentando um problema no get_text() ?

De passagem aerea ia ser massa.

Como fazer isso agora no Airbnb? Está dando tudo errado para mim. O tempo todo aparece esse erro: "AttributeError: ResultSet object has no attribute 'find'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?" Além do mais não consigo usar ".get_text()" com ".find_all". Aparece o erro: "AttributeError: 'NoneType' object has no attribute 'get_text'" O que estou fazendo de errado?

Show

Show hein!, como eu poderia fazer pra ele me printar o link de cada anuncio junto com o nome e o preço?

No caso esse link que vc armazenou na variável url não está explicitamente como Allow ou Desallow em robots.txt da Kabum, vc poderia ter o seu ip bloqueado no site se continuar fazendo essa raspagem de dados? Pergunto isso pq gostaria de fazer web scraping em sites de imobiliária pra pegar imóveis de uma determinada região só que os dados que quero pegar em um determinado link não consta se é permitido ou não então fica nesse limbo. Utilizando um time.sleep e outros recursos como uso de VPN manteria essa prática mais segura?

como seria o processo em uma pagina de buscas, porem as informacoes exibidas sao limitadas e para eu ter aceso aas informacoes que preciso, tenho que abrir o link...

consigo extrair notícias de um site de tributos (Legislação) e usar o GPT para interpretar?

Meu código está retorna o erro 403 depois do request mesmo passando um User-Agent, o que pode ser? Já testei em outros sites e funciona perfeitamente

o meu deu esse erro. attributeerror 'str' object has no attribute 'items'

Boa tarde, Tentei realizar em outro site e deu o error 403? Como posso solucionar esse error de acesso?

Queria tbm pegar os valores a prazo

você consegue extrair o celular do anunciante no OLX desse jeito?

Não sei nada de pyton, é possivel fazer em react.js?

Olá tive o mesmo problema fiz a video aula na hora de rodar apareceu esse erro : preco = produto.find('span', class_=re.compile('priceCard')).get_text().strip() ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'get_text' Ele esta trazendo o nome da marca, mas usando : preco = produto.find('span', class_=re.compile('priceCard')).get_text().strip() ele não traz o preço :/ e ja verifiquei no html da pagina, ainda esta como priceCard a classe, como isso é possivel? kkkk

Teria como fazer isso somente com selenium?

Você tem curso de web scraping?

teria como dar um scrap em todas as fotos no site da oboticario? todos os produtos

ja era os kra mudaram a estrutura do site esse codigo ja n funfa

Teria como pegar um texto especifico em java script ? agfsi skajshoak sçlaokjhs lajshpaoij tipo assim so que pegar apenas um nome

Vc tá usando seu proxy mesmo ou tá mascarado o proxy?

O cara parece o Thomas Shelby

Alguem consegue me ajudar por favor, estou com dificuldades após entrar em um site WMS com login e senha, minha situação Eu ja programei ele para abrir uma nova pagina google com o Link do WMS e preencher login e senhar normalmente ok Ai ele entra em uma pagina especifica do WMS que eu quero, e eu preciso de uma informação que esta dentro de uma "div" porem eu não estou conseguindo nem copiar nem extrar as informações, alguem pode me ajudar ?

Fala Fabrício muito show cara! Poxa tô numa labuta aqui meu amigo, estou tentando agrupar dados históricos de notícias de ações mas tá difícil cara, não acho uma fonte que consiga puxar uma quantidade significativa de dados. Seria muito legal com vídeo com esse tema de como criar um dataset com as notícias de ações para Sentimental analisys

Quando o site não tem a quantidade de itens nem de itens por pagina, como a paginação?

Cara estou tentando fazer isso só que está dentro de um Teria como eu fazer dessa forma ou tem outra solução?

depois de fazer web scraping com selenium e se arrepender aqui estou eu transformando meu codigo q usa selenium pra bs4

A única coisa que eu mudaria seria colocar um regex do preço removendo o R$, eu não sei se o beautiful soup consegue trazer um array igual os find_elements do Selenium mas se sim daria pra trazer só pelo nome da classe pai daí não teria que lidar com os ids das filhas

teria como criar um jeito de ele ficar analisando produtos que entram em promoção em sites como amazon e magazine luiza para eu enviar em lista pra clientes e assim ganhar dinheiro como afiliado?

Fala Fabrício. Show o video. Curti! Uma biblioteca que acho bem legal é o Scrapy.

duas perguntas: - sem baixar o chomedriver eu não consigo realizar o login em sites? - e se a resolução do usuário for diferente?

Thanks so much for your thoughtful and detailed videos! On to the soft!

Muito obrigado mano, te achei parecido com o Thomas Shelby mas isso é so um detalhe hahaha bela aula, Tmjj !!!

# Excelente tutorial, foi o melhor que encontrei depois de dias de busca na internet! Parabéns pela didática e obrigado pela informação! Ganhou mais um seguidor!!

Muito bom. Como eu consigo buscar uma informação que fica atualizando a cada segundo? Ex: Quero buscar os preços das ações do ibovespa e passar para o excel, mas em tempo real para colocar essas informações num dashboard. Consegue me dar uma ajuda?

Pra mim já falhei no tutorial aos 1:05 , pq deu "Conda executable path is empty"

Vídeo top, obrigado! Estou começando hoje a pesquisar sobre web scraping porque quero fazer uma aplicação. Me deparei com uma dúvida que no vídeo é resolvido alterando o valor da página na URL. No meu caso eu estou tentando percorrer a lista e acessar a página com informações do produto, nesse caso eu teria que clicar em cada elemento para criar uma lista das URLs de cada produto? Eu também preciso "ficar de olho" em cada página desses produtos, porque as informações deles são atualizadas de segundos em segundos, alguma ideia de como fazer isso? Estou pesquisando algum caso parecido (acredito que eu encontre em algum vídeo de bolsa de valores, etc), mas se tiver alguma técnica que já saiba que possa compartilhar para eu pesquisar já me ajuda muito! (Obs.: caso minha dúvida seja idiota é porque eu não tenho experiência com desenvolvimento web, muito menos python kkk aprendendo tudo junto)

Seguindo esse modelo, como eu faria pra conseguir fazer essa análise e por exemplo ele conseguir pegar o link apenas de produtos que tenham o texto cashback e o valor?

a cola estar do lado kkk mas ficou bem

sempre da esse erro "ImportError: cannot import name 'BeautifulSoup' from 'bs4'" ja tentei de tudo até alterar pra BeautifulSoup4 ele fala que o erro esta em: from bs4 import BeautifulSoup

Sensacional,.. Seu conteúdo gratuito bateu d+++ num determinado conteúdo pago q tem aqui no YT,..

Parabéns pela didática e conteúdo. Mais um inscrito!

Thanks, man

Eu quero fazer um projeto onde cada anuncio representa uma venda, existe uma forma onde consigo automatizar a informação de venda?

estou com meu codigo todo certo porém eu fiz em uma pagina que não precisava mudar de página, fiz tudo certo, mas não volta nenhum resultado para mim, alguém pd me me ajudar?

Fantástico, estava batendo cabeça demais pra resolver uns exercícios aqui ajudou demais!!

E os sites que possuem a segurança do cloudfare?

A página que estou extraindo carrega os itens conforme vai rolando a página, qual seria a solução?

Estou fazendo o mesmo código em outro site. No looping, a url está retornando as demais páginas, mas o conteúdo nome, preço e etc está sendo da primeira pagina apenas.

opa eai, to querendo fazer isso usando a biblioteca do playwright, é o mesmo processo de requests? ou muda alguma coisa, se puder responder agradeço ❤️

e como faz uma busca no site todo não só na parte de cadeiras