Python na Prática fazendo Web Scraping (de JavaScript dinâmico) // Mão no Código #28

Подписаться 672 тыс.

Просмотров 146 тыс.

50% 1

⚡️ 𝗩𝗣𝗦 𝗛𝗢𝗦𝗧𝗚𝗔𝗧𝗢𝗥 𝗖𝗢𝗠 𝗗𝗘𝗦𝗖𝗢𝗡𝗧𝗢 → codft.me/HGVxl5jUltHBo
Que tal ver na prática uma coisa incrível acontecendo usando Python e Selenium?
Você já tinha ouvido falar em Web Scraping? Esse técnica é usada desde sempre e consiste na extração de dados para fazer coleta de dados na web por meio de automatização, os famosos bots!
📝 𝗟𝗶𝗻𝗸𝘀 𝗖𝗶𝘁𝗮𝗱𝗼𝘀
→ Github: github.com/gabrielfroes/websc...
🔔 𝗦𝗶𝗴𝗮 𝗮𝘀 𝗿𝗲𝗱𝗲𝘀 𝗱𝗼 𝗖𝗗𝗙𝗧𝗩
→ linktr.ee/codigofontetv
👕 𝗟𝗼𝗷𝗮 𝗖𝗗𝗙𝗧𝗩
→ codft.me/loja
▸ 𝗛𝗢𝗦𝗧𝗚𝗔𝗧𝗢𝗥
📢 Vagas e Oportunidades: codft.me/hostgatorjobs
𝑵ó𝒔 ❤ 𝒓𝒆𝒄𝒆𝒃𝒆𝒓 𝒑𝒓𝒆𝒔𝒆𝒏𝒕𝒆𝒔, 𝒄𝒂𝒓𝒕𝒂𝒔, 𝒃𝒓𝒊𝒏𝒅𝒆𝒔 𝒆 𝒎𝒊𝒎𝒐𝒔.
Caixa Postal: 91735 - Cep: 25620-972
Petrópolis / RJ
❗ Edição e Áudio: RW Studio
🚫 Um vídeo do site Código Fonte
#Python #Selenium #WebScraping

Наука

Опубликовано:

11 июл 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 348

@maiconreis9276 4 года назад

Fantástico. Para mim que estou começando e tenho entendimento médio, consegui captar perfeitamente o conteúdo passado. Parabéns!!

@JonasShalom 4 года назад

Realmente venho acompanhando esse canal, já faz algum tempo. Primeiro que esse casal, é muito simpático. E os assuntos, são muito bem explicados.... Muito legal.... Sucesso para vocês.

@TuribioMC 4 года назад

verdade, são sensacionais!

@tiagorodrigues7789 4 года назад

Esse é o casal que adoro tanto. Show de bola. Estou começando com Python agora, amei esse desafio que vocês fizeram. Parabéns....

@maiconsantos999 4 года назад

Sem palavras, incrível como sempre, parabéns 👏🏾👏🏾👏🏾👏🏾👏🏾

@CarlosAndre-db3tg 3 года назад

estou simplesmente encantado com python e com o conteúdo de vcs. estou aprendendo de forma autodidata porem tenho 44 anos e nao tenho muita expectativa. quero aprender pq amo aprender sobre tecnologia e quero automatizar algumas trivialidades em meu trabalho. obrigado. vcs sao top

@longuinni 4 года назад

Python é muito legal. Dá para fazer muitas coisas com pouquissimas linhas. Esse quadro é sensacional.

@marcoaureliofalcao7519 3 года назад

Excelente! Ja estou usando na automacao de tarefas de busca de dados para minha planilha Excel

4 года назад

Puxa, muito legal. Eu comecei a estudar o Phyton há poucos dias e estou achando muito bom. Parabéns pelo vídeo e pela excelente explicação! Valeu!

@valescaedomnunes8412 3 года назад

Parabéns! O canal de vocês é maravilhoso!!

@higorhenrique6988 7 месяцев назад

Exatamente o que eu precisava, inclusive tentei por uma API antes, e esse método é bem mais rápido. Vocês são fera!

@AlexMoreira 3 года назад

Agora que iniciei os estudos em python já consigo entender melhor o que o Sr. e a Sra. fizeram.👍👏

@o.gustavoneves 4 года назад

Que vídeo sensacional, vocês são incríveis 😍😍, a didática de vocês e sensacional...é tão bom saber que tão perto(Sou de São José do vale do rio preto) tem programadores desse nível, estou ingressando agora na programação e desenvolvi esse msm projeto junto com esse vídeo ... Parabéns pra vocês ♥️😍 muito fã

@ricardoweber7988 2 года назад

Muito legal, vocês fazem parecer tão fácil.

@Thbueno35 4 года назад

Cara que show! Top demais! Parabens

@andersonluizneto4294 3 года назад

Muito bacana! Parabéns pelo conteúdo útil e de qualidade!

@edmilson_brito 4 года назад

Que massa esse código. Ótima aula. Muito obrigado!!!

@uadsonfeitosa748 4 года назад

Simplesmente demais. Obrigado gente.

@diegoxavier8479 4 года назад

Muito shoow, parabéns pessoal !!!

@eduardodasilvaramos 4 года назад

Web Scraping é algo sensacional. Obrigado!

@danielpahissa Год назад

Amooo Python Selenium. Comecei utilizando o Selenium junto ao VBA para umas automações simples. Mas quando comecei ver junto do Python, amei a interação.

@zeandre01 4 года назад

Didática e sintonia no nível mais ideal. Claro que ganharam mais um inscrito. Parabéns!

@codigofontetv 4 года назад

Muito obrigado! Seja bem vindo Andre. 🤓

@cirojunior1984 4 года назад

Faz algum tempo que eu olho os conteúdos de vocês, já gostava muito do conteúdo. Mas esse vídeo me fez me inscrever e curtir. Parabéns fantástico.

@codigofontetv 4 года назад

Seja bem vindo Ciro! 🤓

@AlisonLeandr 4 года назад

Eu sou muuuito fã do seu Canal, Eu tento não perder nenhum vídeo.

@cicerooficial 4 года назад

Muito bom, tive um desafio na faculdade de WS e penei um pouco em realizar. Vou treinar mais com esse tutorial 💪🏽😊

@adelinosilvasilva8504 3 года назад

Caramba!!! Muito Show!!! Conteúdo de Altíssimo Nível

@Ymasts85 2 года назад

Seu vídeo me ajudou muito. Obrigado por compartilharem!

@jcastrosv 3 года назад

Incrível! Parabéns pela aula.

@xxDeLucca 4 года назад

Que da hora. Parabens, Video Muito Bom !!!!

@iannsantos8 4 года назад

Peguei esse vídeo na hora certa, valeu galera!!

@messiasof Год назад

Encontrei o vídeo de vocês pesquisando acidentalmente algumas palavras chave, eu encontrei a solução do meu problema tipo 100% esse vídeo é literalmente a solução que eu precisava. Muito obrigado.

@matgreg5574 4 года назад

Muitooooo BOM!!!! Isso vai me ajudar muito nos estudos de Python e no meu objetivo com a linguagem. Meu amor por vocês foi pra ^10 kkkkkk. Parabéns!!!

@c4rl0sbr46 2 месяца назад

iniciante em py adorei o video muito explicativo parabens

@andreferraro1922 4 года назад

Otimamente explicado!! 🤘🏻🤘🏻🤘🏻👏🏻👏🏻👏🏻

@SergioItashop Месяц назад

Simplesmente Fantástico!!!

@fernandogadelha1 3 года назад

amei! Vcs são os melhores!

@slashiplay 4 года назад

Aha! Foi verdade mesmo kkkkk acertei o vídeo antes de sair ! Muito bom ! Vocês são demais !

@slashiplay 4 года назад

Pra quem não entendeu é só ler meu comentário nesse vídeo ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-3LDknWxVw7Y.html

@jorge3633 3 года назад

Muito bom...Eu faço isso no R e agora tô migrando para o Python

@Autoscraping 6 месяцев назад

An impressive video that has served as an inspiration for our new members. Your generosity is much appreciated!

@eduardoamarante2465 4 года назад

video de web scrapping justamente no primeiro dia q conheço a técnica :)

@henriquebalzani1563 2 года назад

Consegui acompanhar até 06:06 depois continuo... Parabéns pelo vídeo e o canal!!!

@diegoandrade700 4 года назад

Excelente, encantado!

@romirantonio3736 4 года назад

Gostei do vídeo e também gosto de basquete massa, parabéns ao casal show.

@viniciuspereira95 4 года назад

Muito bom, continuem assim !

@GabrielPereira-tv5wf Месяц назад

Excelente vídeo! 👏🏻👏🏻👏🏻

@FernandoTakeshiSato 4 года назад

Show de bola! Bola de basquete, mas show igual! hahaha

@valdineidossantos 3 года назад

fantástico ! Python + Libs são demais

@gerssivaldodev6949 4 года назад

Esse canal vale ouro

@jssneto 4 года назад

to apaixonado pelo python, to aprendendo aos pouquinhos a programar com ela

@matheuslessafumian3712 4 года назад

Aaaah, minha cabeça vai explodir!!! Muuuito obrigado Gabriel!!! Vou fazer isso logo mais kkkkkk... Vídeo maravilhoso juntando coisas maravilhosas com pessoas maravilhosas... E eu tô nitidamente emocionado

@codigofontetv 4 года назад

Ficamos muito felizes que você gostou Matheus!

@lordangelanaka 4 года назад

parabens... video fantastico.. me ajudou muito .. obrigado.

@faelandrade 3 года назад

Que sensacional!!!!

@yuriv.9775 3 года назад

Parabéns pelo conteúdo! Fica aqui uma dica rápida para quem for executar o script em outras páginas, que vale a pena colocar um sleep também após o click para dar tempo da página carregar. Eu estava usando em uma página onde esse click me redirecionava e sem o sleep o código acabava retornando um contentPlaceHolder e não o conteúdo da tabela em si.

@NayT0N 4 года назад

Obrigado e parabéns pelo excelente vídeo. Faz outro vídeo de Web Scraping com dados de ações, extraídos do site da CVM.

4 года назад

Python é realmente uma linguagem fantástica, curti muito o conteúdo do vídeo, vcs estão de parabéns !!!

@italotoffolo Год назад

Fantástico é C, Assembly, Rust. Python tem várias bibliotecas, o que facilita. Mas qualquer linguagem poderia ter também.

@caiopradogaspar6846 4 года назад

Conteúdo fodaaaaa, obrigado!

@faculdados1146 4 года назад

Python no quadro mão no código é like antes de ver o vídeo, aí quando acabo de ver tenho vontade de dar mais like hahahah

@antoniojunior1164 2 года назад

O Gabriel sempre teve um copiloto, e nós mortais estamos conseguindo essas tecnologias só agora.😁😁

@xycocrivellari8020 4 года назад

Show de bola!

@eddymarley 4 года назад

Python é mágico, incrível é quem sabe programar nele.

@rcandidoa 4 года назад

Tou flipando!!! Me sinto agora mesmo como se fosse un gusano!!! Voces sao muito bons! Voces tem algun video mostrando como dominar VSCode?

@EduardoRenz 4 года назад

Muito bom pessoal, só uma dica. o pandas já possui um método chamado "to_json" para salvar o DataFrame direto em arquivo. Assim vocês já podem economizar umas 5 linhas de código.

@KuroManX 2 года назад

Estou estudando esse conteúdo em Dart e é impressionante como muitas coisas são similares independente da linguagem.

@gambiarrando 4 года назад

Que código lindo de se ver em! Sensacional! 👏👏👏

@codigofontetv 4 года назад

Muito obrigado. 😍

@Emanuel-Araujo 4 года назад

Para min uma das maiores qualidades do python e sua sintax simples e legível torna o debug menos desesperador PS: NÃO ESTOU TRAUMATIZADO POR CAUSA DE DUAS MADRUGADAS EM CLARO PARA DEBUGAR UMA APLICAÇÃO JAVA, GENTE COMETA O SEU CÓDIGO POR FAVOR.

@dsnascimento 4 года назад

Muito bom o vídeo, super didático. Uma ideia legal seria fazer uma parte 2 usando esses dados pra gerar alguns gráficos e explorar as libs de Data Visualization do Python.

@codigofontetv 4 года назад

Excelente ideia!

@anasousa7718 3 года назад

@@codigofontetv olá, seria possível fazer um trabalho de web scraping?

@vinimHenrique 4 года назад

Ficou bem massa o vídeo

@guilhermehx7159 4 года назад

Massa demais!!!!!

@waldenilsonmereles4412 2 года назад

Nossa, tá de Parabéns, muito bom mesmo, vou criar um json de futebol.

@c.r.y.o.g.e.n 4 года назад

E assim surgiram os CAPTCHAs. Rsrsrsrs, parabéns pessoal, muito bacana esse vídeo.

@vagnerribeirodeamaral3495 3 года назад

Caracaaaaaaa, que showww!!!!

@calourada_programando 4 года назад

Muito bom, finalmente um assunto que amo ... Dependendo do Parser da pra fazer muita coisa e até virar tcc da faculdade,automação com django,pegar preços de lojas super baratos...

@anasousa7718 3 года назад

Olá você sabe fazer web scraping?

@fastwiner 4 года назад

Não conhecia o termo web scraping porém faço muito isso para extrair dados de sites de empresas que não fornecem dados via web services mesmo que você implore ou até mesmo monte um servidor para eles. Eu implementei em Java, mas adorei a maneira como vocês fizeram usando Python.

@fastwiner 4 года назад

Já tinha até me esquecido mas tenho um projeto bem simples que fiz para extrair dados do site da loteria federal: github.com/tiagoadmstz/SearchLoteriaFederal

@mayara7442 4 года назад

Oi com gentileza vc pode me explicar , isso é o que?

@fastwiner 4 года назад

@@mayara7442 Desculpe mas eu não entendi sobre o que você deseja explicação.

@Solisys 4 года назад

ótimo! parabéns!

@ArmandoSousagp 4 года назад

Muito bom!!!

@wagnerherculano2640 4 года назад

Apareceu a palavra Python no video eu venho correndo 😍 Scrapping/Crawler entao 😙

@theemerson64 4 года назад

Vcs são os melhores me ajudaram muito com esse video

@codigofontetv 4 года назад

Muito obrigado Emerson! Ficamos felizes por ter te ajudado. 🤓

@crcacom 3 года назад

Muito show

@LCCVR1975 4 года назад

Boa dinâmica do vídeo, sem enrolação, é direto ao ponto. Obs.: não é "scrap", é "scrape" (skreyp).

@andersonblack1000 4 года назад

Muito bacana o vídeo, ficou Showwwww! Gostaria de sugerir a produção de um vídeo utilizando python, excel e obtendo como resultado uma imagem. Exemplo: Um script que verifique numa planilha de Excel dados como nome do aluno, curso realizado, carga horária, início e fim do curso para poder escrever num modelo de certificado previamente existente, gerando uma imagem final para poder ser impressa ou enviada. Vlw Casal, vocês são demais!

@andersonoliveira1604 4 года назад

Vídeo excelente

@lira420 4 года назад

Show!! Gostei do jazz ao fundo.

@Eme610 3 года назад

uma opção boa é usar a biblioteca urllib, com ela economiza muito tempo. Consegue abrir e receber o conteudo html da pagina sem precisar abrir o navegador

@fisica_altas_energias 4 года назад

Legal, python é a melhor linguagem (na minha opinião), achei bem legal esse vídeo.

@Vicmendon 4 года назад

Muuuuuuuito bom.

@Palhen-BR 4 года назад

Eu usava muito estas funções no Visual Basic 6 (anos 90) para parsear o Google, Alta Vista e Yahoo e alimentar automaticamente os sites de buscas nacionais que fazia para os meus clientes. O PYTHON herdou muita coisa do VB6.

@wagnernoise 4 года назад

Só um detalhe, a melhor maneira de esperar que um conteúdo carregue, sem usar sleep, é usando WebDriverWait(driver).until(condition). Valeu pelo ótimo vídeo! Abraços

@matheusfelipe1107 4 года назад

Tem também o implicity_wait do driver

@wagnernoise 4 года назад

TheuzzLivee verdade 😉

@skylucacius8463 3 года назад

@Human Exploit o código pode dar erro se o componente em que será realizado o scrape não tiver sido renderizado, por exemplo

@varerick 4 года назад

Genial!!!

@chapicer 4 года назад

Uma coisa legal é que você pode clicar em inspecionar elemento, clicar com o botão direito na aba de desenvolvedor e pegar a cópia do xpath feito direto pelo chrome.

@garotodoprograma 2 года назад

Eu acho muito massa essa técnica (selenium + beautifulsoup4), é o meu martelo. Parabéns pelo vídeo, muito show.

@alefgoncalves6798 2 года назад

Preciso de um orçamento de alguém que pegue os numeros sortiados na bet 365 e coloque em uma planilha de forma altomatico, alguém tem alguma noção desse serviço? me chama no whatss (33)987620198

@fabiof.deaquino4731 4 года назад

Python Uma linguagem fofa pra dedéu! :)

@Pedroallesss 4 года назад

Muito bom. Gostaria de ver mais vídeos de python aqui no canal! Parabéns.

@codigofontetv 4 года назад

Então fique ligado no canal na semana q vem. 😉

@Pedroallesss 4 года назад

@@codigofontetv Com certeza estarei ligado!

@otennetolopes 3 года назад

Show!

@sonysantos 4 года назад

FANTÁSTICO! Mas que mágica foi aquela aos 14:47? 😆

@robertobutzkejunior4365 4 года назад

Conteúdo top

@andersonricardo3855 4 года назад

Excelente vídeo!

@codigofontetv 4 года назад

Muito obrigado Kyrian. 😃

@andersonricardo3855 4 года назад

@@codigofontetv Gostei tanto, que vocês me incentivaram a começar a estudar Python!

@ramirodsp 4 года назад

Ja cheguei dando voadora no like.

@bola4289 4 года назад

Parabens pelo canal e que "DUPLA DE DOIS" , virei fã de vcs, aproveitando a oportunidade uma dúvida, qual library utilizo para extrair informações de sites com javascript? pandas mesmo ?

@null5604 4 года назад

Eu amo vos muitooooo

@dudaskank 4 года назад

Um tempo atrás eu dava uma ajuda no fórum do Clube do Hardware, na parte onde ficavam as promoções, era um único tópico e eu usava web scrapping para atualizar os preços dos produtos, pra cada produto ia visitando um link pra cada loja vendendo ele (cadastrado previamente) e salvava num banco de dados. Depois clicava num link e gerava o post pra copiar e colar no fórum. Usei Java, Grails, Jsoup, HSQLDB, foi divertido fazer ele funcionar, mas acho que perdi o código :P