Como fazer Web Scraping utilizando Python e Selenium?

Подписаться 151 тыс.

Просмотров 21 тыс.

50% 1

Vamos aprender a coletar dados de qualquer site na web utilizando Python e uma de suas bibliotecas, a Selenium!
Essa técnica muito útil chamada web scraping é muito utilizada no dia a dia e se usada corretamente pode ser uma verdadeira mão na roda na hora de conseguir seus dados!
E se quiser saber como realizar o web scraping com o Beautifull Soup, dá uma olhada nesse video aqui: • Como fazer WEBSCRAPING...
Fica até o final e me diz o que achou! Valeu, DS!
--------------------------------------------------------------------------------------------------------------------
Curso de Python gratuito - bit.ly/44NzT3P
Seja membro da Comunidade DS - bit.ly/3rc0JVx
--------------------------------------------------------------------------------------------------------------------
Siga a gente no Instagram! Fique ligado nas dicas diárias sobre ferramentas e carreira de dados!
Comunidade DS: / comunidade.ds

Наука

Опубликовано:

10 сен 2023

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 70

@dsordesmoreiraalves4702 3 часа назад

explicação bem simples, sem enrolação, muito bom, velho, faz mais com selenium, por favor

@igorbrenno1459 9 месяцев назад

Massaaaaa.... Obrigado por compartilhar

@FabioSantos-hy6nf 9 месяцев назад

Muito da hora! Faz mais conteúdo assim!

@bazileu_ 7 месяцев назад

Melhor explicação, didático e simples! Valeu muito p mim p tô começando

@leticiadumetp 2 месяца назад

melhor vídeo que já assisti sobre o assunto, pois consegue ser ao mesmo tempo simples e completa!

@fdomds День назад

Parabens pelo conteudo. Boa didatica.

@andreferreira7035 9 месяцев назад

Top. Muito bom.

@wevertonmagalhaes4496 7 месяцев назад

Video sensacional, professor excelente e didático, tive um erro no código mas acredito ser algo do meu PC, pq na hora de coletar os dados da quantidade de cada livro ele dava um erro ai coloquei um sleep de 2 sec antes de cada click e funcionou

@HelenaDuGraus 4 месяца назад

Crlh, essa linguagem é um monstro mesmo pra trabalhar com dados, essa forma de iteração de array aí, pqp, queria que toda linguagem tivesse isso

@pedrosantoscantao483 8 месяцев назад

muito intuitivo, parabéns pela explicação. 👏

@ComunidadeDS 8 месяцев назад

Ficamos felizes que a explicação tenha sido útil, Pedro!

@deni-77 8 месяцев назад

Sensacional!

@ComunidadeDS 8 месяцев назад

Valeu!

@l8k1nh07 7 месяцев назад

O video ficou muito bom, facil de entender

@ComunidadeDS 7 месяцев назад

Opa, ficamos felizes em ajudar! Bons estudos :)

@LindembergFelix 5 месяцев назад

Muito bom!!!

@CassianoCom2s Месяц назад

Você explica muito bem man! Tks

@ComunidadeDS Месяц назад

Disponha!

@module-se 2 месяца назад

Excelente explicação, parabéns! Outros canais do mesmo nicho não explicam a função de cada código e o motivo dela estar ali, você sim. Mais um inscrito! Siga assim.

@ComunidadeDS Месяц назад

Valeu!

@jaymealves6414 2 месяца назад

Ajudou muito, obrigado

@ComunidadeDS Месяц назад

Fico feliz! Bons estudos.

@attdns Месяц назад

Excelente vídeo mano. Eu tava apanhando pra várias coisinhas e aqui esclareceu muito, principalmente questão de sintaxe, que cada lugar que eu via tava de um jeito que comigo não funcionava. Tmj!

@ComunidadeDS Месяц назад

Sucesso!

@AchillesGuilardi Месяц назад

Sensacional!!

@ComunidadeDS Месяц назад

Valeu! Bons estudos.

@luanzeirathetrader 2 месяца назад

cara, sensacional!!! estou há pouco tempo estudando Python e nenhum video conseguia explicar tao claro e tao simples o que vc explicou... parabéns pelo conteúdo!!!!

@ComunidadeDS Месяц назад

Sucesso!

@emoprogramador8453 8 месяцев назад

Cara, eu pensei que webscrapping seria um negócio de outro mundo...... eu amei mexer com webscrapping desta forma com o selenium, muito simples e bastante intuitivo

@ComunidadeDS 8 месяцев назад

Boa!

@david-o2 4 дня назад

@@ComunidadeDS Sabe dizer o pq quando usa alguma funcão do By (By.XPATH) , ele abre uma nova janela do chrome ao invés de continuar a funcão na mesma janela

@franciscosales7448 4 месяца назад

Muito bom

@ComunidadeDS 4 месяца назад

Valeu!

@alexandrefischer7248 2 месяца назад

👏👏👏👏👏👏👏

@salgadotec 7 месяцев назад

Se eu gostei ?? Pô .... Pra não falar outra coisa kkkk. brincadeiras a parte, mais quero deixar aqui meu Muito Obrigado pelo excelente conteúdo. Sou Dev Java, e estou em busca de aprendizado de scripts de automatização para rodar em Postman e fazer os testes de minhas APIs automatizadas, se houver algum conteúdo relevante que possa me indicar ficarei grato. Valew

@igorjasenovski4313 27 дней назад

ótimo vídeo!!! Quando temos um servidor sem GUI, o selenium ainda funciona? Obrigado pelo vídeo!

@gfsouza86 13 дней назад

Preciso acessar um Google Drive e realizar o download de um arquivo CSV pra o meu computador.... Como fazer isso?

@cletofreire271 Месяц назад

Muito obrigado pelo conteúdo, parabéns. Você poderia me informar como o seu VScode ficou assim separadinho tipo o google colab?

@apfrogerio Месяц назад

Ao criar um novo arquivo, use a extensão ipynb em vez de py, que o código vai sendo criado em partes

@gabrieldibastiani1388 9 месяцев назад

Faltou só fornecer o projeto final

@luisbatista1994 6 месяцев назад

Viva, Alguém tem este erro: ValueError: invalid literal for int() with base 10: 'In stock' sobre esta linha de código? int(driver.find_element(By.CLASS_NAME, 'instock').text.replace('in stock(','').replace(' avaliable','')) Obg

@ezequiasrogerio9696 8 месяцев назад

Quando rodo o programa, diz que o driver não foi encontrado. Eu já baixei o chromedriver mais recente e continua dando esse erro. O que fazer?

@juliocesarlima4630 8 месяцев назад

não é o mais recente, é o de acordo com a sua versão do chrome.

@EdmilsonBelem1608 8 месяцев назад

Faço tudo certo, quando mando executar o driver, não acontece nada, vc pode me dizer o está acontecendo com o meu jupyter notebook?

@fernandocoelho1334 3 месяца назад

Está testando por etapas?

@jerundiu7631 7 месяцев назад

@comunidade DS me responde por favor. É mais viavel xpath ou tag_name (algo a mais do que clean code ?)

@HelenaDuGraus 4 месяца назад

putz, aí vai depender de alguns fatores, pq até mesmo pelo seletor CSS é uma opção viavel, as vezes mais que o xpath. No caso de uma table, ir pela tag fica mais harmonico e entendível (table > tbody > tr[ ] > td[ ]), outros elementos pode ser que via Selector seja de melhor compreensão do código.

@DicaDoAbilio 2 месяца назад

Cara, pelo xpath ficaria bem mais simples, nesse exemplo ai basta somente com esse caminho xpath "//h3/a" já era suficiente para percorrer toda a lista, bem clean. Mas como amigo falou antes, depende de cada estrutura de cada pagina, o legal é saber os metodos e aplicar o mais eficiente. por CSS ficaria assim querySelectorAll("h3 > a") e assim por diante. Existe varias formas de se fazer a mesma coisa! TMJ

@Guilhermetravels 6 месяцев назад

Fala mano Como eu faço para deixer meu vscode divido em partes igual ao seu?

@levyfreitas3882 2 месяца назад

quando vc cria um novo arquivo tem q colocar ".ipynb" por que ai é criado um notebook e fica igual o do video

@fernandocarratti3334 5 месяцев назад

Alguém me ajuda por favor! o codigo funciona lindamente sem o for, bastou colocar o for pra fzer o loop, ele simplesmente para de funcionar e dá um erro bizarro! Já não sei mais o que fazer!

@fernandocoelho1334 3 месяца назад

Talvez esteja na escrita do For e na identação dos elementos que precisar estar submissos a este. Use tabulação para posicionar.

@uriasloures4145 9 месяцев назад

Show!! Obrigado pelo conteúdo. Meu código está dando este erro: "selenium.common.exceptions.WebDriverException: Message: unknown error: Failed to create Chrome process." Eu já fiz e não deu certo: 1 - Verifiquei a versão do google e do chromedriver - estão iguais 2 - Já coloquei o atalho do Google Chrome para iniciar sempre como Administrador Meu Chrome está instalado na pasta "C:\Program Files\Google\Chrome\Application\chrome.exe" Utilizo o VSCode e a versão do meu selenium é o 4.1.0. Chrome versão: 117.0.5938.92 Sabe dizer o que mais posso fazer? Vlw

@SceneMaker_ 9 месяцев назад

o meu tá assim tbm mais pelo visto ninguém ajuda não fala nada sobre ......

@jonas.barletta 9 месяцев назад

Putz, nunca vi esse erro. Estou usando a versão 3.11.5 do Python e 4.12.0 do selenium. Já tentou instalar de novo o selenium?

@amadeucerqueira7456 6 месяцев назад

Como faço para acessar esse documento que aparece no 4:00/

@fernandocoelho1334 3 месяца назад

Esse Notebook é montado no Jupyter. Os títulos são os Markdown e a cada linha já será um código ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-f8n-7joELls.html

@lucasbrantes1 7 месяцев назад

como que faz pra descobrir que come;a no indice 54 ?

@jonas.barletta 7 месяцев назад

Para esse vídeo eu fiz "na raça", substituindo valores até perceber que retornava o nome de um dos livros, mas com certeza tem maneiras melhores de se fazer.

@user-nk1em4ul9f 6 месяцев назад

tbm gostaria de saber

@360Techonology 7 месяцев назад

O meu abre o navegador e logo fecha . alguem pode me ajudar com a solução ?

@jandersonmartins1212 5 месяцев назад

Eu achei a solução input(“presione enter”) coloca isso na última linha de código dps de abrir o navegador que ele abre e não fecha sozinho

@jonasmacedo1494 5 месяцев назад

@@jandersonmartins1212 slk, é gambiarra, mas tu é muito genio, vlw mano

@jandersonmartins1212 5 месяцев назад

@@jonasmacedo1494 mano tem uma solução melhor que essa, ao invés de abrir no “arquivo.py” usa “ arquivo.ipynb “ vai resolver sem precisar de gambiarra . E instala o Jupyter no seu visual studio ou pycharme não sei qual vc usa, mas faça isso da certinho. Só muda o final do nome do arquivo e o instala o jupyter caso de erro! Se não der só alegria. Toda vez que for usar selenium usa arquivo em jupyter