meu Web Scraping foi BLOQUEADO pelo Reddit, TabNews, DevTo e Hackernews

Просмотров 24 тыс.

% 3 044

Receba $10 de creditos na BrighData usando o link abaixo e implemente o seu Web Scraping de forma escalável: brdta.com/LucasMontano
✅ Meu site parece que foi feito por um DEV backend né?! Mas lá tu encontra tudo que precisa saber sobre o que tenho feito e onde estou:
lucasmontano.com/
✅ Torne-se membro para obter conteúdo exclusivo:
ru-vid.com/show-UCyHOBY6IDZF9zOKJPou2Rggjoin
✅ 𝗢𝗦 𝗠𝗘𝗟𝗛𝗢𝗥𝗘𝗦 𝗩𝗜𝗗𝗘𝗢𝗦 𝗗𝗢 𝗖𝗔𝗡𝗔𝗟
▸ Programação realmente é muito difícil?
ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-jouOvuRkOjY.html
▸ DEV Precificando Projeto tipo Netflix (bem simples)
ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-Y2WfzFozf8M.html
▸ Salário mínimo com 1 mês de trabalho como DEV Júnior
ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-KXCNH9Wj6Fg.html
▸ 2023 Programadores
ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-LB76xqh_4eI.html
▸ ${live_name} da BOLHA DEV
ru-vid.comba8yaOXAM2Q
▸ PARA DE MENTIR, Programação em 2023
ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-zcxixHQuU3E.html

Наука

Опубликовано:

20 окт 2023

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 172

@LucasMontano 11 месяцев назад

@oguiadev 11 месяцев назад

O cara trouxe: - Um baita caso legal - Mostrou o(s) problema(s) - Como projetar, escalar, etc. - Trouxe solução - Empacotou tudo numa publi Parabéns Lucas Montano do canal Lucas Montano, você é F!@#$

@LucasMontano 11 месяцев назад

valeuuu

@pppf_S 11 месяцев назад

e tudo isso em fking 9 minutos meu pcr....

@saulopereira7704 11 месяцев назад

Uma coisa que acho incrível no seu conteúdo, é a sua capacidade de abordar temas aparentemente hiper complexos, com a maior tranquilidade, típico de quem domina muito bem o assunto... Quero muito chegar a este nível....

@salubcosta 11 месяцев назад

Somos 2

@marceloaraujo4257 11 месяцев назад

3@@salubcosta

@iridium-x7i 11 месяцев назад

cara sabe do que esta falando. kkk

@juninhopo 11 месяцев назад

Isso realmente é absurdo nele, tem uma facilidade muito grande em abordar os temas.

@KellySBrady 11 месяцев назад

Somos 3

@LoganMerazzi 11 месяцев назад

Aquele Storytelling maroto pra fazer um publi... Parabéns pelo crescimento!!

@gabriel2dd 11 месяцев назад

Eu achei o jeito que ele faz a publicidade sensacional, citou um problema real que ele estava tendo, citou uma solução que não deu certo e explicou como o serviço do patrocínio ajudou a solucionar o problema, de forma descontraída e prática.

@samuel_motoka 11 месяцев назад

e no final ele nem montou 1 decimo do projeto que ele desenhou

@Shortsgamy 11 месяцев назад

O cara escreveu um scraper só pra vender um anúncio. Alô, marcas de tecnologias, temos um gênio do marketing aqui.

@LucasMontano 11 месяцев назад

haha cara eu amo programar, imagina ganhar por isso… + agora toda manhã eu recebo um resumo do que tá em alta

@geovanioliveira2421 11 месяцев назад

Cara, eu tô começando agora e estou fazendo parte do êxodo da carreira, eu simplesmente fiquei chocado com esse conteúdo. Tipo esse é o nível que eu quero 😮 você é muito brabo Lucas!!

@saulopereira7704 11 месяцев назад

faço das suas as minhas palavras....

@Yendros 11 месяцев назад

Cara, era o vídeo que eu precisava. Gosto de trabalhar com web scraping, foi assim que fiz comecei a ganhar dinheiro pra valer em plataforma de freelancer. No começo eu só colocava uns wait de alguns segundos, para respeitar o limit rate, depois percebi que essa técnica não ia me trazer escala. Busquei alguns serviços de proxy, mas nada que me deixasse satisfeito e fosse fácil de testar sem torrar uma boa grana. Vou testar esse serviço que você falou

@Rafael-oq9vu 11 месяцев назад

Dificilmente tenho problema com proxy rotativo + ua random + sleep etc

@ribeiro.evandro 11 месяцев назад

Pretende seguir o desenvolvimento fazendo vídeos explicando etapas e evoluções do projeto? Conteúdo sensacional

@dvdonadelli 11 месяцев назад

muitas vezes as pessoas não gostam de ver anúncios ou publi... eu particularmente, gosto muito! meu canal favorito tá crescendo e consequentemente garantindo que meu canal favorito continue criando o conteúdo que eu gosto de ver PARABÉNS POR MAIS UM GRANDE VIDEO LUCAS MONTANO.

@clovissilvas1529 11 месяцев назад

Comecei a estudar Python para isso. Hoje em dia, sou especialista em técnicas de evasão dessas seguranças, e é uma área boa para obter conhecimento. Às vezes, fazer o web scraping direto do aplicativo mobile ou iOS já nos permite evitar grande parte desses problemas. No aplicativo iOS da HBO, por exemplo, há menos segurança e limitações do que no site! Às vezes, é bem mais simples de lidar, pois envolve APIs que retornam JSON e afins, o que é melhor do que ficar parseando HTML puro. É uma das melhores áreas para começar a estudar!

@StefanoCibi 11 месяцев назад

E tem mercado de entrada para essa area?

@clovissilvas1529 11 месяцев назад

@@StefanoCibi como em toda área, se você for bom, sempre tem mercado, eu comecei mais focado em pentest, e outras áreas da cybersecurity, o que me da uma certa facilidade, pra fazer coisas que outros devs demoram mais tempo.

@fsouzabfs 11 месяцев назад

Fico admirado com a capacidade de storytelling desse garoto maroto! Nem vi chegar! 😆😆😆 Parabéns LM!

@kaylloos1290 11 месяцев назад

"Desculpa, meu canal se chama Lucas Montano, do Lucas Montano "- Lucas Montano do canal Lucas Montano

@Luhsilva.147 11 месяцев назад

Detonou, ficou show, em outras palavras: Que maestria!! 👏👏👏

@ViniOJustino 11 месяцев назад

Bora almoçar né

@maxwellalves6492 11 месяцев назад

Lucas descobriu o horário de ouro

@rickrec 11 месяцев назад

O desafiador é quando alguém consegue capturar a atenção do espectador com uma narrativa envolvente e um roteiro excepcional, mas ao mesmo tempo atender aos requisitos do patrocínio. E o faz de maneira magistral. 😍

@novosdeuses 11 месяцев назад

Simplesmente sensacional, vai me ajudar em um projeto que estou fazendo, parabéns e muito obrigado pelo conteúdo.

@fernandosoares_123 11 месяцев назад

Sensacional esse vídeo! Eu já tinha feito um web scraping para buscar sites de e-commerce, mas tive os mesmo problemas de limit rate e captcha. Quem sabe não volto com projeto depois dessa dica. Valeu Montano

@igorbrizack 11 месяцев назад

Muito bom Lucas, tenho alguns projetos aonde trabalho que faço também web scraping e já sofri bastante por ip block. Curti demais essa solução, quem sabe no futuro não consigo implementar uma solução usando esse serviço. Excelente conteúdo .

@coyoute2 11 месяцев назад

Excelente conteudo, recentemente Tive uma ideia de um mini projeto para buscar vagas de empregos, mas ate entao nao tinha me atentado a esses pontos que muitos sites devem barrar esses multiplos requests com mesmo IP. Vlw

@deivonferreira 11 месяцев назад

Excelente video.Voltei a estudar programação por causa dos seus videos! Meta de até 1 ano estar atuando na area.

@daniel__justi 11 месяцев назад

Esse canal é INCREDIBLE ! A lógica que trás possui sempre uma dinâmica muito interessante para compreensão, mesmo que a pessoa não domine o assunto.

@willcatan 11 месяцев назад

Mano js trabalhei com essa porra. Muito bom pagou muito boleto; mobilhei minha casa com scray inicialmente foi python com selenium depois node. Graças a Deus saí hoje sou front kkk. Mas em breve devo voltar com essa dor de cabeça. Tem que sacar de infra e gerenciamento de dados

@galactic_collision 11 месяцев назад

Cara, esse quadro é muito bom!! Não pare por favor

@Lucas2RC 11 месяцев назад

Achei esse vídeo o verdadeiro significado do ganha-ganha. O criador ganhou automatizando uma tarefa, os viewers entendendo como faz, e o patrocinador porque viabilizou e ficou muito bem na fita. Xará(sou Lucas tbm), mandou muito! E obg

@murilomatsumoto 11 месяцев назад

Estava precisando disso! Uso Selenium e BrighData pode me salvar hahaha. Valeu!

@guilhermehenriquesoueu 11 месяцев назад

Já precisei fazer scrapping também e tive os mesmos problemas.. ai pensei: "Pq não extensões de navegador comunicando com uma API?".. nunca mais precisei preocupar com proxy.. etc..etc.. kkkk

@guilhermehenriquesoueu 11 месяцев назад

*Criei uma POC no meu git "meu arroba"..

@Augu5t0 11 месяцев назад

As proxies são meus “friends”. Muito bom o conteúdo, parabéns!

@thiagobassguitarable 11 месяцев назад

Cada dia me surpreendo mais com a qualidade do conteúdo do Lucas Montano, do canal Lucas Montano.

@leandrobhbr 11 месяцев назад

já fiz um crawler em php que acessava o yahho finances e consultava valor das ações todo último dia do mês fazendo um levantamento de rendimentos.

@RafaelSouza-sp6kj 11 месяцев назад

Eu preciso de um serviço desses. Atualmente eu tenho um proxy em outra regiao da aws, preciso manter um ec2 grande em capacidade de processamento para ter 3 instancias do chrome rodando o pupetter + o proxy e uma gestao de ip manual. Mas esse serviço me pareceu caro, ou não entendi bem a precificação.

@Pedro-fd9tv 11 месяцев назад

Já trabalhei muito em projetos pra automatizar a detecção e bloqueio de scrapers. Mas eles sempre retornam...

@ianchristani1 11 месяцев назад

Nao seria bacana e o mais importante: gratuito, usar o Tor network ao inves de um proxy para nao ser dropado nos requests? No primeiro momento confesso que nao tinha considerado muito essa opcao, porque ao ficariamos sujeitos ao roteamento do Tor... mas podemos associar um rotina de re-start do proxy do Tor no CRON. :)

@juanfariasdev 11 месяцев назад

Eu trabalhava com Web Scraping, desanima demaais os bloqueios. Tinha que pagar proxy pois as gratuitas não funcionam direito e é mais lento

@CanalMenteNerd 11 месяцев назад

Montano project do canal montano project?

@LucasMontano 11 месяцев назад

Montano um Project pro canal Lucas Montano :D

@lorionmoreira6857 11 месяцев назад

Não entendi uma coisa. A ideia não era fugir de pagar por API ? A solução recaiu em pagar por outra api,eu consigo ver que a solução ficou mais completa , porem continuou com o mesmo problema do pagamento de um serviço externo.

@DcKPedro 11 месяцев назад

Garai, essa publi foi boa em

@devTalks3641 11 месяцев назад

Lucas Montano um project

@rick7242 11 месяцев назад

Fiz webscraping de um site de animes uma vez, minha solucao para contarnor o rate limit foi respeitar ele com um sleep() e salvar o html em cache, resultada foi que o script teve que ficar 7 dias seguindos ligado para eu conseguir todos os dados que eu queria, deu trabalho mas foi bem divertido XD

@3dnacho 11 месяцев назад

Adorei essa didática com o iPad. E redes sociais num geral colocam muros na Web, acho isso paia.

@gabrielealves6730 11 месяцев назад

esse problema de too many requests do reddit eh tenso. ate eu mesmo navegando no site não consigo comentar varios posts em menos de 10min, uó

@murilohasse5694 11 месяцев назад

Lucas estalou os dedos e veio um anúncio, que time Lucas Montano.

@davisouza1210 11 месяцев назад

É muito lindo chegar no canal Lucas Montano e ver ele realmente montano algo. Incrível, meu like é de praxe.

@Puridade 11 месяцев назад

Ótimo vídeo Lucas montano do canal Lucas Montano, essa publi quase imperceptível nos ajudou pra caramba com conhecimento!

@DCATz 11 месяцев назад

Que AD meu amigo, que AD... Primeira vez que fui pega em um tão bom, sem palavras para descrever a sensação além de vou comprar

@itxToledo 11 месяцев назад

poderia ter usado xpaths pra fazer o scrapper

@Obviedade 11 месяцев назад

-O projeto não tá pronto ainda, Lucas?? -Calma, to MONTANO ainda

@elianasantos6105 11 месяцев назад

Gosto muito do conteúdo do teu canal, Lucas!

@PINGUINZIP 11 месяцев назад

Puppeteer ou Selenium, e pq? Extra-1: Qual usar para evitar bloqueios tipo Cloudflare? Extra-2: JS ou PY para WebScrap? Agradeço se alguém tem alguma ideia :)

@LucasMontano 11 месяцев назад

BrightData evita bloqueio de Cloudflare

@LucasMontano 11 месяцев назад

O bloqueio não tem ligação com qual web scraping tu implementou mas sim a infra de proxy e captcha

@wag6181 11 месяцев назад

@@LucasMontano tem sim, detecção de fingerprint

@PINGUINZIP 11 месяцев назад

@@wag6181 eu sei que ambos fazem isso mas já ouvi falar que python "faz melhor"

@cristian.farias 11 месяцев назад

to fazendo um projeto de srcapping, to aprendendo pakas, video muito bom, aprendendo na marra antes desse video haha

@firzera 11 месяцев назад

Esse é o Lucas Montano um projeto chamado Montano Project em uma publicação paga ao Lucas Montano do canal Lucas Montano dono do Montano Project

@wellcp 11 месяцев назад

Qual o app que vc usou ali no iPad?

@banrikkkj 11 месяцев назад

é extremamente satisfatório ver um dev experiente planejando um projeto minha nova meta de vida é ser igual o Lucas Montano

@vinicioslopes8035 11 месяцев назад

muito bom, como sempre!👏

@wallycoding 11 месяцев назад

Lucas montano é phoda, o cara consegue fazer um video em cima de uma propaganda e ganhar em dobro SLK

@gokucearense 11 месяцев назад

Cara tem tanta solução boa como essa do vídeo. O que mata é que a precificação é em dólar e eu recebo em real🥲

@renatozr11 11 месяцев назад

Poh quero muito ver esse projeto pronto eim

@gilissantos6532 11 месяцев назад

Depois de vários bloqueios de web scraping, não fiz mais kkkk.

@AlecsandreAparecidoFabianoSant 11 месяцев назад

meu deus voce é senior senior ++ kkk muito fera

@MaxmillaBarroso 11 месяцев назад

Dava pra fazer em shell script?

@Synest2 11 месяцев назад

4:02 na verdade oq ele quis dizer foi "A gente sabe que o reddit é maneiro e tals, mas tamo vendo muito request vindo do seu IP, dá uma pausa ai"

@chewbacca01 11 месяцев назад

Um dos melhores comerciais que já assisti na vida! Obrigado algoritmo da internet. E Lucas Montano, do canal Lucas Montano.

@leandromachado1693 11 месяцев назад

Tu é foda Lucas Montano... valeu

@Amezith 11 месяцев назад

entao Lucas Montano do canal Lucas Montano está "Montano" um projeto, e des'Montano expectativas de alguns ouvirem uma noticia muito especifica que agora o Montano Project nao ira Montar um resumo para Lucas Montano falar no seu canal Lucas Montano

@txai_danilo_medeiros 11 месяцев назад

IDEIA: Faz um bot de web scraping pra descobrir quai sao os requisitos mais exigidos nas vagas do LinkedIn, e um roadmap pra cada linguagem ❤

@calimesilva4088 11 месяцев назад

Incrível🤩

@douglasrcm 11 месяцев назад

Eita, show de video.

@Yanksz 11 месяцев назад

eesse conteúdo foi foda demais

@edu_amr 11 месяцев назад

Isso irá ser util para meu TCC :)

@MarlonSantosEng 11 месяцев назад

Se montano deu esse problema. É melhor já ir desmontano.

@camilocosta8902 11 месяцев назад

Comentando pra engajar como sempre 🎉

@eduardolima-k1m 11 месяцев назад

incrível🤩

@_jbabo 11 месяцев назад

Isso sim foi um Ad de qualidade, hein

@lucasvisentin809 11 месяцев назад

bao demais

@jonnescllark8369 11 месяцев назад

Faz um projeto para divulgar a empresa que está te patrocinando, dahora de mais, 😂😂😂

@giovanesantos9095 11 месяцев назад

Toda vez que vejo o Lucas montano fazendo algo eu penso,vou largar tudo e viver da minha arte na praia,aí lembro que não sei nada de arte na praia e volto a estudar.conteudo bom de mais.

@dracodevil. 11 месяцев назад

Hoje de manhã eu tive uma ideia que envolvia, justamente, web scraping. A última vez que eu fiz isso foi em 2016 hahaha. Esse vídeo foi👌

@nelioalbasine 11 месяцев назад

Top como sempre Lucas ❤❤❤❤

@joaopedrogomesdesena8674 11 месяцев назад

Brabo demais da conta

@tioguil 11 месяцев назад

Agr sim vi vantagem, ferramenta de qualidade

@allisonvoll 11 месяцев назад

Fiz o cadastro usando o link e não ganhei os créditos

@LucasMontano 11 месяцев назад

vou verificar, da uma olhada no e-mail / spam… eu testei mais cedo e estava funcionando

@iurynathan 11 месяцев назад

Ele me fez ficar pela primeira vez até final de uma publi...

@Pedro-fi5iy 11 месяцев назад

Essa propaganda do erick wendel é foda ainda bem que tô no fone

@blackrock2222 11 месяцев назад

Tem páginas que mudam o html depois de x tempo, quero saber como resolver isso em web scraping

@VictorHugoMalheiro 11 месяцев назад

eu tinha um blog que fazia web scraping de outros blogs, e fazia um novo artigo, vc tem que ficar acompanhando acho que é a unica forma, OUUU, vc faz um "Mock" da estrutura e sempre antes de puxar o conteúdo vc compara com o mock pra ver se ta igual, dai se não tiver ele te manda uma mensagem pra corrigir...

@Tads552 11 месяцев назад

Nao vejo muita alternativa de fazer algo automático, o que ja fiz no passado pra mitigar essas mudanças era deixar um arquivo com os seletores html dos elementos que eu interagia na pagina, ficando fácil manutenção, alem disso eu tinha outro processo que validava a existencia de pontos importantes no site a cada dia, assim pegava essas mudanças mais rápido

@adailtonsantos910 11 месяцев назад

Talvez selecionando atráves da estrutura do html ao invés dos seletores, por exemplo, fazendo o scraping selecionar a terceira div de um section ao invés do id #terceiraDiv (exemplo)

@danilobrun6058 11 месяцев назад

Eles fazem isso também como estratégias para evitar o scraping, o instagram é um exemplo muda em 2 em 2 dias. Dessa forma seria útil usar técnicas de aguardar o elemento ser renderizado em tela e através de atributos HTML ou seletores CSS que em suma maioria não mudam com frequência interagir com esse elemento.