쿠팡 크롤링 차단되지 않고 상세 페이지, 리뷰까지 스크래핑하는 프로그램 만들기 

Traceback (most recent call last): 이 부분은 에러 메시지가 시작하는 부분입니다. 메시지에는 몇 번째 줄에서 에러가 발생했고 에러 이름은 무엇인지 나와있습니다. 코드와 함께 그 내용을 올려주셔야 어떤 에러인지, 어떻게 해결하는지 알려드릴 수 있습니다.

맞습니다- 가격이나 기타 사항에 대한 부분은 브라이트 데이터로 메일 보내서 문의하시면 더 정확하게 답변 받으실 수 있습니다.

1. 셀레니움을 사용해서 스크롤을 하고 페이지 소스를 가져와서 그 소스코드에서 찾아야 합니다. 2. Ctrl + F 누르면 입력하는 부분이 나오고 거기에 입력하면 옆에 몇개인지 나옵니다. 다만, 이건 일치한 갯수이기때문에 예를 들어 class="aaa"를 찾으려고 하는데 소스코드에 "aaabbb" 이런게 있다면 같이 찾아집니다. 이런 경우에는 입력창에 aaa만 입력하는게 아니라 "aaa" 이런식으로 입력하면 됩니다.

제가 vba에서 셀레니움을 사용할 줄 모릅니다.

스크랩한 정보를 필요한데 사용을 해야겠죠? 데이터 자체가 필요해서 크롤링을 할 수도 있을 테고 정보를 다른 웹이나 앱에서 보여줄 수도 있습니다. 가격정보를 사용해서 제품 가격 변화나 다른 쇼핑몰과의 가격비교도 할 수 있고, 제품 리뷰를 분석해서 시장 반응을 볼 수도 있겠죠. 어디에 사용할지는 정해진 건 없습니다. 기획하고 만드는 사람의 몫인 거죠.

파이썬 스케줄러, 파이썬 cron 등으로 검색해보시면 특정 시간을 정해서 또는 정해진 간격으로 프로그램을 실행시키는 방법을 찾으실 수 있습니다.

요즘 쿠팡과 네이버가 크롤링을 엄청 열심히 막고 있습니다. 아래 내용은 브라이트 데이터에 문의하고 받는 답변입니다. KYC라는걸 신청해서 허가를 받으면 되는데 저는 일단 신청 해놓은 상태입니다. Hi, To successfully target coupang.com you'll need to submit and pass KYC, which will allow scraping browser to fully utilize our residential network. I've tested this domain with a demo user with full residential access and found no issue targeting it with the example code below. Please submit your KYC via the following link(brightdata.com/cp/kyc), once your KYC is approved and you'll have full residential access you should be successful in targeting Coupang. To learn more about our residential network and why KYC is needed to obtain full access to it I suggest you review the following article(brightdata.zendesk.com/hc/en-us/articles/13310952273041-Residential-network-policy) Please let me know if further clarification is needed!

@@kimfl 감사합니다!

프로그램이 아예 처음이시라면 많이 어려울듯 합니다. 프로그래밍 언어는 파이썬을 사용하고 소스 코드 편집기는 vscode를 사용합니다. 일단 파이썬 기초를 조금이라도 살펴보신다음 이 영상을 따라 해보시는걸 추천드립니다.

네- 맞습니다.

스크래핑 브라우저는 차단되지 않고 계속해서 스크래핑을 하기 위해 사용하는 도구일 뿐입니다. 셀레니움만으로 리뷰 스크랩이 안된다면 아마도 코드에 문제가 있을 겁니다.

구글 자체 크롤링은 난이도가 높아요 bot이라 판단되면 검색 결과 자체를 하나도 안줍니다

개발자 도구를 사용하면 간단하게 확인 가능합니다. 클래스 badge rocket입니다.

@@kimfl 답변 감사드립니다^^

brightdata.com/pricing/scraping-browser 스크래핑 브라우저는 사용량 + 시간입니다. 반면, 웹 언로커는 요청당 가격입니다. brightdata.com/pricing/web-unlocker 보시면 1천번 요청당 2~3달러 수준으로 매우 저렴합니다. 꼭 셀레니움이 필요한 상황이 아니라면 웹 언로커를 사용하는게 속도도 빠르면서 비용도 저렴합니다. brdta.com/kimfl 위 링크로 가입하시면 $10 무료 크레딧이 즉시 제공됩니다. 테스트에 사용해보세요~

@@kimfl 가격이 꽤 나가네요

@@kimfl 1000번 요청당 3달러라 써있는데.. 1000번 요청이 정확히 무슨 말일까요? 100페이지를 크롤링해~ 라고 한번 시키면 그게 한번인지 아니면 다른 단위로 쪼개지는 건지요~ 그리고 ip를 매번 바꿔준다고 하셨는데 알려주신대로 vsc에 적고 하긴 하는데 이게 작동이 되는중인지 안 되는중인지는 확인하는 방법도 궁금합니다. 영상 초반 proxy_url 이 주소가 크롤링 실행 할 때 마다 똑같이 출력이 되는데 어떻게 매번 다른 주소가 되는건지 이것도 궁금합니다.. 질문이 많아서 죄송합니다 ㅠ

1:31:33