차분하고 딥한 설명 감사합니다. 다중 ip를 사용해야만 지속 크롤링이 가능한 사이트를 크롤링하려고 하는데, 질문 몇가지만 드려도 될까요? 1. 고정 ip를 구매해서 쓴다면 추천할만한 사이트가 있으실까요? 2. 고정 ip 구매보다 더 좋은 방법으로 ip를 여러개 확보할 수 있는 방법이 있을까요? 감사합니다.
상황에 따라서 다르겠지만 제 경험에서 말씀드리자면, 대부분의 경우, 로그인을 해야 하는 상황이 아니라면 굳이 비싼 고정 ip를 사용할 필요는 없다고 생각합니다. 저는 고정 ip를 사용했던 경우는 네이버 로그인이 필요한 자동화 프로그램에서 사용을 했었습니다. 제가 협업했던 브라이트 데이터(brightdata)라는 회사가 있습니다. 이쪽 분야에서는 거의 세계 최대 기업입니다. ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-gUBz0iDVG30.html ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-QtrBHY4_uLw.html 협업 영상인데 참고해 보시면 도움 될 것 같습니다.
대법원인터넷경매 크롤링도 되나요? 그리고 검색후 우리경매들어가면 대법원꺼보다 보기가 편하던데 그것도 크롤링 가능한지? 추가로 오후엔 낙찰된 물건 나오던데 그것도 크롤링 하면 편할것 같은데 가능 한가요? 실시간 가능하다면 낙찰전 크롤링/낙찰후 크롤링 다될텐데요? 된다면 이것도 파이썬으로 하나요?
playwright 써봤는데 결정적으로 playwright와 pypeteer(&pupeteer)는 셀레니엄처럼 navigator.webdriver를 false로 만드는게 불가능 하더군요. 매번 페이지 접속할 때마다 false로 바꿔주고 들어가도 매번 console에 들어가서 확인해 보면 true로 바뀌어 있어서 원인을 알아보니 개발된 특성상 그럴 수 밖에 없다고 하는 글을 보았습니다. playwright를 쓰면 async모드로 처리할 수 있는 장점도 있지만, 실제 여러 페이지를 동시에 크롤링 하는게 다른 원인으로 불가한 상황이 생겨서 그러한 장점이 많이 희석되더라구요. playwright sync, async, 셀레니엄 모두 써보니 셀레니엄이 총체적으로는 장점이 제일 큰 것으로 느껴졌습니다. 물론 저도 계속 배워가는 중이라 저의 짧은 식견으로 인한 잘못된 정보가 전달될 수 있으니 다시 한번 확인해 보심을 권합니다.
