🚀AI로 함께 성장하려면? AI 도구 커뮤니티(무료): open.kakao.com/o/gu5sxe0e 제이커브스쿨 카페: cafe.naver.com/6pmclass 📧비즈니스 문의 : info@j-curveschool.com *2024년 5월 18일부로 제이커브스쿨로 변경 되었습니다:) 시간을 아끼고 싶은 당신을 위해. 0:00 인트로 0:30 데이터 크롤링 도구 Octoparse 회원 가입 1:37 Octoparse 사용법 소개 2:05 URL 넣고 데이터 긁어오기 3:50 상세페이지 데이터 긁어오기
유익한 동영상을 잘 보고 있습니다. 감사합니다. 그런데 동영상을 보다 보니 몇가지 질문이 있습니다 1.옥토버스를 돌렸는데 데이터 취출이 안되면 몇번 반복해도 안되는 부분은 계속 안되는건가요? 2.기한이 없이 무한히 쓰는건가요? 3.카드등록 skip은 잘 알려주셨는데 카드등록하면 어떤 혜택(?) 같은게 있나요?
칼퇴하고 N잡하자 -칼퇴교실 망구입니다. 이런 질문 너무 좋아요. 답변 드릴게요. 1. Workflow의 Option에 들어가보시면, Wait before action이라는 부분에서 지연시간(1초~2초)을 늘리시면, 더 안정적으로 데이터를 받아올 수 있습니다. 2. 네, 약간의 제약사항 제외하고는 없어요. 그래서 처음 데이터 크롤링 해보시는 분들이 사용하기 좋습니다. www.octoparse.com/pricing에 보시면 자세히 나와 있어요. 3.Skip 안하시고 결제를하시면, 설정한 시간에 맞춰 데이터를 자동으로 크롤링해서 업데이트 해주거나, 클라우드에 저장할 수 있는 기능이 생깁니다. 만약에 데이터베이스나 데이터 전송 노코드를 더 잘 활용하시는 단계가되면 유료로 완전 자동화로 만들면 좋죠 ㅎㅎ 지금은 그냥 무료 쓰세요!
일만 여러번 계속 하게 되실겁니다. 간단하게 페이지네이션 한두페이지 하는정도면 상관없지만 매일 연속으로 데이터를 추출하는 부분 가공해야되는 부분 모두 다 설정하고 만져서 개발자가 만들어준것 처럼 사용할 수 있지만, 깊고 길게 가기에는 좋은 선택은 아닙니다. 전문영역과 비영역에 차이라고 보시면 될거 같습니다. 프로그램이 미흡한점이 많고, 크롤링 이라는 자체는 사실상 불법에 영역이여서, 어느 사이트든 암호화기술을 구축하고 로봇개념이 들어가 있어서 길게 써야 한달 쓰면 그다음 또 뚫어내기 위해서 비용을 지불 해야 하기 때문에, 계속 코드 수정해야 하고 그러다 보면 시간 뺏깁니다. 저는 배워서 능숙해지는데 2년 걸렸지만, 지금은 안씁니다. 개발자에게 돈주고 의뢰합니다. 1. 무료 버전은 만행 까지 가능합니다. 2. 무료버전은 무한이 씁니다. 다만 업데이트 될 때 마다 인터페이스가 바뀌고, 기법이 바뀝니다. 그것은 html 구조상 정규표현식을 감추거나 암호화하거나 비꼬아 놓거나 옮겨지기 때문에, 그렇습니다. 그리고 유료가 아니면 1년이상 꾸준히 쓰면 귀찮아집니다. 내가 원하는 형태로 가공을 다시 또 해줘야하기때문에 한계에 직면합니다. 유료를 쓰면 구글시트나 db를 구축해서 사용해서 좋습니다. 3. 카드 등록을 해서 혜택은 첫 일주일 인가 이주일인가 무료체험기간을 제공해 주는걸로 압니다.
@@gt5272 맞습니다. GT님. 깊고 길게 가기에는 좋은 선택은 아니죠. 너무 예리한 분석 너무 감사드려요:) 모든 노코드 툴이 그렇듯, Octoparse도 한계가 뚜렷이 있습니다. 노코드는 IT나 디지털에 대한 지식이 없는 분들이, 초기에 진입하기 좋은 도구일 뿐이죠. 그래서 개발 지식이 전혀 없는 기획자나 예비 창업자가 콘텐츠 기획을 위한 데이터 모으기용으로는 이보다 더 적합한 툴은 없어 보입니다:) 결국 어느 시점에는 개발의 영역으로 가야하더라요!