장피엠님 영상보고 그간 파이썬으로 크롤링하려고 공부한 시간이 생각나네요~ 배운 건 많지만 역시 기술이 있으면 돈을 내고 쓰는게 제 시간을 아껴주네요. 그리고 영상에서처럼 날짜 데이터가 잘못 들어와도 쿨하게 지우는 모습에 생각이 달라졌습니다. 저는 그것까지 완벽하게 하려했던 모습이 생각네요ㅎㅎ감사합니다. 지금 하는 일의 목적을 생각하게 됩니다!
이런 자동화 작업을 하다보면 마지막의 디테일 때문에 짜증이 나고, 쓸데없는 시간을 보내기도 하는데 구독자님의 댓글이 제 마음을 치유해주네요. 저도 왜 노코드에 관심 가졌는지 초심을 항상 생각하며 빠른 실행과 더 많은 일처리에 초점을 맞추고 쿨하게 문제 해결해나가겠습니다. 좋은 댓글 너무 감사드립니다.
제 지식과 경험을 집약해서 노코드로 업무를 자동화하는 강의를 오픈했습니다.(2022년 3월) 우리 일터는 점차 자동화되고 있습니다. 비개발자라도, 코딩을 몰라도 내 일을 자동화할 수 있습니다. 자동화 트렌드에 주체적으로 올라타세요! 도와드릴게요 😊 www.sasucamp.com/camp/product-building-2022-03 → 최근 강의는 www.nocodecamp.kr/camp 에서 확인해주세요~ (2023.7월 업데이트) (*강의는 2022년 3월에 오픈되며, 정원이 차면 조기에 마감될 수 있습니다.)
워낙 오래전 영상이라 가물가물 한데요. airtable web clipper는 구조가 같은 페이지는 여러개에 다 적용할 수 있고요. 구조가 다른 사이트라면 다른 구조로 설정만 해주시면 됩니다. 즉 하나의 airtable 베이스에 다양한 페이지가 스크랩되도록 할 수 있습니다. 좀 더 범용적인 웹사이트 크롤링은 제가 다른 영상에서 소개한 octoparse를 쓰는것도 방법입니다.😊
@@jangpm 옥토파스 영상도 방금 다 봤어요 무료인데 정말 강력한 기능이네요. 사실 사내에서 개발 수요가 여러가지가 있었는데 이런 크롤링에 대한 수요가 많았거든요. 한번 시도해봐야겠네요. 프로그래밍을 직접 하면 커스터마이징이 자유롭게 가능하다 정도일 것 같은데. 영상 보면서 굳이 코딩 안해도 될 부분은 옥토파스로 대체해봐야겠어요. 마지막 영상에 오토매티오도 좋은것 같은데 아직 유료만있는지 검색해 보러 가보겠습니다. 좋은 영상 정보 올려주셔서 감사해요! 시간 되시면 이 시리즈 영상 추가 부탁드립니다!
네 가능합니다. 이 문서를 참고하시면 simplescraper로도 가능하실거예요. 로그인한 사용자의 cookie를 저장해서 그 cookie를 가지고 접근하는 방식이라고 이해하시면 됩니다. ( simplescraper.io/docs/scrape-behind-login/ ) 단, 외부 인터넷에서 접근이 안되는 사내 인트라넷인 경우에는 이런 인터넷 소프트웨어로는 크롤링이 어려울 수 있습니다.
