파이썬 초보자도 웹 크롤링 2시간이면 됩니다ㅣNAVER 쇼핑 데이터 실습 따라하기 

네이버측에서 크롤링을 막아두어서, 저희도 실습에서 해당 부분은 제외하였습니다. 크롤링 실습으로 아직 막아두지않은 등으로 활용한 실습강의는 메타코드 사이트에 업로드 예정입니다. mcode.co.kr

💥 데이터분석/ AI / 데이터엔지니어 Study 13기 모집 (9.3 시작 - 현재 얼리버드 접수중) 🙋 얼리버드 할인받고, 수강신청 하기! docs.google.com/forms/d/1SbPxoa3zwkFWw9u6eZhNv959OwBmWR-qnNakQnb59Rc/edit 취업 / 이직에 도움이 되는 포폴 결과물을 만듭니다. 🧑‍🏫강사진 - 카이스트+네카라쿠배 AI 현직자 - 대기업, 스타트업 데이터 분석가 - 서울대 AI 대학원 출신 선생님 - 대기업 금융권 데이터 엔지니어 🗓 시작/진행 일정 * 총 7주, 14시간 과정 (매주 1회 2시간 수업) ✅ A 주제 - 이커머스 데이터 분석가 스터디 / 🆕신규주제 09.08 (일) - 오전 11시 시작 ✅ B 주제 - 영상/이미지 분할 (컴퓨터 비전) 스터디 / 🆕신규주제 09.03 (화) - 오후 8시 시작 ✅ C 주제 - 데이터 엔지니어 스터디 / 🆕 신규주제 09.05 (목) - 오후 8시 시작 ✅ D 주제 - 신용카드 이상 거래 탐지 스터디 /🔥인기 주제 (6 기수 출강) 09.07 (토) - 오후 1시 시작 📋 수업방식 1) 온라인 줌 - 이론 수업/프로젝트 발표 - A주제 데이터 분석 스터디는 1주차에 오프라인 진행 - 오프라인 참석이 어려울 경우, 온라인 진행 가능 (해외 거주 학생도 다수 참여) 2) 매주 과제 제출 예정 3) 매 수업 녹화 강의 - 별도 제공 4) 디스코드 채널 통하여, 강의/프로젝트 관련 Q&A 가능 5) 모집인원 - 주제별 7 ~ 10명 - 신청자가 많을 경우 나중에 신청하신 분들은, 새로운 시간대로 제안 드릴 예정 📌수업결과 1) 딥러닝 / 컴퓨터 비전 / 데이터 엔지니어 / 데이터 분석 포트폴리오 생성 2) 수료증 발급 🏅프로젝트에 성실히 참여하고 결과물이 좋은 분들은 우수 수료증 별도 안대혀지급 [링크드인 "자격증/수료증"] 란에 게시 가능 3) 메타코드M 사이트 혜택 ~ 50만원 상당의 직무별 전체 로드맵 Total 강의 1개 코스 대폭 할인 혜택(20만원에 결제 가능) [ 데분/데사/AI 분야 - 4~6개 강의 묶음] 4) 메타코드 채용 협업 기업 추천 (우수 수료자에 한함) 📌 실제 참여자가 완성한 프로젝트 결과물 colab.research.google.com/drive/1qBEBfZJC7OubDzrpq8R5sPGDERi5jYw_#scrollTo=58iemOH9BaBM colab.research.google.com/drive/1oDqTi2E-6bFwbe4RNxgX-BE5HQCQDqVG#scrollTo=a2031ae8 colab.research.google.com/drive/1dKAHP7hX_EBQmpg-nSRV38Zmxrs9knXI?usp=sharing colab.research.google.com/drive/1M393VJr8Qz0VKf2Rj3-7tNcf5UXDlQtA github.com/ngoolglory/project/blob/47e7c7aa9382e4331b291f02e92f8a651f2307d7/meta_code_project/Fraud_Detecting_Original.ipyn

🔥메타코드M 오픈채팅방에 들어오실래요?🔥 ⚡무료 취업특강/오프라인 네트워킹/Daily IT뉴스 등 - 가장 빠르게 다 공유합니다⚡ docs.google.com/forms/d/1k4ufvVdJMhJZKFccVxAzsl_bJyTuTuDXjjsOsZP2MXA/edit

(질문) 이 강의에서 윗부분 다 똑같이 하고 crawler.find_element('xpath'.'//*[@id="NM_FAVORITE"]/div[1]/ul[1]/li[5]/a').click() 이 부분이 아무리 해도 이 오류값이 나옵니다. Cell In [140], line 1 crawler.find_element('xpath'.'//*[@id="NM_FAVORITE"]/div[1]/ul[1]/li[5]/a').click() ^ SyntaxError: invalid syntax xpath 가져오는 값이 새롭게 변경 되었다고 해서 앞에 소개한대로 드라이버로 쓰고 뒷부분도 바꿔보았지만 되지 않았어요 ㅠ-ㅠ.. (답변) 학생 분이 ,로 써야하는데 .으로 쓰셔서 생긴 오류였어요 그래서 crawler.find_element('xpath'.'//*[@id="NM_FAVORITE"]/div[1]/ul[1]/li[5]/a').click() 이 부분을 , crawler.find_element('xpath', '//*[@id="NM_FAVORITE"]/div[1]/ul[1]/li[5]/a').click() 로 하시면 됩니다.

목소리 매력적이세요 !

🙋다른 학생들 문의 많은 부분 답변🙋‍♀️ 문의 주신 분의 코드를 살펴봐야 가장 정확하겠지만 코드가 제가 수업했던 내용과 다름이 없다면 코드상의 문제라기 보다는 동적 사이트를 수집할 때 실시간으로 웹페이지 로드가 다 된 상태여야 원활하게 크롤링이 되기 때문에 , 이 경우 페이지에서 데이터가 로드 되기 전에 데이터를 수집하는 코드로 넘어갔을 때 발생하는 현상이어서(여기서 로드는 인터넷 하려고 네이버 들어갔을 때 처음에 사이트가 흰 부분이 많다가 몇 초 뒤에 다 채워지잖아요, 다 채워지는 걸 로드 완료, 그렇지 않을 때 로드가 완전히 되지 않은 거라 생각하시면 됩니다) 문의주신 분이 작업하는 컴퓨터 기준으로 페이지를 스크롤 혹은 다음 페이지 이동 시 데이터가 로드 되는 시간 이상으로 타임슬립을 주면 해결될 것 같습니다. 그게 아니라면 간혹 컴퓨터 메모리를 잡아먹을 만한 일을 크롤링 작업과 같이 할 경우 생기기도 합니다. 저 같은 경우도 촬영과 크롤링을 동시에 진행해서 이 현상이 일어나 타임슬립을 촬영을 같이 진행하기 전보다 더 주고 크롤링하니 정상적으로 수집됐던 기억이 있어서 한 번 컴퓨터를 껐다가 킨 뒤 타임슬립을 페이지 넘기는 부분과 스크롤하는 부분에 더 준뒤에 실행해보시고 그러고도 안되면 문의주신 분 코드 주시면 살펴보겠다고 전해주시면 될 것 같습니다~:)

"따끈따근한 결과물" ㅋㅋㅋㅋ 감사합니다! 잘 봤습니다!

안녕하세요 유용한 정보 감사합니다! 1:08:44 에서 혹시 검색하고 싶은 키워드가 여러개이면 어떻게 하면 될까요? 리스트롤 정의해야 할지 ㅠㅠ 답변 주시면 감사하겠습니다!

42:51 크롤링

왤케 이쁘신가요

45:24

도움 많이 되었습니다 감사합니다!

강의. 감사합니😮ㅏ

선생님 잘봤습니다. 디자인 포토샵의 경우 PSD 파일을 공유하기도 하는데요 코딩의 경우 코드 공유하는 전문 사이트가 있을까요

영상 잘봤습니다 그런데 스마트스토어 개별제품에 있는 리뷰내용을 크롤링하려면 어떻게 해야 하나요?

잘 보았습니다, 정말 감사합니다. 다만 처음에는 80여개씩 크롤링 되다가 어느 순간부터 5개씩만 크롤링되는 문제가 있는데, time.sleep을 충분히 주거나 새로고침 코드를 넣어도 마찬가지입니다. 이건 네이버에서 동적 크롤링을 막기 위함일까요, 제가 무언가 실수를 한걸까요> ㅠㅠ

정말 이해하기 쉽게 설명 잘 해주셔서 잘 따라가고 있는데, 중간에 소스 실행 안되는데 혹시 수정 안되시나요? 3일 동안 메달렸는데, ...좌절이네요

이게 엑셀이 쇼핑 리스트중에 첫화면 개수밖에 크롤링이 안되네요. 다른분들도 그러는거 같은데 문제는 말씀하신 타임슬립을 오래줘도 안되네요.. 흐음..ㅠㅠ😢

이상치 탐지에 관심이 있습니다. 그런데 딥러닝 스터디 모집글을 늦게 봤습니다ㅠㅠ 혹시 남은자리있거나 추후 계획 알수있을까요?

스터디관련해서 어제 글 올려주신다고해서 계속 기다리고 있습니다. 언제 업로드 되나요?

인공지능 나오게됨으로서 파이썬을 배울필요가 엄청 줄어들었나요 아니면...

주피터의 파이썬 버전이 어떤것인지 알려줄수있습니까? 버전 오류가 뜹니다.

영상이 짤린 건가요?ㅠㅠㅠㅠㅠ

외국 카메라 제조사와 모델번호를 찾고 싶어요