Парсинг без программирования II. WebScraper

Подписаться 3,5 тыс.

Просмотров 6 тыс.

50% 1

Рассмотрим приёмы парсинга на реальных примерах.
#webscraper #парсинг
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
00:00 Как будет проходить обучение
03:34 Экспорт-Импорт парсера
04:50 Как парсить страницы в отдельных вкладках
08:14 Тип селектора "text"
15:50 Настройки интервалов работы парсера
17:57 Особенности выгрузка результатов парсинга
19:49 Приглашаю в чат t.me/proparsing
20:17 Парсим на примере 2 gis
20:52 Настройка стартовых URL
28:47 Заключение
Первая часть - • Обучение парсингу - пе...
Вторая часть - • Парсинг без программир...
Третья часть - • Парсинг без программир...
Бесплатный парсер WebScraper - webscraper.io
Телеграм-чат про парсинг:
t.me/proparsing
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Telegram @lukin_ea
Профи.ру - profi.ru/profile/LukinEA8/

Опубликовано:

26 июн 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 65

@berher7452 Месяц назад

Поклон до земли. 20к сохранил. Как разбогатею - с меня донат )

@Bogdan-fq9go 5 месяцев назад

спасибо за ваш труд! как просили, просьба-совет по улчшению: пожалуйста немного помедленнее показывайте свои действия на компе. иногда тяжело понять, что вы сделали и приходится пересматривать на замедленном воспроизведении. А в принципе очень круто 👍

@Darya_lukina Год назад

Не нужно убирать лицо ☺️ интересно смотреть на человека который рассказывает такие интересные вещи. Кому не нравится, можете не смотреть, не нужно других этого лишать.

@55555qvazar 10 месяцев назад

Да Бро! Человек раскрывается и делится полезным контентом. 🤝

@McMaruhin Год назад

С регулярными выражениями вообще круто)

@UtkaMF 2 месяца назад

Спасибо. Понял за первые несколько секунд с авито)

@helenali5107 3 месяца назад

СПАСИБО. У Вас круто получается!! Продолжайте.

@WrldsporteventsR.Y..V.1992 Год назад

Очень актуально, спасибо!

@andreyberdnikov600 4 месяца назад

Спасибо за материал! Помог разобраться 🤝

@sergeiss6236 Год назад

спасибо за видео, не забывай ссылочку на видос добавлять в чат, что бы вовремя узнать о нем. очень жду урок про регулярку

@usota Год назад

Спасибо, поделюсь) Про регулярки самому бы хорошо подучиться )

@user-tj7pj8ct7v Год назад

Евгений, как всегда все супер. Узнал даже про некотрые моменты которые не знал. Будем пробывать!Благодарю!

@usota Год назад

Спасибо 🙏

@user-rz4lo5bq3v 7 месяцев назад

Спасибо подпишусь.много интересного

@mrartivanov 2 месяца назад

спасибо!

@mrartivanov 2 месяца назад

button:contains('Показать телефон')

@mrartivanov 2 месяца назад

Евгений, покажите пож-та, как заставить листать все страницы на 2гис? Как в третьем уроке (пагинация)

@konstantin5908 Год назад

👍🔥🥃Круто, будем осваивать. Сейчас python на яндексе добиваю.

@usota Год назад

Python - это уже следующий уровень 👍

@LexGorod 9 месяцев назад

21:33 как минимум один пример, когда одинаковые данные в разных классах: фото (да и видео тоже) в инстаграме - они часто зарыты на разных уровнях. как минимум это зависит от того, одно или несоклько изображений в посте, но даже если одно изображение - уровни (и, собственно, классы) - отличаются. про другие сайты не знаю, не сталкивался

@McMaruhin Год назад

Насчёт классов я запишу видео в котором постараюсь объяснить всё подробно что имел ввиду. Скину в час с телегой.

@psergio_it4884 8 месяцев назад

В начале ролика говорили и про парсер Авито, а по факту его не показали - хотел бы увидеть в др ролик

@user-xl8ig9du2e Год назад

Спасибо за видео, очень познавательно! Главное у меня получилось запарсить данные с Крыши.кз. Последние два дня засел за ваши видео. Есть просьба, покажите как можно запарсить данные (с телефонами) с Хедхантера?

@usota Год назад

Спасибо 🙏 По поводу парсинга HH в бесплатном доступе по-моему ограниченное количество резюме можно посмотреть. Поэтому парсинг этой площадки без лимитов бесплатно не доступен. Но у них можно купить доступ, правда и денег стоит немаленьких.

@cuancase1007 Год назад

@@usota Доступ есть, хотелось выгрузку в табличном виде для дальнейшего анализа

@elenavoinova1247 9 месяцев назад

Добрый день) Благодарю за видео) Скажите пожалуйста, после парсинга товаров и добавления на свой сайт, каким образом можно отслеживать изменение цен у поставщика и соответственно обновлять у себя? Спасибо)

@usota 9 месяцев назад

Спасибо 🙏 отслеживать можно вручную, делая разовый парсинг поставщика и сверяя, например, в экселе со своей выгрузкой с сайта. Такой способ подойдет, если цены обновляются редко. Если нужно обновление каждый день или чаще, то тут нужно писать скрипт для автоматического обновления. WebScraper для этого не подойдёт, к сожалению.

@mrartivanov 2 месяца назад

нужно научиться hh

@user-xp8he5ob6o 6 месяцев назад

Подскажите, как парсить категории с под, под, подкатегориями, ни где не могу найти эту инфу и все перепробовал, только с главной страницы вытаскивает и все, на другие страницы не переходит.?

@metamorphosisdesignstudio4828 3 месяца назад

Все-таки я сделал все с ценами и ссылками, все норм. Но вот картинки из пинтереста и даже с авито не смог, скачивает только первых несколько. Картинки самое главное, как дальше? Я кстати вам письмо написал, ищу обратную связь так сказать, еще в тг напишу утром уж. Очень нужно разобраться

@yanin68 Год назад

Евгений добрый день или вечер. Возможно ли WebScraper -ом парсить динамические сайты такие как (Dns shop).

@usota Год назад

Добрый день, этот инструмент парсит любые сайты. Ну может кроме сайтов с . Но и тут можно придумать, как добраться до данных. Днс шоп - парсит легко, прямо сейчас попробовал, данные собирает быстро и полностью.

@yanin68 Год назад

@@usota Спасибо

@yanin68 Год назад

И еще ... смотрю Ваш канал постоянно, очень полезный и доходчивый материал, порой бывает смешно как все просто. Еще раз спасибо огромное !!!

@usota Год назад

Спасибо за приятные слова 🙏

@dhard1410 Год назад

можете подсказать, как работает елемент клик. Столкнулся с проблемой когда нужно перейти на следующую страницу определенной категории, она через Link не работает, потому что ссылки нет, он не понимает куда ему переходить. Я вот подумал что возможно елемент клик поможет в этом деле, но не могу понять что я должен выделять. Спасибо!

@usota Год назад

Пришлите ссылку на сайт, посмотрим, как можно решить проблему, если ещё актуально) контакты в описании

@user-ds5vd6tm2u Год назад

а как указать в элементе, выбор конкретных категорий? Например при выборе фильтров в интернет магазине, чтобы выбирал не все категории товара подряд, а только жестко прописанные.

@usota Год назад

Жестко прописать в Start URL. Их же можно указать несколько, когда вы создаёте Sitemap.

@SeoAlexWizard Год назад

подскажит как можно сделать enter value в web scrapper е?

@usota Год назад

Расскажите подробнее?

@dimon015 2 месяца назад

А Вы работаете в бесплатной версии?

@usota 2 месяца назад

Да

@dimon015 2 месяца назад

@@usota спасибо! И бесплатной Вам хватает под все задачи? А если на сайте стоит капча?

@usota 2 месяца назад

@dimon015 ws использую редко, для быстрых не сложных задач. Для профессионального использования пишу скрипты на Python. У нас в чате @proparsing можно посмотреть много решений по парсингу

@dimon015 2 месяца назад

@@usota подскажите а Вы python самостоятельно изучали? Или какие то курсы?

@usota 2 месяца назад

Бесплатный курс на Яндекс Практикуме и курс Олега Молчанова

@user-tx6cg1mr8x 11 месяцев назад

Все хорошо кроме того что данные он собирает лесенкой((

@usota 11 месяцев назад

Так бывает, если мы указываем для каждого элемента мультипл. Чтобы избежать эту ошибку - нужно указывать мультипл только главному элементу, внутри которого лежат нужные данные.

@user-tx6cg1mr8x 10 месяцев назад

@@usota спасибо большое за совет, помогло)

@psergio_it4884 8 месяцев назад

@@usotaчто значит лесенкой? Можно пример?

@Sara69967 Год назад

*Браузер с такого парсинга сожрет всю оперативку и зависнет.. разве нет?*

@usota Год назад

Первое - Парсинг происходит в один поток, с чего ему загружать оперативку? Второе - многотысячный парсинг в боевых условиях никак ваше опасение не подтвердил. Третье - а смысл выпускать продукт, который будет работать так, как вы описали?

@user-th1rg5kq3j 3 месяца назад

Сплошной сумбур в подаче материала. Кто Вам отзывы пишет? Можно все подать в несколько раз короче

@usota 3 месяца назад

Спасибо за оценку. Может сделаем хороший, качественный ролик по этому материалу вместе с вами?

@usota 2 месяца назад

Вы так и не ответили на предложение сделать лучше. Возможно вы уже самостоятельно сделали более короткую подачу без сумбура? Поделитесь пожалуйста.

@allaurross Год назад

на седьмой минуте выключил видео вообще шлак полный тыкает не понятно куда, фиг знает что выскакивает, что-то там рассказывает, цто-то куда то копирует, вставляет. То и понятно что из 1200 просмотров всего 64 лайка и от меня дизлайк ещё лови. Чёрный пиар тоже пиар ))))

@usota Год назад

Спасибо за обратную связь)

@user-wp7oe8pt2g 4 месяца назад

А если нужно по определенному списку ссылок переходить , к примеру {ссылка}/номер конкретного товара . То как быть ?

@usota 4 месяца назад

Как создать одностраничный сайт со списком ссылок для парсинга ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-26kGYPw9454.html Можно через промежуточную страницу

@user-wp7oe8pt2g 4 месяца назад

Как спарсить данные с открывающегося в chrome PDF файла ? Вроде расширение поставил которое переводит PDF в HTML а все равно webScraper не дает ссылку добавить (( тк в начале нее chrome-extension://oemmndcbldboiebfnladdacbdfmadadm/

@usota 4 месяца назад

Не тратьте время. WS парсит сайты, которые можно открыть по url, если по простому. Для парсинга PDF используются другие способы, например библиотека pdfquery для Python. Но если очень нужно через WS, то разве что конвертировать все PDF в HTML, загрузить на сервер и с него уже открывать по url и парсить. Но это костыли на костылях, уж простите.