WebScraper - парсим без кода сайт поставщика

Подписаться 3,5 тыс.

Просмотров 16 тыс.

50% 1

Рассмотрим, как бесплатно собирать информацию о товарах на примере сайта поставщика.
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
WebScraper webscraper.io/
forum.webscraper.io/
Телеграм-чат про парсинг:
t.me/proparsing
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Телеграм @lukin_ea
Профиль на профи.ру:
profi.ru/profile/LukinEA8/?ut...

Опубликовано:

18 ноя 2021

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 129

@user-my9gs1kn9f 5 месяцев назад

Красава, мужик! Объяснил подробнее и понятнее, чем в официальных видосах ВебСкрапера!

@MurzikM 2 года назад

Оооо, круть))) Спасибо огромное!!! Буду изучать.

@bacpushkin798 10 месяцев назад

Это невероятно полезное видео, спасибо большое.

@sofaapakina5089 6 месяцев назад

Отличный ролик! Вы очень мне помогли!

@djlooneez5507 7 месяцев назад

Доброго времени суток. Спасибо большое за видео. Очень помогло в работе.

@user-sc3ly5tv9s 3 месяца назад

тот момент когда ты изучаешь не только по парсинг, но и узнаешь новое в работе с excel

@sg5651 4 месяца назад

Вы мой спаситель! Спасибо огромное!

@denissverdlov4943 Год назад

Удачи Вам. Благодарю за хороший материал.

@usota Год назад

Спасибо 🙏

@white_shadow9118 Год назад

Спасибо за видео!

@McMaruhin 2 года назад

Нашёл ура)) Надо было читать документацию) Pagination(BETA)

@usota 2 года назад

Отлично 👍

@user-ob2md5jd8k 9 месяцев назад

Спасибо за видео. Мы хотим видео для новичков

@Cykonte 4 месяца назад

Спасибо, очень полезно)

@user-kh1ir5hb2u Год назад

Отличное видео! Кстати, фиксировать ячейки удобно в строке формул с нажатие кнопки F4 поочередно меняет что фиксировать, столбец, строку или всю ячейку

@Shutar_S 11 месяцев назад

Спасибо!

@realchupamon Месяц назад

Отличное видео, еще бы таймкоды ему.

@cactus_white Год назад

спасибо! всё понятно было (но я продвинутый user)

@Zyaka-Byaka 2 года назад

Евгений, привет. Отличное видео, но я жестко запутался что и куда. Вероятно что из-за того что я новичок в парсинге. Раза с третьего думаю разберусь, хотя кого я обманываю! :))

@usota 2 года назад

Спасибо за ответ, значит мне надо ещё проще попытаться рассказать про парсинг. Я подумаю, как это подать более понятнее. Но и у вас всё получится, нужно только привыкнуть к новому.

@Motogp09full 2 года назад

Я вот уже почти 3 дня продолжаю парсить игровой веб-сайт Канобу, поскольку у них там датабаза на 50,000 с лишним элементов (это так, приблизительно), поэтому пожалуй соглашусь, что будет намного проще самому написать код, хотя сам webscraper несомненно полезный и эффективный инструмент для парсинга.

@Amotikaya Год назад

Теперь нужно занести товары на сайт свой

@Bogbabi 10 месяцев назад

Евгений,спасибо за обзор! Подскажите, если в каталоге нет кнопки «показать еще» и нет кнопки «далее» для просмотра товаров, но работает скролл на сайте для загрузки товаров. Как можно организовать Парсинг со скроллом?

@usota 10 месяцев назад

Спасибо за оценку 🤝 В WS есть такой селектор Element Scroll, который используется как раз для таких случаев

@Pashtet22111 Год назад

Очень хорошее и понятное видео. Только есть момент который было бы неплохо разобрать поподробнее или записать по нему видео на 11:30. Как собрать все ссылки сразу и уже с них считывать характеристики, а не по одной

@usota Год назад

У меня есть плейлист «WebScraper - парсинг без кода», в нём как раз рассмотрены такие ситуации. Там есть про пагинацию - как собрать список товаров со всех страниц. Соединив пагинацию с парсингом отдельной карточки вы как раз решите свой вопрос. В чате телеграмм добавлю комментарий по этому вопросу. Спасибо, что смотрите )

@maximshaufler8744 Год назад

Евгений. Очень интересно. Подскажите пожалуйста. Хочу сделать парсер на авито. И встал на этапе парсинга платных услуг. Дело в том, чтобы узнать какая услуга была применена нужно нажать на стрелочку, всплывёт подсказка, и после если посмотреть код страницы, наведя курсор мышки на х2,х5,х10 и.т.д. то можно увидеть какую именно услугу применили. (там картинка с именем например 5_7). Вопрос в том реально как-то спарсить эту картинку, или даже вернее название её? Спасибо большое

@usota Год назад

В WebScraper есть селектор ElementClick, который отвечает за клик мышью. Я думаю, с помощью этого селектора можно вытащить эти данные.

@drpogo9 2 года назад

Отличное видео. Есть затыки. Например, на этапе сбора характеристик, у меня опытным путем синтаксис получился другой но сработал, самая загвоздка оказалась в exel. Если есть возможность снимите пожалуйста подробное видео по компоновке, формулам в excel нужным для парсинга. Может быть уже есть такое. Еще раз благодарю, действительно без программирования оказывается можно парсить, но как оказалось html нужно хотя бы понимать. Видео в архив обязательно.

@usota 2 года назад

Спасибо 🙏 В видео «Импорт атрибутов WooCommerce - скринкаст» ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-B1IvW0l57b8.html скрупулёзно разбираю работу с данными в экселе. Многие элементы использую и при работе с сырыми данными после парсинга. Возможно там будут какие-то ответы на ваш вопрос. Смотреть на скорости х1,5 😊

@maksat_kairbek 3 месяца назад

Добрый день! Евгений спасибо за ваши полезные видео. Сможете показать как спарсить с каспий магазина. Я сам пытался парсить, одну под категорию но не получается. Я хотел мониторить цены, и регулировать на своем сайте. Или подскажите пожалуйста есть какое то решение. Заранее спасибо.

@_cosmos_ 5 месяцев назад

Классный конечно инструмент для парсинга простых сайтов, но вот у меня не было в пагинации кнопки next и вообще там все варианты селектора пагинации не срабатывали из-за выполнения js скрипта поэтому не получилось использовать его. Пришлось самому парсер писать

@start945 Год назад

Спасибо, очень интересно и доходчиво!!! Подскажите: есть excel файл с определенными установками, написанные макросом, можно ли каким либо способом импортировать данные из Webscraber сразу в указанную excel файл?

@usota Год назад

Спасибо ☺️ К сожалению, в бесплатной версии WS нет экспорта сразу в какую-то другую систему. Только скачать файл в эксель и уже вручную «поженить» его с вашим файлом.

@start945 Год назад

@@usota спасибо,понял, очень оперативно ответили)

@user-kn2jt2du8l Год назад

Евгений, спасибо вам за видео. При изучении документации по Web Scrapper моменты, которые вы освещаете, я не нашел. В особенности то, что можно сохранять одновременно оба селектора

@usota Год назад

Спасибо ☺️ Какой момент про два селектора, уточните?

@NigarQurbanova-xy6gv 6 месяцев назад

@@usotaЗдравствуйте. Снимите, пожалуйста как парсить изображения товаров? На каждом товаре по несколько изображений?

@NigarQurbanova-xy6gv 6 месяцев назад

@@usotaда, нужен Эксель чтобы с импортом товара научиться нормально работать. Заснимите, пожалуйста курс с Экселем

@white_shadow9118 Год назад

Еще раз спасибо за видео! Подскажите пожалйста, как можно добавить сразу большое количество Start Url, не пользуясь каждый раз плюсиком

@usota Год назад

Для этих целей я использовал свою страницу ссылок ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-26kGYPw9454.html

@white_shadow9118 Год назад

@@usota Спасибо!

@user-rh7ps9sl7r Месяц назад

У вас талант просто рассказывать о сложном! СпасибО! И такой вопрос а почему у меня нет в меню Selector Graph? и еще вопрос а если в карточки товара есть еще кнопка выбора подвида товара? что тогда делать?

@zholdasbekqydyraliev9712 10 дней назад

А можно ответ? У меня тот же вопрос

@user-ej6ur5ff2h 6 месяцев назад

Привет Евгений, не пойму, что то в формула не работает ВПР СЦЕПИТЬ(A2;$D$1);'Лист1'!C:D;2;0, не вижу п видео что должно быть между ВПР СЦЕПИТЬ

@usota 6 месяцев назад

Привет, ВПР(СЦЕПИТЬ…. )

@peresvetanalitycs9681 2 года назад

Доброго времени суток. Возник вопрос по данному инструменту. Парсить теги Title и h1 получается, а вот description уже нет. Возможно ли это? и как выглядит синтаксис?

@usota 2 года назад

1. Выбери тип селектора - Element attribute 2. Условие селектора - meta[name="description"] 3. Наименование атрибута (Attribute name) укажи - content.

@peresvetanalitycs9681 2 года назад

@@usota Премного благодарен Вам. Я преданно смотрю канал, далее буду учиться парсингу с помощью питона)))

@lismaev 7 месяцев назад

Спасибо! Крутое видео. Можете показать как с помощью этого инструмента парсить Домклик?

@usota 7 месяцев назад

Спасибо, а какие вопросы возникают с домклик?

@lismaev 7 месяцев назад

@@usota задача: с небольшого (любого) города нужно выкачать все квартиры указаны (фильтр любой, главное чтоб было от 5 страниц и более). В Excel должно быть два столбика адрес с количеством комнат и второй столбец цена. Сам сайт домклик очень интересно работает ( по крайне мере у меня): страницы либо подгружаются автоматически либо нужно нажимать на номер стр, если нам нужно зайти в объявление то всегда открывается новая вкладка. Как итог у меня не выкачиваются все квартиры и не получается выгрузить цену. Если у вас будет время и вам интересно разобрать данный пример, буду очень признателен, спасибо.

@valeriilebedenko Год назад

Спасибо, Евгений. Без воды и с позитивом. Приятно смотреть. Хочу понять в чем моя ошибка: собираю имя товара и стимость, делаю так как показываете, однако финальный результат имеет такой вид: сначала идет список названий, а потом цена, название название название цена цена цена а нужно, чтобы было: название-цена название-цена название-цена Подскажите, в чем моя ошибка?

@usota Год назад

Попробуйте сначала создать селектор Element, а уже внутри него собирать поля.

@valeriilebedenko Год назад

@@usota Попробовал, вообще нет информации в строках. Что-то я не так делаю. Может у Вас есть по похожим вопросам видео на канале? Сам не нашёл пока.

@online112 Год назад

А людям, которые не могут читать код и писать вручную команду никак не справиться?: Не могу спарсить таблицу из википедии. Выделяю Шифтом ячейку, апри нажатии на следующую захватывает и соседний столбец, а он мне не нужен в этой итерации. Как это исправить? Нет ли какого то сочетания клавиш, при котором отменяет выделение при указании ячейки для сбора информации:?

@user-vx6jc4wb6y Месяц назад

Спарсила позиции с сайта, их 300, а парсер собрал больше, почему так? И при пагинации, парсер собирает позиции со след.страниц не по порядку, как они идут на сайте

@usota Месяц назад

Если парсер собрал больше, то возможно парсер проходит одну страницу больше одного раза, я бы проверил настройки пагинации. А по поводу «не по порядку»: это особенность выгрузки в WS - он просто выдает нам не отсортированный результат из базы данных. Если вы отсортируете в экселе по первому столбцу , то всё будет в нужном порядке. Пишите в наш телеграм чат @proparsing - ребята помогут с вопросами, если что 🤝

@promartech 11 месяцев назад

Классное видео! Посоветуй сервисы для парсинга интернет магазинов. Бесплатные, платные.

@usota 11 месяцев назад

К сожалению, готовых сервисов не знаю. Только пишу вручную.

@Zyaka-Byaka 2 года назад

Евгений, а может парсер пройтись по чекбоксам фильтра и собрать ссылки? Есть категория товара- масляный фильтр, в фильтре выбор по брендам. У каждого бренда свои поля с описанием и характеристиками. Хочу собрать ссылки каждого бренда, чтобы потом под каждый бренд спарсить нужные поля, чтобы в файле и при импорте на сайт товара потом не было путаницы . Всего 41 бренд, не много, можно и вручную сделать, но хочется научиться парсить все сразу для экономии своего времени. Если может подскажите как настроить, у меня самостоятельно не вышло.

@usota 2 года назад

Как правило, фильтр по бренду добавляет в url ссылки параметр с именем бренда, например site.ru/smartphones/?brand=iphone. Если это так, то достаточно спарсить фильтр, как ссылки. А потом уже по ним собирать товары. Но если фильтр по брендам делается через ajax, то простым парсером их не соберёшь.

@Zyaka-Byaka 2 года назад

@@usota Спасибо, я "везучий", мне достался фильтр через ajax. :))))) Еще вопрос: Совсем не понял про интервал запросов. 2000мс для небольшого объема данных это нормально, правильно? Какие значения ставить, если объем большой? У меня вчера парсер с таким интервалом запросов 950 позиций с фото и описанием парсил около 2х часов, это нормально?

@usota 2 года назад

Про интервал запросов: по умолчанию интервал 2 сек., или 2000мс. Это медленно, но не создаёт нагрузку на сайт, который парсим. Если нагрузка будет большая, на сайте может сработать защита и наш IP заблокируют. Это не зависит от объема данных. Но если их очень много, можно попробовать уменьшить интервал запроса до 1 секунды. Теоретически скорость Парсинга увеличится в 1,5-2 раза. Но я рекомендую не спешить. Если ваш IP заблокировали, а вы его не можете быстро поменять, то будете вынуждены ждать, пока блокировка снимется.

@SV-13 6 месяцев назад

@@usota А интересно, существуют ли парсеры с каким-либо ip-миксером, чтобы слать запросы с разных адресов и сервер не ощущал DOS-атаки?

@usota 5 месяцев назад

@SV-13 да, для этого используются прокси, но писать такие парсеры лучше уже на Python

@Workshop100 8 месяцев назад

Не могу спарсить фотографии. Не выбираются миниатюры, увеличено изображение выбирается в директорией .active img не знаю что в ней менять и как выбрать все фотографии. подскажите пожалуйта.

@user-wm3yn1lq9k Год назад

Евгений, я просмотрел много ваших видео, но так и не смог найти самое главное( В этом видео вы все очень доступно объяснили, за что я вам очень благодарен. Но упущен один момент: с 11:47 минуты по 12:00 минуту что же это за файлик такой, куда его выгрузить, и как указать в парсер путь к нему? Понятно что для 10-15 товаров проблем нет, можно и в ручном режиме повставлять ссылки. Буду благодарен вам за ответ😁

@usota Год назад

Если коротко, то я создаю html страницу со списком нужных ссылок и запускаю парсер уже на эту страницу. Напишите мне в телеграм, постараюсь объяснить подробнее.

@elvisivle Год назад

Я в первый раз, но на удивление удалось совместить сбор ссылок и одновременно сбор нужной информации, пришлось так сделать, 1500 ссылок не смог загрузить в текстовый блок)

@usota Год назад

Добавил на канал видео, как сделать собственную страницу со списком ссылок ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-26kGYPw9454.html

@natalieblinnikova3971 Год назад

спасибище! Только зачем каждую ссылку добавлять плюсиком? Почему нельзя выбрать селектор внутри селектора на ссылку по товару?

@usota Год назад

Пожалуйста 🙏 Ссылки добавляем плюсиком, если делаем новую карту. А так вы правы, можно и внутри селектора.

@flydive8294 Год назад

Так просто сказано насчет списка ссылок, создайте сайт и внесите туда этот список. И что, как это делать?

@usota Год назад

Обязательно скоро расскажу, всё в одно видео не уместить. Ролики и так длинные )

@usota Год назад

Specially for you - ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-26kGYPw9454.html

@flydive8294 Год назад

@@usota Вот за это огромное спасибо)

@user-go1oe6ix9m 3 месяца назад

Видео шорошее. Только в моем случае нет таблиц характеристик.

@user-mz6bg7cf6g 2 года назад

Как по мне, мне скрипт на питоне проще написать)), а вы как характеристики парсите через питон?

@usota 2 года назад

Согласен, мне тоже проще на питоне) А по поводу характеристик у меня есть видео ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-hQRr-27w9G8.html

@usota 2 года назад

Если количество характеристик неизвестно, как например у товаров на WB, то использую другой способ, про который постараюсь в ближайшее время тоже рассказать.

@user-mz6bg7cf6g 2 года назад

@@usota Ну там у вас характеристики одинаковые везде, хотел бы посмотреть как вы решаете задачи с множеством характеристик, где у каждого товара они разные.

@usota 2 года назад

Записал видео, как решаю задачу с множеством характеристик ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-nAFJM8D3Z58.html

@LOGOSTT 2 года назад

Евгений здравствуйте. Неудобно смотреть за Вашими действиями на экране мобильного телефона, - мелковато. _Хотелось бы, чтобы демонстрируемая рабочая область занимала основную площадь экрана, - крупным планом показывать себя не обязательно._

@usota 2 года назад

Здравствуйте. Ваше пожелание принято. Подумаю о специальном выпуске для вас, без показа себя. По поводу мелковатости на мобильных - к сожалению, не знаю, как адаптировать видео для телефонов. Ведь тогда будет неудобно смотреть с ПК? Возможно, у вас есть предложение или пример?

@LOGOSTT 2 года назад

@@usota жаль, что мой намек не был замечен. Нет необходимости адаптировать видео под телефоны, просто уменьшите долю изображения "себя любимого" или совсем уберите. _Какая-то в этом есть необходимость?_

@usota 2 года назад

Я вас прекрасно понял с первого раза ) Поверьте, причины есть. Но обсуждать их не вижу смысла, потому что это не несёт никакой пользы для будущих роликов. Может у вас есть вопросы по содержанию?

@McMaruhin 2 года назад

Скажите пожалуйсто а что делать если внизу вместо следующей страницы кнопка показать ещё?

@usota 2 года назад

Можно использовать селектор Element Click, который будет кликать на эту кнопку.

@McMaruhin 2 года назад

@@usota Спасибо вам огромное)

@SV-13 6 месяцев назад

@@usota Нажатие на кнопку "Показать ещё" не открывает новую страницу, а продлевает существующую. Получается, что данные будут задваиваться при следующем проходе?..

@usota 5 месяцев назад

@SV-13 парсер собрирает подгруженные данные, а не проходит заново всю страницу - это было бы не рационально

@user-bj6tg4vh3d Год назад

Как убрать букву Р не понятно. И вообще где писать код JS для обработки данных? Платную версию бы посмотреть. На торе запустить. Много еще чего надо разобрать.

@Zyaka-Byaka 2 года назад

Евгений, привет. А как вытащить фото товара из слайдера? Все перепробовал, ничего не получается. Полное изображение сидит тут:

@usota 2 года назад

Можно вытащить через селектор Element attribute и в качестве имени атрибута использовать style. А потом уже в экселе автозаменой почистить свойство бэкграунд-имадж.

@usota 2 года назад

Вобщем надо написать нормальный обзор на работу WebScraper )

@Zyaka-Byaka 2 года назад

@@usota Все обзоры у Вас нормальные, просто ситуации использования парсера разные у всех, а как известно на всех не угодить. Так и не вышло вытащить полное изображение, только из быстрого обзора товара миниатюру смог достать.

@Zyaka-Byaka 2 года назад

@@usota Сильно заняты? Не сможете объяснить где-нибудь в вайбере или ватсапе как победить мне этот парсер? Заодно и про обучение бы поговорили. Станем ближе к своим подписчикам, так сказать! 😉😀

@usota 2 года назад

Лучше WhatsApp

@McMaruhin 2 года назад

Извините пожалйста но не получаеться с инструментом элемент клик(

@usota 2 года назад

Напишите в телеграм-чат (есть в описании) ссылку на сайт, я думаю найдём решение

@McMaruhin 2 года назад

@@usota Спасибо сейчас напишу)

@McMaruhin 2 года назад

не работает нихрена с теми сайтами которые нужны да и так то работает то нет

@usota 2 года назад

Это как с девушками 🙂 К каждому сайту свой подход.

@McMaruhin 2 года назад

То есть я хотел сказать парситься

@SV-13 6 месяцев назад

36:30 Зачем человеку, не умеющему работать в экселе, вообще заниматься этим??

@usota 5 месяцев назад

Согласен 🤝

@goonik Год назад

я понимаю что ты сказочно красив, но обязательно свою рожу в треть экрана делать да ещё и так близко? 😨

@usota Год назад

Если я тебя раздражаю, зачем пользуешься результатом моей работы?

@goonik Год назад

@@usota 1. до тебя мне дела нет, просто видео смотреть неудобно 2. угадай с одного раза почему я пользуюсь "результатом твоей работы"

@usota Год назад

Зачем ты делаешь себе неудобно и винишь в этом меня?

@nickkorolev8869 Год назад

@@usota зачем отвечать таким свиньям неблагодарным как этот ГУНИК? Оно же животное бестолковое, не тратьте свое время на умственно отсталых, так еще и эта падаль умудряется оскорблять, пользуясь бесплатным видео в котором отличный туториол и понятный! Спасибо за ваш труд!

@Palma_palma 6 месяцев назад

Мир вам и вашему дому ) Такой труд проделали , грамотно все рассказали про парсер.Без запинок и скучноты ( хотя тема не развлекательная ).Не обращайте внимания.Вопрос в том , что данный комментатор - в состоянии ли такой контент отснять на вашем уровне. Салам из Кыргызстана )

@dead_mazay Год назад

Добрый день, Евгений. Подскажите пожалуйста как собирать данные если они у нас в попап окне выводятся?

@usota Год назад

Добрый, можно попробовать через селектор Popup Link или напишите пример сайта с попап окном, посмотрим 🙂

@dead_mazay Год назад

@@usota вчера кое как, додумался сделал Popup link (он нажимает по кнопкам), рядом сделал два селектора текстовых, которые парсят Ф. И. О. и телефон, но теперь не могу понять как заставить его бегать по страницам пагинации. Ваше видео посмотрел, вроде как сделал так же, но что то лыжи не едут))) P. S. Яндекс Услуги парсю.

@usota Год назад

Посмотрите, может в этом видео будет решение Парсинг без программирования III. WebScraper ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-7j5RA5bOO5Q.html

@dead_mazay Год назад

@@usota Всё, работает. Только столкнулся с ещё одной проблемой, когда вылезает кнопка "в начало" она имеет такой же селектор... и на 3 странице у меня парсер перестает парсить.

@usota Год назад

Попробуйте выбрать селектор не по классу, а не по другому способу, например через xpath