Парсер сайтов и файлов - парсинг интернет-магазинов в Excel 

спасибо!

@@user-mf6nb8wg5h Конечно, наличие альтернативы - это отлично. В данном случае, этот проект, позволил мне многое понять и создать свой. Я многое почерпнул и избежал тупиков в создании своего парсера. И никакой головной боли, наоборот - сплошное удовольствие. Возможно даже мазохизм))

Здравствуйте, Сергей Объединение ячеек в парсере не предусмотрено. Теоретически, сделать всё можно, но сложно. Проще выводить марку авто в отдельный столбец, - так потом будет куда проще работать с таблицей (можно будет отфильтровать данные) А если заниматься украшательствами с объединёнными ячейками, то потом после сортировки или фильтрации не разберетесь, к какой машине относится та или иная запчасть.

Да, конечно можем сделать Пишите на почту, обсудим

А вот прямо сразу после того, как получили массив URL, добавляете действие «HTML: Многопоточная загрузка» И тогда на следующий уровень будут передаваться не ссылки по-одной, а уже загруженные страницы. PS: При использовании многопоточной загрузки, URL загруженной страницы можно взять из её HTML кода из специального тега, добавляемого парсером: (в нём есть атрибут href)

Спасибо. Вроде заработало, но мне кажется, что что-то все равно работает не так как нужно. Пейджером нашел все страницы в определенной группе товаров (у меня конкретно 15 страниц). На каждой странице 150 ссылок на товары. Мультипоток ( в 20 потоков) добавил после получения из тегов всех 150 ссылок на товары, далее создал новый и последний уровень где: 1) ищу info id="parser"> извлекаю href 2) сохраняю текущее значение в переменную 3) загружаю исходный код веб-страницы Далее произвожу извлечение данных уже на лист таблицы. И вот я вижу, как в статус баре идет загрузка всех 150 страниц (по диспетчеру задач вижу, что в этот момент Excel "кушает" порядка 25 Мбит/с, после чего, как я понимаю, парсер должен только обработать информацию и записать ее в ячейки. Но он опят продолжает "кушать сеть" порядка 1,5-2,5 Мбит/с. И данные все так же медленно загружаются что с мультипотоком, что без него.

Неправильно сделали, на последнем уровне. У вас страницы УЖЕ загружены. Нафига снова-то загружать??? > ищу info id="parser"> извлекаю href Это если нужно вывести исходную ссылку в какой-то столбец А так, - вообще забудьте про это дело Последний уровень можно вообще удалить Или оставить там одно действие «Прогресс-бар: вывод информации» (что обрабатывается такая-то страница из 150)

Да, мне нужно вставить ссылку на товар, поэтому и делаю процедуру извлечения. По последнему уровню понял. Так и думал, что не нужно страницу загружать, но руки потянулись и сами все нажали в обход головы. Спасибо!

Мирон, принцип там тот же, только настройка немного сложнее. По авторизации и POST запросам - есть видеоинструкция Если сами не разберетесь, можем настроить под заказ.

Да, можно

Надо смотреть, какой запрос выполняется сайтом при щелчке на пейджере, и выполнять такие запросы Про эти запросы говорится во второй видеоинструкции

Тут есть 2 варианта: Вариант 1 (простой, но не всегда возможен): прогружаем только главные разделы. Если в них выводятся товары из всех подразделов, то ничего больше настраивать не нужно Вариант 2 (не зайдя во все подразделы, до всех товаров никак больше не добраться): тут посложнее настройка, и зависит от того, разное ли количество уровней в подразделах. Если все подразделы имеют одинаковую глубину вложенности, то добавляем по аналогии подуровни в парсер. Если же глубина вложений разная, можно использовать рекурсивный поиск страниц: excelvba.ru/programmes/Parser/actions/FindTargetPages

ExcelVBA.ru добрый день! Не совсем понял где искать эту опцию(рекурсивный поиск), она присутствует в триал версии? Заранее спасибо за ответ!

Все это присутствует в программе. Если сами не разберётесь, могу настроить под заказ. Заказы на парсер принимаются в таком виде excelvba.ru/programmes/Parser/order

Нет конкретики - нет ответа. Напишите мне в скайп, с какой страницы какую цену надо взять, и что зачем там объединять надо. Ник в скайпе: ExcelVBA.ru

Виталий, тут от сайта зависит. Можно и так и так сделать. Если форма небольшая, и пост запросом получается, - то так и делайте. Если форма большая (много полей), и с параметрами пост запроса сложно разобраться, то тогда придется через ИЕ делать. Если сами не разберётесь, можем настроить под заказ.

@@MacrosForExcel из документации не понятно как прикрутить распознавание Google Captcha v.2, по статистики Recaptcha смотрю, запросов нету и "Ошибка запроса капчи PAGEURL", хотя URL указан верно. Не понятно.

Здравствуйте. Какую ссылку вставлять? Зачем? Интерфейс на 95% совпадает с тем что на видео (добавились некоторые несущественные новшества)

Здравствуйте. Где-то что-то лишнее добавили. Не видя настройки парсера, не могу назвать причину проблемы. Могу настроить под заказ.

Контакты здесь: excelvba.ru/contacts

Можно как угодно, хоть с использованием API, хоть без него, - программа всё умеет

Здравствуйте. Извиняюсь, мог пропустить сообщение от вас, - сейчас сильно загружен заказами. Напишите ещё раз на почту сегодня.

@@MacrosForExcel да уже написал и приложил excel файл с примерным макетом и сайтом с которого нужно парсерить данные. очень приятно что с Вами все хорошо :) ... буду ожидать ответа

Тысячи сайтов пропарсил, не встречал такого Дело, скорее всего, не в левых ссылках, а в количество обращений к сайту в единицу времени.

Сайт www.domofond.ru/prodazha-uchastkizemli-belgorodskaya_oblast-r11?LandCategories=Promnaznacheniya&ErfSizeFrom=5000&ErfSizeTo=5000 В выдаче объявлений ('div', class_ = 'b-results-tile') всегда присутствует скрытое ( копия реального объявления) объявление ( 'div', class_ = 'b-results-tile'), но при переходе по ссылке такого объявления сразу бан. Т.е. это такая защита сайта от парсинга, при парсинге ссылок на объявления всегда парсится и эта левая ссылка, закамуфлированная под реальное объявление.

Как угодно можно настроить. Можно одну картинку взять, можно все.

Да, можно. В имени класса указываете name-*

@@MacrosForExcel спасибо за оперативность) сейчас попробую

@@MacrosForExcel ещё один вопросик, если большой массив данных, 30шт, то при выводе он в 1 ячейку всё засовывает, а можно как-то сделать, чтобы построчно выводилось?

@@afillate Да, можно. Настроить можно как угодно, программа очень гибко настраивается. Можем настроить под заказ.

Юрий, для этого сайта нужно использовать действие Открыть страницу в Internet Explorer. Тогда скрипты отработают, и ошибка появляться не будет

Путем создания подуровня в начале или заменить команду "загрузить исходную страницу" на команду "Открыть страницу в Internet Explorer"?

Подуровни тут ни при чём. Вместо «Загрузить исходный код веб-страницы» используем действие «Открыть страницу в Internet Explorer» Об этом говорится во второй видеоинструкции.

Получилось, спасибо! у меня 6 подуровней, в каждом подуровне заменил команду "загрузить исходную страницу" на команду "Открыть страницу в Internet Explorer".

Скорее всего, разблокировать файл забыли перед запуском. При скачивании файла, появляется всплывающее окно с инструкцией, почитайте

@@MacrosForExcel разлокировал. Антивирус ругается. Добавил в белый список название файла, все равно ругается. Отключу антивирусник и ещё раз попробую

@@MacrosForExcel Все, отлично запустилась надстройка. Спасибо. Просто выключил антивирусник

Вкладка эта появляется в настройках парсера, когда на вкладке ОСНОВНАЯ ИНФОРМАЦИЯ включаете галочку «Выводить данные на лист»

Можно поставить паузу между запросами, можно использовать прокси серверы 98% сайтов не блокируют доступ, а половину блокировок (оставшихся 2% сайтов) можно обойти

Посмотрите вторую видеоинструкцию, она как раз про это.

спасибо, попробую разобраться.

@@MacrosForExcel Доброй ночи , укажите пожалуйста ссылку на Ваше второе видео в котором речь идет о парсинге с сайтов с авторизацией - не хочется смотреть все подряд для того что бы найти то что нужно.

ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-4bRwPIX8Wc0.html

@@MacrosForExcel Благодарю.

По такой формулировке проблемы, ничего конкретного ответить не могу. Возможно, сайт закрывает доступ, или настроено что-то неправильно.

ExcelVBA.ru запускается все хорошо, начинает парсить и сохранять фото. но в какой-то момент вываливает ошибки загрузки файлов. перезапускаю, он проходит дальше немного и опять выдает ошибки. фото у них реализованы через /image.php?id= Может, надо больше задержку делать? или если сайт закрывает, как это исправить?

могу настроить под заказ пробовать надо, так ничего сказать не могу

Парсит что угодно и откуда угодно. Тем более таблицы, без которых ни один сайт не обходится.

Разницы нет, можно настроить много вложенных подуровней. Программа со всем этим справляется.

Значит, что-то не так настроили Могу настроить под заказ Заказы на парсер принимаются в таком виде excelvba.ru/programmes/Parser/order

Выводится только 1 строка последняя с 24

Потому что в первый столбец листа у вас данные не выводятся (а по этому столбцу программа ищет следующую строку перед выводом очередных данных) Нажмите Настроить - вкладка Вывод на лист - подвкладка Настройки листа для вывода, и там поменяйте параметр «Столбец, по которому определяется последняя строка таблицы» (сейчас там стоит 1 «А», а вы поставьте тот столбец, в который точно выводятся данные во всех строках)

Всё осилит

@@MacrosForExcel посмотрел ролик до конца. Впечатляет! если кто то мне снова скажет что vba это псевдо ООП отправлю к вам на канал смотреть это видео)))

Блин, уже час вожусь, парсер выдает информацию об одном предмете, хотя их на странице 46 =(

Добрый день, при нажатии на загрузку данных, они проставляются как нужно, но на секунду, затем исчезают. Обращались ли к вам с такой проблемой? Исходные данные загружаются через IE, по ссылкам введенным в столбец A начиная со второй строки

@@liptonenochek по вашему описанию, похоже на эту проблему: excelvba.ru/programmes/Parser/manuals/errors/overwriting

Иван, этот сайт заблокирован на территории РФ Если использовать прокси-сервер или VPN, страница загрузится. Парсер загружает любые страницы, если правильно его настроить и использовать.

Я С Украины, он у меня открывается в браузере и парсер скачивает, но только пол страницы, а на остальной части страницы, там где отображаются ставки, пишет - идет загрузка данных. Кеш в настройках парсера отключен.

Когда сохраняю ее в браузером, то она сохраняется нормально, а так почему то нет, не знаю в чем причина, возможно он не успевает ее всю загрузить или какая то защита у них стоит

Это потому что основная часть данных подгружается скриптами, после загрузки страницы. Парсер может использовать браузер для загрузки страниц этого сайта. Смотрите вторую видеоинструкцию, - там как раз про это рассказывается: excelvba.ru/programmes/Parser/manuals/Loading_Pages_and_Logon

Не получается почему то у меня, пробую открыть страницу через интернет эксплорер, уже и маску ввожу и так и сяк, а страница еще хуже отображается раньше и браузер почему то отсылает запрос на яндекс при открытии спарсеной страницы, а яндекс у меня как раз и не доступен.

Инструкция, как решить эту проблему: excelvba.ru/faq/antivirus Про вирусы: excelvba.ru/faq/virus