Тёмный
The ParseHub
The ParseHub
The ParseHub
Подписаться
Python, парсинг данных и много чего ещё
Обновление mp_parser v1.15
14:58
Месяц назад
Решаем reCAPTCHA Callback с Python
27:32
8 месяцев назад
Комментарии
@LêHoàiThương-k1q
@LêHoàiThương-k1q День назад
Кто-нибудь уже пробовал 9proxy? Искал отзывы о нем, но нашел очень мало
@АнтонГринев-б7м
@АнтонГринев-б7м 2 дня назад
Есть ли возможность спарсить все отзывы для определенной карточки товара, а не по всем товарам селлера на вб?
@the_parse_hub
@the_parse_hub 2 дня назад
Нет, такой возможности нет. Но Вы можете собрать все отзывы продавца (или бренда), а потом сделать фильтрацию прямо в Excel по нужному артикулу, это именно так и задумывалось
@АнтонГринев-б7м
@АнтонГринев-б7м 2 дня назад
Естть ли возможность спарсить отзывы для определенной карточки товара на вб?
@aliguseinov4836
@aliguseinov4836 2 дня назад
А планируется ли переход на RuTube?👉👈
@the_parse_hub
@the_parse_hub 2 дня назад
@@aliguseinov4836 нет
@alexandrnesterov9128
@alexandrnesterov9128 5 дней назад
Здравствуйте опять пишет про кнопку Далее
@tesst5-c2r
@tesst5-c2r 7 дней назад
Странно как то с заголовками выходит - извлекал их с разных сайтов и те что имеют полный набор для детекта в плане античитинга и максимум что было на одном сайте - via, x-cache . сайты будто отказались от этих заголовок и используют каике то свои специфичные и не понятно что там. однако один сайт детекнул что я сижу через vpn и даже реальный ip извлек.
@snzmaxim
@snzmaxim 7 дней назад
у меня 32гб озу, но на всех моделях пишет "slow on your defice"... Не знаю почему, но окей, всё равно генерирует очень быстро. (70+ токенов в секунду на Gemma 2B Q4) У меня r5-7500f + rtx 2060. 32 гига ddr5 6000mhz
@the_parse_hub
@the_parse_hub 7 дней назад
Там интересная логика подсчета для этой метки: если для модели нужно 4гб памяти - то считается 4* 1.25, плюс у Вас же и система и другое ПО что-то кушает, поэтому доступно сейчас памяти может быть меньше чем нужно. Если интересно - код можно посмотреть здесь: github.com/janhq/jan/blob/dev/web/containers/ModelLabel/index.tsx#L56
@WEBiTxaverru
@WEBiTxaverru 8 дней назад
может ли playwright записать тело отправляемого запроса формы или ajax и так же в коде его зафиксировать как это было с кнопками?
@the_parse_hub
@the_parse_hub 8 дней назад
ну не совсем так, оно запишет, что в поле "name" записан текст "Вася" и потом нажата кнопка "Отправить". А на то, что там улетел потом POST запрос с этими данными ему все равно
@WEBiTxaverru
@WEBiTxaverru 8 дней назад
@@the_parse_hub я мыслю как программист. А тут совсем другой подход. Сначала не понял, а потом понял 😂
@the_parse_hub
@the_parse_hub 8 дней назад
Это же в первую очередь инструмент для тестов, поэтому всё логично
@АккаунтГугл-с2ъ
@АккаунтГугл-с2ъ 8 дней назад
Спасибо за видео! Искал закономерности в формировании адреса basket-*, но они отсутсвуют или очень неочевидны. Через вкладку initiator что-то сразу не посмотрел, а оказывается весь код был на поверхности.
@the_parse_hub
@the_parse_hub 8 дней назад
ну когда решение уже известно - оно всегда кажется проще, чем есть
@КоролеваЗамков
@КоролеваЗамков 10 дней назад
Здравствуйте) Подскажите пож-та какой подход используете при парсинге цен с Wb кошельком (HTML или по API)? у меня просто HTML не всегда прогружается, либо если прогрузилось, то цен с Кошельком нет. И в апи что-то не могу найти.
@the_parse_hub
@the_parse_hub 10 дней назад
Добрый день. Используется API, в случае с кошельком там не так просто
@dimadrac
@dimadrac 17 дней назад
а почему нет парсинга отзывов на озон?
@the_parse_hub
@the_parse_hub 16 дней назад
еще не дошел до них
@ciklomat
@ciklomat 18 дней назад
Вот так и выходит, что все нормальные движухи делаются только через Си.
@jp2en
@jp2en 19 дней назад
5 минут из 30 я смотрел хрен пойми на что, начинающееся с середины предложения... ээээ?!
@PoSha_1337
@PoSha_1337 20 дней назад
Ладно, допустим есть ты на нем авторизовался на нем в чате появляются капчи , состоящие из букв цифр и дефизов как пример aaaa-ssss-eeee-rrre сможет ли он ввести в нужную колонку ?
@davronmsk8553
@davronmsk8553 21 день назад
Привет всем! Я не давно начал автомотизировать и инструмент playwright мне очень понравился. узнал для себя что-то новое! Спасибо автору канала за полезный урок!
@Мир_на_краю_света
@Мир_на_краю_света 21 день назад
У меня это приложение не помещается на экран ,до нижних настроек не добраться
@kotaryss3510
@kotaryss3510 21 день назад
у меня, на последнем варианте, (опечаток нет, и все зделано по инструкции) выходит ошибка Traceback (most recent call last): File "c:\коды\file.py", line 1, in <module> import g4f File "C:\Users\Rostia\AppData\Local\Programs\Python\Python312\Lib\site-packages\g4f\__init__.py", line 6, in <module> from .models import Model File "C:\Users\Rostia\AppData\Local\Programs\Python\Python312\Lib\site-packages\g4f\models.py", line 5, in <module> from .Provider import IterListProvider, ProviderType File "C:\Users\Rostia\AppData\Local\Programs\Python\Python312\Lib\site-packages\g4f\Provider\__init__.py", line 36, in <module> from .HuggingChat import HuggingChat File "C:\Users\Rostia\AppData\Local\Programs\Python\Python312\Lib\site-packages\g4f\Provider\HuggingChat.py", line 5, in <module> from curl_cffi import requests as cf_reqs ModuleNotFoundError: No module named 'curl_cffi'
@descD-d8s
@descD-d8s 23 дня назад
На w10 Pro в hyper-V при запуске просто ничего не происходит, программа не стартует. Так что не смог протестить.
@Beetleraptor972
@Beetleraptor972 23 дня назад
я не первый блен
@АлексейНикулин-м8з
А почему не спарсил максимальную страницу, чтоб просто за нее не шагать?
@the_parse_hub
@the_parse_hub 24 дня назад
я уже не помню)
@arzamas1988
@arzamas1988 24 дня назад
Это же интерпретируемый язык, а не компелируемый. Судя по всему автор тоже не разбирается в тонкостях программирования.
@the_parse_hub
@the_parse_hub 24 дня назад
принцип такой: python в C, а С уже компилируется, вот и всё
@arzamas1988
@arzamas1988 24 дня назад
@@the_parse_hub нет принципа. Про CPython известно. Но все же принято считать что питон интерпретируемый не важно что под капотом.
@the_parse_hub
@the_parse_hub 24 дня назад
ну да, нужно было написать как в wiki, так было бы гораздо понятнее: Nuitka - транспайлер, который транслирует код Python в исполняемые файлы или исходный код Cи/C++. Он работает с разными версиями Python и позволяет создавать автономные приложения, даже когда Python не установлен на целевом компьютере. Правда ведь понятнее?
@Egor-s6x9n
@Egor-s6x9n 24 дня назад
Остаётся вопрос в качестве полученного кода на Си.​@@the_parse_hub
@kenybond6564
@kenybond6564 23 дня назад
чувак, ты 100% прав. интерпретируемый язык напрямую передается в исходном виде процессору и процессор его выполняет. если кто-то говорит про байткод - они всё врут. спасибо, что есть такие умные комментаторы, которые разоблачают авторов, пытающихся нас ввести в заблуждение.
@АндрейМихайлов-о6я3ц
хахаха. скрытие кода. запускаешь, заходишь во временную папку, в которую распаковывается всё при запуске, копируешь исходный код.
@the_parse_hub
@the_parse_hub 25 дней назад
ну ну
@АндрейМихайлов-о6я3ц
@@the_parse_hub хмм... да, nuitka делает exe, который распаковывается в pyd файлы, их обратно в py не провернёшь... я пользовался pyinstaller, там был просто python и исходный код в темпе, бери-не хочу
@the_parse_hub
@the_parse_hub 24 дня назад
Насчет pyinstaller да, с Nuitka такое не прокатит
@alexandr2946
@alexandr2946 26 дней назад
а автоматизировать решение каптчи возможно без использования selenium? через обычные апи реквесты?
@the_parse_hub
@the_parse_hub 26 дней назад
можно
@alexandr2946
@alexandr2946 26 дней назад
@@the_parse_hub спасибо, буду копать в эту сторону
@bill8126
@bill8126 26 дней назад
У Нуитки есть один гигантский минус. Это то, что после неё все антивирусы ругаются, а на вирус тотал простенький проект дает 20-30 жалоб на вирусы. Если вы даете программу человеку, а на нее срабатывает Windows Defender и даже не дает запустить её, просто удаляет программу с ПК. Это точно не лучший вариант. В этом плане паковать через Pyarmor сразу в .exe намного лучше.
@the_parse_hub
@the_parse_hub 26 дней назад
Согласен, это неприятный момент. Вот наверное лучший комментарий (не мой) по этому поводу: Nuitka является предпочтительным выбором авторов вредоносных программ из-за его защиты исходного кода и невозможности исследовать поведение программы без глубокого анализа. Это приводит к тому, что скомпилированные Nuitka двоичные файлы сообщаются как вредоносные программы на основе их сходства с ней, даже для небольших программ, особенно для программ, которые используют библиотеки Crypto и которые имеют дело с платежами Crypto в частности.
@bill8126
@bill8126 26 дней назад
У Pyarmor есть возможность компилировать обфусцированный код с помощью pyinstaller в executables. Я тестировал на разных программах. Даже тестировано на явновредоносных программах, по стиллингу информации и отдельных файлов с ПК, и на вирус тотал всегда было 1-6 жалобы.(дефендер не жаловался) Выходит что, нет, pyarmor они просканировать не могут, и даже для такого цели (распространение вредоносов pyarmor) окажется получше. Кстати заметил, что, если перебилдить pyinstaller на работу с компилятором gcc вместо стандартного мсвц(на Windows), то жалоб будет и ещё меньше.
@bill8126
@bill8126 26 дней назад
@@the_parse_hub я даже знаю, кто писал этот комментарий. Это писал сам разраб нуитке в разделе Issues на Гитхабе. Верить ему или нет хз, но как я понял, это не full open source и что он там зашивает внутрь никто знать не может. В любом случае, рекомендую сделать обзор на pyarmor, если стоит задача по продаже ПО и защите кода.
@the_parse_hub
@the_parse_hub 26 дней назад
согласен. Насчет pyarmor - обзор сделаю
@bill8126
@bill8126 25 дней назад
@@the_parse_hub спойлер, чтоб билдить в .exe через pyarmor нужен pyinstaller не выше версии 5.13.2, если конечно разраб pyarmor не добавил поддержку 6 версии ещё. Также, в pyarmor в бесплатной версии нельзя билдить проекты больше 30 кб, на практике это примерно 600-700 строк кода и это конечно минус. Но если сильно захотеть, то думаю можно купить пожизненную лицензию у разраба за 100 $. В платной версии кстати, тоже есть компиляция в Сишный код(было бы интересно сравнить с Нуиткой) и куча других замудрёных фичей.
@LifterAndy
@LifterAndy 26 дней назад
спасибо, за ваши видео. очень мало людей на ютюбе, которые делают по настоящему стоящий контент
@the_parse_hub
@the_parse_hub 26 дней назад
Спасибо
@Vladimir_F609
@Vladimir_F609 26 дней назад
Автор красава! Спасибо большое за труды
@the_parse_hub
@the_parse_hub 26 дней назад
Спасибо
@tokyoboy7812
@tokyoboy7812 29 дней назад
Привет! Будет ли 4 часть видео "Умные отзывы"? Хотелось бы увидеть сборку и запуск на андроиде. Так же хотел посоветовать вам использовать "nodriver", как пишут сами разработчики, это официальный преемник undetected_chromedriver. Я его потестил и могу сказать, что работает он отлично и 90% защит пройти может, можете даже видеобзор запилить)
@Жизньв-ш8ъ
@Жизньв-ш8ъ Месяц назад
Блядь дебил сука. Ты что творишь гадёнышь.
@МаксимОрлов-х9ы
@МаксимОрлов-х9ы Месяц назад
Вообще красиво показано, вот бы еще показать присер где он используется в аргументе ф-ии вообше было бы классно
@АлександрСегунов-о6р
Я думал это будет что то типа апи для локальной нейронки, т.е например пишем софт на питоне который передает данные в Jan, там их обрабатывают и возвращают в нужном формате софтине, что нибудь типа решателя капчи или просто обработка структурирование какого нить текста потом в таблицы с данными, такое возможно?
@the_parse_hub
@the_parse_hub Месяц назад
Так это по сути так и работает. Благодаря Jan локально поднимается сервер с какой-то моделью и может принимать\отдавать запросы через API. А где Вы уже будет использовать это API, в каком-то софте, ide или excel ему абсолютно всё равно
@АлександрСегунов-о6р
@@the_parse_hub понял, звучит круто, а мб будет видос об этом?
@КристинаСамойлова-щ9я
Привет! Спасибо за полезные видео!!! Просто находка, а не канал! Получилось реализовать прошлую версию из предыдущего видео про парсер авито, решила улучшить его, но теперь возникает проблема - программа не видит элементы на full_page. В режиме debug видно, что страница прогрузилась полностью, но все равно появляется ошибка: Element {[class*='style-price'] [itemprop='price']} was not visible after 10 seconds! Пробовала добавлять ожидание, но проблема не решается(
@the_parse_hub
@the_parse_hub Месяц назад
Как вариант можно попробовать пролистать страницу вниз, есть версия, что они не прогружаются
@dodique.official
@dodique.official Месяц назад
А записать это в переменную task5 не?
@the_parse_hub
@the_parse_hub Месяц назад
а при следующей задачи task6 и т.д. до бесконечности? Здесь именно смысл в том, что мы изначально не знаем про количество задач (длину списка)
@dodique.official
@dodique.official Месяц назад
​@@the_parse_hub, все же сомнительное решение
@МатвейФедин-п2и
@МатвейФедин-п2и Месяц назад
Код видно может и лучше, но выжигает глаза)))
@the_parse_hub
@the_parse_hub Месяц назад
Все за чёрную проголосовали, так что всё ок
@user-hql5qy4x697yggt
@user-hql5qy4x697yggt Месяц назад
Я настроил, у меня PyCharm виснет к сожалению. В чём может быть причина?
@the_parse_hub
@the_parse_hub Месяц назад
Не подскажу, посмотрите на гитхабе в issue данного плагина, может там что-то найдете
@user-hql5qy4x697yggt
@user-hql5qy4x697yggt Месяц назад
RTX 3070 на лоптопе 56k токенов выдаёт скорость, при этом она не грузится вообще. А проц ryzen 7 5k 8k токнов выдаёт и загрузка 100%.
@the_parse_hub
@the_parse_hub Месяц назад
56K это крутой результат, но и видюха же хорошая - так что всё логично
@user-hql5qy4x697yggt
@user-hql5qy4x697yggt Месяц назад
В приложении Jan предлагается на выбор Claude 3.5 Sonnet есть только клавиша Use, как её задействовать в работе? Нет возможности скачать?
@the_parse_hub
@the_parse_hub Месяц назад
Принцип как с Chatgpt, скачать нельзя - использовать можно, но нужен api ключ
@user-hql5qy4x697yggt
@user-hql5qy4x697yggt Месяц назад
Спасибо за ваши видео!
@user-hql5qy4x697yggt
@user-hql5qy4x697yggt Месяц назад
Кркто! Вотже техника шагнула как вперёд! Я раньше в детстве о таком только мечтал! Дожил до этих времен.) Вот интересно если 2 видео карты будут подключены он их обе задействует?
@Joyyyl
@Joyyyl Месяц назад
Здравствуйте! Делала всё как в видео, однако выдает ошибку, возможно ли дело в том, что ссылка на каталог различается от вашего? У меня она почемуто catalog?abtesting=false и почему-то вместо brandpage , там чисто brand. Хоья содержание точно такое же. В чём может быть проблема?
@the_parse_hub
@the_parse_hub Месяц назад
Добрый день. С момента записи данного видео прошло уже много времени. Api с тех времен немного поменялся, но принцип остался тот же
@Joyyyl
@Joyyyl Месяц назад
Здравствуйте! Делала всё как в видео, однако выдает ошибку, возможно ли дело в том, что ссылка на каталог различается от вашего? У меня она почемуто catalog?abtesting=false и почему-то вместо brandpage , там чисто brand. Хоья содержание точно такое же. В чём может быть проблема?
@timur4114
@timur4114 Месяц назад
Мне оно просто выдаёт None None None None И все, уже пробовал с 4 сайтами, не получается
@the_parse_hub
@the_parse_hub Месяц назад
Значит что-то делаете не так
@TheSadjestyMadjesty
@TheSadjestyMadjesty Месяц назад
Добрый день! Подскажите какой подход используете при парсинге Ozon? Парсите HTML или же нашли какой-то API?
@the_parse_hub
@the_parse_hub Месяц назад
Добрый день! api
@ВалерийНазаров-г2м
Надо использовать скобки, иначе у тебя в принт уйдет булево значение а не вычисленная величина
@xdoshik
@xdoshik Месяц назад
Какая нахуй разница. Код должен быть читабельным и удобным
@МаксимОрлов-х9ы
@МаксимОрлов-х9ы Месяц назад
Темная, тёмная!)
@МаксимОрлов-х9ы
@МаксимОрлов-х9ы Месяц назад
А что если у меня есть все нужные для меня браузеры?
@narig89
@narig89 Месяц назад
Яндекс маркет будет?
@the_parse_hub
@the_parse_hub Месяц назад
Скорее всего будет, но не скоро
@narig89
@narig89 Месяц назад
Поддержка будет у приложения?
@the_parse_hub
@the_parse_hub Месяц назад
Да
@glasderes
@glasderes Месяц назад
Я так понял ровая фича, т.к. начкл часто натыкаться про этого моржа (хз давно не чекал обновы пайтона с 3.7, слышал что появились кейсы с какойто из версий (наконецто в языке си в первой версии даже кейсы были, а в крутом питоне нет))