Парсинг букмекерской конторы с отправкой результатов в телеграм

Подписаться 3,5 тыс.

Просмотров 25 тыс.

50% 1

Скринкаст выполнения реального заказа по парсингу букмекера и отправки результатов парсинга в телеграм.
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
Тайм-коды:
00:00 Ставим задачу
02:22 Изучаем сайт букмекера
06:47 Пишем парсер
42:14 Регистрируем телеграм-бота
43:32 Отправляем сообщение в телеграм
46:12 Пишем проверку в базе данных
54:41 О хостинге для скрипта
56:05 Выводы
Ссылка на хостинг Бегет beget.com/ru/p640166/vps#vps-...
Скрипт отправки сообщения в телеграм gist.github.com/DxDiagDx/af33...
Телеграм-чат про парсинг:
t.me/proparsing
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Телеграм @lukin_ea
Профиль на профи.ру:
profi.ru/profile/LukinEA8/?ut...

Опубликовано:

12 июн 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 126

@HyiPizdaSkovoroda 2 года назад

То что ты показал это в первую очередь опыт работы, а это бесценно, спасибо тебе добрый человек, что делишься с нами своим опытом работы )

@usota 2 года назад

Спасибо 🙏

@user-fn6rx1kv6c 2 года назад

Евгений, спасибо вам большое, я на ютубе довольно часто смотрю видео по пайтону , ваше видео я считаю самым полезным из всех, которых я посмотрел!

@usota 2 года назад

Спасибо за высокую оценку!

@Keefear 2 года назад

Интересное видео . Не смотря на то , что давно занимаюсь подобным , всегда приятно посмотреть , а как пишут другие и научиться чему-то новому 👍

@vikacherry1312 Год назад

Спасибо от души! Отличное видео! как раз то что я искал!

@sanskritjyotish9326 2 года назад

Лайкище однозначно! Интересовало примерно тоже самое, только на угловые)

@Ctac7878 2 года назад

Евгений Прекрасное дело делаете, ясно, чётко. С отличным звуком и дикцией. Спасибо большое

@usota 2 года назад

Спасибо, приятно )

@betnews-8616 Год назад

С нетерпением жду новые видео, желательно по парсингу или по базам данных

@usota Год назад

Спасибо, скоро будет видео по практике парсинга поставщика с авторизацией в базу данных.

@mrsairax 2 года назад

Отличное видео! По подаче, хотелось бы, чтобы экранный приоритет сместился на код, может стоит окно с Вашим присутствием установить где-нибудь в углу экрана? ну и, для удобства, исходники по урокам было бы неплохо где-то выкладывать. Спасибо за проделанную работу!

@usota 2 года назад

Спасибо за высокую оценку! Ваши пожелания учту, это очень важно. Для каких-то инструкций я всегда дам ссылку на исходник. В этом же видео важнее смысл решения задачи, а не код. Тем более код сырой и без рефакторинга.

@mrsairax 2 года назад

@@usota Ваше видео мне очень помогло! Изучаю Пайтон и уже написал несколько простеньких парсеров с Телеграмом. Возникла задача парсить несколько поисковых выдачей на ebay. с записью в БД и проверкой уникальности и отправку в Телеграмм. Но т.к еще не сильно понимаю как код дробить на несколько составных частей (функций) приходилось писать "код-в-ряд")) и естественно, когда строк больше 150, то очень легко ошибиться во вложенных циклах. Благодаря этому видео оптимизировал свой код, разбил по функциям и все прекрасно заработало! Спасибо большое!

@dimamihalev2986 2 года назад

@@usota Евгений, покажу код парсинга с обходом клаудфларе

@rethen2122 Год назад

Спасибо!

@stasyaooo 2 года назад

На самом деле это первый парсер в Ютубе если не ошибаюсь 1xbet который работает на запросах)

@wanwight5593 2 года назад

когда попытался сделать чтобы отправлялись все желтые карточки вместе с первым, вторым таймом. Пытался все из функции search_db пустить цикл дальше, но он там прерывается из за id. Надо использовать search_db для проверки наличия id игры в БД и забирать либо Правду, либо Ложь и дальше от этого либо прерывать цикл, либо дать скрипту отправить данные с этой игры. Трудно быть новичком.

@user-th5wu7es3n 2 года назад

Ничего не понял но мне понравилось.

@ShooterStar 2 года назад

так же можно было и игру сделать ключем, а значения все 3 жк. Но а так, очень крутое видео, в закладки однозначно. Есть о чем подумать. Еще бы научиться делать так, чтобы бк не забанила)))))

@user-bo2gp3pi4k 8 месяцев назад

Но как узнать какой именно запрос искать!? на другом бк у меня не получается найти этот самый гет!?

@elji3178 2 года назад

ничего не понимаю, но очень интересно

@romandavydov3888 2 года назад

Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.

@user-ze2ds2lq1u 2 года назад

Тоже интересна данная тема

@mizzzantropbogg6800 Год назад

params = ( ('sports', '3'), ('count', '150'), ('mode', '4'), ('country', '82'), ('partner', '78'), ('getEmpty', 'true'), ('noFilterBlockEvent', 'true'), ) Вот для баскетбола. Значение sports меняй и будет другой вид спорта

@rootroot1668 Год назад

Роман а для чего он тебе ? В каких целях используешь ? Польза от него ?

@ruhinhmdov9139 Год назад

Супер видео,Евгений👍👍👍👍👍. Хотел спросить,где можно найти,скачать архив коэф?

@usota Год назад

Спасибо. По поводу архивов не знаю, возможно на флешскоре

@ruhinhmdov9139 Год назад

@@usota очень хочу найти архив коэф. БК

@vaka984 2 года назад

Интересное видео, спасибо! Подскажите а можно ли сделать автоставку через питон? Или это все дело отслеживается?

@usota 2 года назад

Спасибо. Честно, о ставках ничего не знаю 🤷‍♀️ Но думаю, отслеживается.

@elji3178 2 года назад

отслеживается. но есть люди которые делают такие программы, и работают неплохо. но просят за них хорошую сумму

@LOGOSTT 2 года назад

25:59 нельзя ли в этом месте вместо "IF" применить конструкцию match/case?

@usota 2 года назад

Да, я думаю можно, спасибо попробуем)

@crew2005 7 месяцев назад

Как сделать что бы парсился баланс аккаунта? И обновлялся в режиме реального времени

@rabotavsem_biz Год назад

Подскажи момент, в случае изменения коэф, бот же не пришлет новое значение? тк в базе данный матч уже есть

@usota Год назад

Да, в случае изменения коэффициента бот ничего не пришлёт. Чтобы бот присылал новый коэффициент, в случае го изменения, нужно менять логику скрипта. Например в базу данных записывать не только матч, но и коэффициент. И при каждом следующем запросе проверять, не изменился ли коэффициент.

@ShooterStar 2 года назад

да и в if же можно сразу передать 2 сравнения с and. И сразу сформировать в одном if правильный словарь

@usota 2 года назад

Да, возможно так лучше.

@user-mz6bg7cf6g 2 года назад

молодец, прикольно), только токен то зачем было светить от бота?)

@usota 2 года назад

Спасибо, тренировочного бота не жалко)

@MurzikM 2 года назад

Евгений, сделайте пожалуйста подробное видео про WebScraper на примере какого либо интернет магазина, то есть как парсить товары массово. Будет очень полезным, т .к. такой информации толком ни где нет. Заранее спасибо!

@usota 2 года назад

Спасибо за предложение, давайте сделаем - напишите, на примере какого интернет-магазина показать работу парсера и я запишу по нему видео.

@MurzikM 2 года назад

@@usota Мой ответ удалили похоже) Евгений, успели название сайта скопировать?

@usota 2 года назад

Нет, напишите на почту lukin@usota.ru

@MurzikM 2 года назад

@@usota Отправил. Буду ждать видео)

@LOGOSTT 2 года назад

35:57 я не спец. в Python, но полагаю, что так вычислять время не дальновидно. А если у заказчика другой часовой пояс?

@usota 2 года назад

В этом коде ещё очень много недальновидных вещей)

@bellyi1 Год назад

Интересно конечно, но я видимо олух. Дальше if в строке не продвинулся, вообще не пойму как эти знаки типа равно и нижнего подчёркивания писать(((

@user-cx2nu1fn8z 2 года назад

Здравствуйте, можно ли создать телеграмм бота по прогрузам букмекерских контор? Если да, то сколько будет стоит ежемесячное обслуживание? Я не программист, по этому надеюсь Вы отнесётесь с понимаем если мой вопрос очень глупый))

@usota 2 года назад

Здравствуйте, на 2022 год стоимость ежемесячного парсинга сайта стоит от 3000 до 10000₽. Но всё зависит от сайта БК, объема данных и т.д. Все индивидуально. И я, к сожалению, не знаю что такое прогрузы, поэтому может это не получится. Но ценовой диапазон примерно такой.

@crexlight 2 года назад

3:20 а не могли бы вы пожалуйста сказать что за расшриение?

@crexlight 2 года назад

"JSON Formatter" уже нашёл, спасибо

@user-te1km2uw5r 2 года назад

Отличное видео! 👍 Как раз ищу исполнителя на подобный скрипт. Примерная цена?

@usota 2 года назад

Спасибо за оценку! Ценник начинается от 10 тыс. А вообще цена зависит от задачи, пишите, обсудим. Контакты в описании.

@user-te1km2uw5r 2 года назад

@@usota 👌👌👌

@user-dy9pm5dz6s 2 года назад

скажите пожалуйста что за расширение для построения json деревьев

@usota 2 года назад

JSON Formatter

@user-bg8cx9ez4z Год назад

спасибо за видео, начал парсить в лайве, нашел все коэффициенты и статистику, но не могу найти текущую минуту матча

@usota Год назад

Могу ошибаться, но скорее всего время представлено в формате timestamp, например 1667746800 будет как 2022-11-06 18:00:00. Если вопрос не в этом, а в каком ключе лежит время, пошедшее с начала матча, то так не вспомню. Но оно там есть точно )

@user-bg8cx9ez4z Год назад

@@usota спасибо. так и есть.

@alisik2020 2 года назад

Добрый день, спасибо за видео! На стадии получения json ответа с сайта, pycharm выдаёт ошибку JSONDecodeError. Не подскажите что не так? Сделал всё по аналогии как у вас

@usota 2 года назад

Посмотрите, что лежит в response.text, возможно проблема в результате, который возвращает запрос.

@betnews-8616 Год назад

Вот и беда подкралась откуда не ждали. Три дня копал статистику с сайта и кучу полезностей , как вдруг скрипт перестал забирать json с сайта... {'Error': '', 'ErrorCode': 0, 'Guid': '', 'Id': 0, 'Success': True, 'Value': []}

@usota Год назад

Возможно ваш IP временно заблокировали, попробуйте использовать прокси, чтобы подменить IP-адрес

@lukipiv7143 2 года назад

Евгений, здравствуйте.Как загрузить бота на хостинг чтобы тот отправлял сигнал каждые 5 минут?

@usota 2 года назад

В этом видео Парсинг недвижимости Авито, Циан, Яндекс. Часть IV (Запуск на сервере) ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-hCWoTYjTC-E.html есть пример, как запускать скрипт на сервере по расписанию

@CreatorDreamer 2 года назад

Добрый день. Подскажите каким образом следить за информацией чаще чем 1 раз в минуту? К примеру котировки валют. Так как не правильным будет заходить на сайт, получать информацию, выходить и затем опять входить. Я думаю, что нужно войти на сайт и просто обновлять данные, но как это сделать?

@usota 2 года назад

Добрый день. Вы можете создать сессию и в её рамках работать с сайтом. Это есть в библиотеке requests. Частоту запросов вы задаёте сами, но на ответ нужно дать хотя бы 2 сек. Вобщем делать запросы каждые 3 сек. максимум.

@user-ec3ty2rf9f Год назад

@@usotaА при таком частом обращении, сервер не забанит наш IP?

@usota Год назад

Зависит от настроек сервера. Например WB не обращает внимания на частые запросы, а более щепетильные сайты банят уже на второй запрос. Поэтому стоит использовать прокси. А вобще пересмотреть задачу - нужны ли такие частые запросы… не фигнёй ли мы занимаемся?)

@CreatorDreamer Год назад

@@usota Благодарю тезка. За прошедший год поднял свои скилы, так что уже сам API пишу. И понимают. В любом случае круто, что ответил. Дай Бог процветания

@usota Год назад

Крутые результаты 💪🤝

@nickklick5824 2 года назад

Евгений подскажите пожалуйста, как выбрать нужный запрос, если сайт отдает много данных, когда мы запрашиваем через network. Есть ли какой-то лайфхак? (Надеюсь вы меня поняли. Заранее извиняюсь, если вопрос глупый, я ещё только учусь)

@usota 2 года назад

Есть два способа найти нужный запрос быстрее: 1) в консоли разработчика в строке фильтра вместо All выбрать Fetch/XHR, чтобы оставить только запросы; 2) тамже в консоли сделать экспорт HAR и парсить уже его. Понимаю, что звучит ещё не понятнее, но пару часов гугления и у вас новый крутой инструмент, с помощью которого открываются новые возможности парсинга)

@nickklick5824 2 года назад

@@usota спасибо! Лучший! Вроде понял, буду пробовать) жду новые видео от Вас👍

@nickklick5824 2 года назад

@@usota а стоит ли обращать внимание на размер запроса? Или не всегда нужный запрос весит больше?

@usota 2 года назад

Да, как вариант, можно отсортировать по размеру запроса и проверять сначала наибольшие. Но насколько выше вероятность быстро найти нужный, пока не знаю.

@nickklick5824 2 года назад

@@usota в любом случае спасибо)

@LOGOSTT 2 года назад

Как изменить ранее отправленное сообщение в Телеграм, например, если изменились "ставки'?

@usota 2 года назад

Отправить новое?

@LOGOSTT 2 года назад

@@usota вопрос не для данной конкретной задачи, а для других случаев. *Например, такой* 1) Поступил звонок в офис, мне в телеграмм система отправила сообщение: _30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._ 2) На звонок ответил другой сотрудник, требуется изменить ранее отправленное мне сообщение: _30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._ _13:45:30__ Ответил аб.1501._

@usota 2 года назад

Хороший вопрос. Я бы смотрел в сторону метода editMessageText. Поделитесь решением, если получится реализовать, буду благодарен 😊

@Aleksandr.Sv.istorija Год назад

Какое расширение для дерева используешь?

@usota Год назад

Первое попавшееся в магазине расширений ) JSON Formated - что-то такое

@user-ft3hj2fd5q Год назад

Доброго времени Евгений! За сколько выполнили этот заказ, если не секрет, для понимания оплаты труда на такую работу)

@usota Год назад

У меня цена за парсер БК в 2022 году - 30 тыс.руб. Как правило на написание парсера уходит 2-3 дня, а вот на тестирование, доработку и сопровождение - минимум месяц.

@user-ft3hj2fd5q Год назад

@@usota ваш профиль на профи ру не отображается. сколько берете за доработку данного проекта

@usota Год назад

@@user-ft3hj2fd5q спасибо, починил. Давайте свяжемся в телеграмм или ватсап, я сейчас не могу взять заказ, поэтому и суммы не называю, но может чем помогу.

@user-ft3hj2fd5q Год назад

@@usota я не по поводу заказа. сам хочу заняться парсингом, сейчас смотрю ваши вводные уроки по веб скрепперу, и вникаю в html/css. увидимся в вашем телеграмме, всех благ)

@usota Год назад

С удовольствием помогу коллеге, до встречи 🤝

@Aleksandr.Sv.istorija Год назад

Когда печатаю result = response.json() то выдает ошибку и выделяет json

@Aleksandr.Sv.istorija Год назад

На 9:44 минуте видео

@ShooterStar 2 года назад

в словаре надо было ключем сделать значение тотала, а value уже кэфы, потом же проще было бы парсить все это и передавать

@usota 2 года назад

Надо было, спасибо.

@yumir 2 года назад

Почему бы не использовать json в роли БД?

@usota 2 года назад

Вы правы, можно и JSON. Для хранения одного поля это не принципиально.

@yumir 2 года назад

@@usota хотел задать следующий вопрос: при стандартном использовании функции json.dump() у меня неправильно обрабатывается кириллица. Как это можно решить?

@usota 2 года назад

Используйте ensure_ascii=False

@MultiBigkush 2 года назад

Приветствую! А как вы зациклили весь код, чтобы он каждую минуту отправлял данные в телеграм? Не увидел это в коде

@MultiBigkush 2 года назад

В конце услышал, что настраиваете на сервере запуск скрипта по расписанию. А если, к примеру, нужно парсить в реальном времени, думаю, что лучше это через циклы делать в python. ИМХО.

@usota 2 года назад

Приветствую, код не зацикливаю. Код запускается по расписанию, которое задаю на сервере. С помощью cron задаю гибкое расписание, например запускать парсер ежедневно с 8 до 22 каждую минуту.

@Zonder_Play 2 месяца назад

А как парсить все игры без ограничения в 50 штук?

@usota 2 месяца назад

В цикле выбираем по 50 штук, пока не соберем все

@Zonder_Play 2 месяца назад

Это то понятно что в цикле, но сервер через get запрос отправляет 50 игр, но их куда больше, если менять параметр count это не помогает, сервер игнорирует это, все остальные игры(я так понял) сайт получает другим запросом, который не со страницы сайта мы не можем отправить. Если есть возможность по очереди прогружать игры, то как это сделать

@user-pm4zf3nh7d Год назад

Сайт для каждого аккаунта отдаёт свои данные и коэффициенты (порезанный акканут, например)

@usota Год назад

А мы же парсим без авторизации

@user-pm4zf3nh7d Год назад

@@usota так я о том же, что у заказчика будут другие коэффициенты и, возможно, замки на то, что без авторизации открыто

@usota Год назад

Согласен, это тоже нужно учитывать при разработке проекта

@blackinlove9547 2 года назад

Не реклама 😅 (шутка)

@AlexPetrov 2 года назад

"Перед тем как начнём поставьте лайк или дизлайк" - где логика?

@usota 2 года назад

Вы серьезно?

@AlexPetrov 2 года назад

@@usota Я материал оцениваю только ПОСЛЕ просмотра. Не так надо?

@leelvan 2 года назад

Зачем нам ваше лицо на четверть экрана?

@usota 2 года назад

Не на четверть, а на треть.

@leelvan 2 года назад

@@usota да, прошу прощения. Зачем нам ваше лицо на треть экрана?

@evgeniy7480 Год назад

Них... не понял но очень инттересно)+

@merlin7411 Год назад

Горе программист, пишущий в столбик. Садись Иванов, 2.

@betnews-8616 Год назад

эх в конце видео что то пошло у меня не так, все проверил уже , но ничего не помогает. выдает ошибку - ValueError: invalid literal for int() with base 10: '' там где мы проверяли сообщения на повторную отправку. как я понял, что то происходит с интерпритацией в строку нашего гейм айди. а что не так уже бьюсь второй час и флоат попробовал уже def search_db(game_id, yellow_card): with open('db.txt', 'r') as file: for item in file.readlines(): line = item.strip() if int(line) != game_id: get_message(yellow_card) with open('db.txt', 'a') as file: file.write(f' {game_id}')

@betnews-8616 Год назад

помогите пожалуйста кто-нибудь понять в чем загвоздка. Спасибо большое

@usota Год назад

Это моя ошибка, использовать текстовый файл в качестве базы данных. Лучше использовать SQLite. Но если вам для обучения, то лучше использовать CSV.

@betnews-8616 Год назад

@@usota спасибо большое!

@romandavydov3888 2 года назад

@usota 2 года назад

Спасибо за обратную связь) По другим видам спорта ищем по аналогии. Кстати, в видео про парсинг Озон, я рассказываю, как искать нужный JSON, если их очень много. Если коротко - в консоли разработчика скачиваем har-файл и в нём ищем нужные данные, как в обычном json.

@romandavydov3888 2 года назад

@@usota Спасибо про Ozon еще не смотрел. Буду изучать.