Тёмный

Parsing sites PYTHON - # 1 REQUESTS REQUESTS (GET / POST) 

ZProger [ IT ]
Подписаться 111 тыс.
Просмотров 111 тыс.
50% 1

Parsing sites PYTHON - # 1 REQUESTS REQUESTS (GET / POST)
📗 All links to useful materials are below 📗
We will analyze the parsing of python sites, examine the modules
requests, bs4 (BeautifulSoup), fake-useragent, multiprocessing.
Let's write a lot of parsers in python, learn how to find the elements we need
on the page, we will analyze the structure of requests requests, learn how to transfer
your headers and your data to the site.
During the course, we will write a program to download files
from the site, we will learn how to transfer proxies and user agents to the request.
Let's take a look at how to parse the site using the ones we have already studied.
tools. Towards the end of the course, we will also explore multiprocessing for accelerated parsing. In the course of this video, we will go over the basics of python GET / POST requests and learn how you can use it to get data from the site.
⭐ Free version of Kite: bit.ly/3cKz97C
⭐ PyQt5 Python Course: pyqt5.ru
⭐ Channel with useful material: t.me/codeblog8
📁 Website scraping course: bit.ly/394VKtG
📁 Selenium Python Course: bit.ly/3p669ef
📁 Contact me: zproger777@gmail.com
📁 Support channel: www.donationalerts.com/r/zproger
Libraries used:
requests, bs4
lxml, fake-useragent
multiprocessing
#ParsingSites #ParsingSitesPython #ParsingPython

Опубликовано:

 

6 авг 2020

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 82   
@zproger
@zproger 3 года назад
⭐Курс ООП и Приват канал: zproger-school.com/ ⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx Не забывайте оставлять свои идеи для следующих видео в комментариях, большинство из них реализовывается на канале. Также подписывайтесь на канал, так как именно у нас публикуется отборный материал, который позволит вам изучать программирование и другие технологии в разы быстрее.
@dmitrys5289
@dmitrys5289 2 года назад
Столько всяких тонкостей так подробно и без воды, спасибо!
@zproger
@zproger 2 года назад
Рад что понравилось :)
@dimapetrov9627
@dimapetrov9627 3 года назад
Спасибо за видео, всё понятно и без воды)
@zproger
@zproger 3 года назад
Рад что вам понравилось
@acidandrey
@acidandrey 2 года назад
Просто супер. Спасибо большое. Достаточно наглядно все разжевано!!!
@zproger
@zproger 2 года назад
Спасибо за поддержку :)
@aleksey2408
@aleksey2408 3 года назад
Спасибо за полезную информацию !!!
@zproger
@zproger 3 года назад
Рад помочь :)
@mykolavarvarchuk937
@mykolavarvarchuk937 3 года назад
Спасибо за отлично поданную инфу!
@zproger
@zproger 3 года назад
Пожалуйста :)
@ANABOLIC_007
@ANABOLIC_007 Год назад
Ооо, как же по кайфу было записать первый спарсенный html код в html файлик, после кучи написания базового теоретического кода из курса pythontutor. Я не думал, что будет так легко. Благодара!
@user-ru2zl3gr4s
@user-ru2zl3gr4s 2 месяца назад
хах у меня также)
@user-vu3fb2xq5d
@user-vu3fb2xq5d 2 года назад
Большое спасибо. Хоть вы обьеснили понятным языком
@zproger
@zproger 2 года назад
Рад что помогло
@user-bi9gc9se2o
@user-bi9gc9se2o 3 года назад
Отличный курс, подача информации на запредельном уровне!
@zproger
@zproger 3 года назад
Спасибо!
@______373
@______373 2 года назад
mission accomplished respect+ like+ subscribe+ правильное решение использовать линукс для python (не каждый линукс будет походить). Python на минте гораздо лучше работает чем на винде. Кстати да и само видео вроде неплохо. Кстати быстро тему начал, в многих видео (даже популярных) три часа говорят и две строчки кода объяснили.
@zproger
@zproger 2 года назад
Крутой коммент, спасибо :) По-поводу линукс согласен, очень удобно работать
@stanislavbuzovskij8435
@stanislavbuzovskij8435 2 года назад
блин, крутой парень =) СПАСИБО!!!!
@zproger
@zproger 2 года назад
Благодарю :)
@identitynotestablished9133
@identitynotestablished9133 18 дней назад
чел, это прям круто
@ktoya2131
@ktoya2131 3 года назад
Я очень скупой на лайки, но это видео заслуживает 100000000000 лайков я считаю
@zproger
@zproger 3 года назад
Спасибо за поддержку, буду стараться :)
@TERROr4ek
@TERROr4ek 10 месяцев назад
Помогите, при парсе сайта выдаёт непонятные символы типо иврита хотя кодинг стоит utf-8 и сайт русский
@Joy_Mama
@Joy_Mama 2 месяца назад
Подскажите как вы vs code на минте завели?
@user-gv9xy4jk5r
@user-gv9xy4jk5r Год назад
круто и меня мучает вопрос как музята на фоне называется?))))))))
@fahrenheit1863
@fahrenheit1863 Год назад
Мой первый файл получился с абраказябрами вместо кириллицы. Я так и не понял почему у меня все записалось в utf-16, попробовал второй раз и все уже в utf-8.
@plit_kam9322
@plit_kam9322 2 года назад
Отличный контен, подскажите пожалуйста что за тема у вашего редактора. Мне понравился зелёный цвет у методов.
@zproger
@zproger 2 года назад
Благодарю, это Dracula
@gameworld9522
@gameworld9522 5 месяцев назад
@@zproger Darcula*)
@Denis-qw7jy
@Denis-qw7jy Год назад
Есть ли название фоновой музыки? 🙃
@carrion5236
@carrion5236 8 месяцев назад
а если хочу получить json ? а не байт или html
@obsi1019
@obsi1019 Год назад
а что делать если нажимаешь иследовать елемент а там все на англ и подругому как у тебя?
@IrishaChervyak
@IrishaChervyak 3 года назад
Может я чего-то не понимаю, но при выгрузке в HTML-файл ответа с сайта там НЕ тоже самое, что в ответе в браузере. Ведь ответом в браузере по тому же полю User-agent является сам браузер, но python-запросом и выгрузкой в файл мы получаем, что User-agent является python-request К тому же цель - распарсить страницу этого сайта, как оно там есть, но мы не получаем ни версии браузера, ни плагинов и прочей информации на момент обращения к GET-запросу данного сайта - это же не парсинг) Тут либо пример плохой, либо я даже не знаю. Поправьте, пожалуйста, если где-то ошибаюсь
@zproger
@zproger 3 года назад
Цель была показать принцип работы запросов, а не собрать данные, так как это мы делаем в следующих видео.
@IrishaChervyak
@IrishaChervyak 3 года назад
@@zproger Поняла Вас, видимо немного поторопилась с итогами)
@izgnanikull
@izgnanikull 2 года назад
Помогите, пожалуйста. Делаю всё как указано, но в итоге получаю AttributeError: partially initialized module 'requests' has no attribute 'get' (most likely due to a circular import)
@zproger
@zproger 2 года назад
Не могу помочь, так как не вижу код
@Himito31
@Himito31 2 года назад
возможно у тебя файл имеет название как библиотека.
@kerimtim
@kerimtim 2 года назад
Почему-то или мне кажется что для работы с библиотекой request все пользуюся Linux-ом?
@zproger
@zproger 2 года назад
Можно пользоваться где угодно =)
@Naberegn
@Naberegn 3 месяца назад
А где про POST запрос???
@chooze2999
@chooze2999 3 года назад
так-с. когда 2 часть выйдет?)
@zproger
@zproger 3 года назад
Всего их будет 6 штук, вторая часть 15 августа, далее 19, и так каждые 4 дня :)
@chooze2999
@chooze2999 3 года назад
@@zproger понял. Буду ждать с нетерпением.
@user-zs5pu2ou7e
@user-zs5pu2ou7e Год назад
как сделать такой же красивый ВС код как у тебя ?
@mem_v_kruzhochke
@mem_v_kruzhochke Год назад
Я вот не понимаю, есть встроенный терминал в ВС код, зачем использовать сторонний и где его вообще брать? Я искал курс с нуля, чтобы узнать эти основы. Ответьте, знающие люди, пожалуйста
@sergiybustrov8831
@sergiybustrov8831 8 месяцев назад
Так удобнее, лично я также использую. Дело привычки.
@Konstantin_Fit_Train
@Konstantin_Fit_Train 6 месяцев назад
Очень интересно, но не понятно) Всё что Вы делаете у меня НЕ получается)
@sigmalame_4207
@sigmalame_4207 2 года назад
что делать когда на гет запрос в терменале пишет: 429 Too Many Requests
@zproger
@zproger 2 года назад
Too Many Requests - Переводится как "слишком много запросов". В итоге нужно думать, как сайт идентифицирует, что все запросы идут от одного клиента, это могут быть: заголовки, IP адрес, фингерпринты
@Sliwcom
@Sliwcom 2 года назад
ку, а что за операционка?
@zproger
@zproger 2 года назад
Linux Mint
@Sliwcom
@Sliwcom 2 года назад
Спс
@rexonayt0
@rexonayt0 Год назад
Я единственный который благодаря информации выкачиваю html страницы?😂
@NONAME-ko5zn
@NONAME-ko5zn 3 года назад
Как сделать чтобы сервер принимал наши изменённые запросы?? Например взломать какую то игру на функцию привилегии
@zproger
@zproger 3 года назад
Взломать игру таким способом достаточно трудно, так как помимо значений которые передаются на сервер, ещё и генерируются временные токены которые этому значению соответствуют, если они не будут иметь между собой связь, сервер просто проигнорирует запрос. Кроме того запрос ещё проходит дополнительную фильтрацию, не скажу что это сделать невозможно, но необходимо очень хорошо понимать то, как устроена фильтрация текущего сервера и проверка значений на валидность.
@NONAME-ko5zn
@NONAME-ko5zn 3 года назад
@@zproger можешь об этом снимать видео?
@zproger
@zproger 3 года назад
Не могу, это слишком сложная тема
@NONAME-ko5zn
@NONAME-ko5zn 3 года назад
@@zproger значит не знаешь
@KadenDev
@KadenDev 2 года назад
@@NONAME-ko5zn не знает, и что. Он хакер по твоему? Да и тебе не обязан
@CatLida
@CatLida 2 года назад
Ммм, Linux. Люблю его, какой дистр у тебя?
@zproger
@zproger 2 года назад
Linux Mint :)
@Hanovski14
@Hanovski14 Год назад
status_code не работает или не существует что делать ?
@Do_The_Flop
@Do_The_Flop 11 месяцев назад
Случайно не помнишь, находил ли решение этой ошибки? Полгода прошло всё-таки
@maniacpy
@maniacpy 6 месяцев назад
Ошибка в вашем коде связана с тем, что вы пытаетесь получить статус код и текстовое содержимое ответа неправильным способом. Метод requests.get не возвращает status_code и text непосредственно из объекта ответа.
@irwe3514
@irwe3514 2 года назад
Что такое парсинг?
@zproger
@zproger 2 года назад
сбор данных
@CryptoMathematica
@CryptoMathematica Год назад
line 248, in __init__ raise FeatureNotFound( bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library? При установке xmlx выдает: Defaulting to user installation because normal site-packages is not writeable Requirement already satisfied: lxml in c:
@Dirncol
@Dirncol Год назад
Чувак ты что хакр?
@zproger
@zproger Год назад
да, только никому не говори 😆
@yuritchyuri5342
@yuritchyuri5342 Год назад
А поч такое изображение ужасное,ничего не разобрать!!
@justasemza6945
@justasemza6945 6 месяцев назад
Не добавляй музыку в видео с объяснением плиззззззз,очень отвлекает!😢
@deniskuznetcov3193
@deniskuznetcov3193 2 года назад
​ @ZProger [ IT ] вписал код, в Пайчарме пишет : Process finished with exit code 0 прогоняю через СВкод пишет: ModuleNotFoundError: No module named 'requests'
@zproger
@zproger 2 года назад
Нужно установить модуль requests
@b_b.podcast
@b_b.podcast 3 года назад
Отличный курс, подача информации на запредельном уровне!
@zproger
@zproger 3 года назад
Огромное спасибо за поддержку
Далее
3M❤️ #thankyou #shorts
00:14
Просмотров 7 млн
Conquering fears and slippery slops on two wheels!
00:18