Тёмный

Простой парсинг сайтов на Python | requests, BeautifulSoup, csv 

Andrievskii Andreii
Подписаться 46 тыс.
Просмотров 133 тыс.
50% 1

ГРУППА ПО PYTHON:
t.me/python_scripts
IDE PyCharm:
www.jetbrains.com/ru-ru/pycha...
КУРС PYTHON:
• Курс Python 3 | Подгот...
ПОДДЕРЖАТЬ АВТОРА И КАНАЛ:
www.liqpay.ua/ru/checkout/380...
Webmoney:
Z166344793421
R369744777501
U871336351200
О видео уроке:
Сегодня мы в 50 строчек кода напишем реальный парсинг банковских карт с финансового портала. Будет очень подробное объяснение всех импортируемых библиотек и каждой строчки кода.
Вы сможете самостоятельно повторить подобное на другом сайте, странице, проекте.

Опубликовано:

 

22 май 2020

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 387   
@dmitryv6156
@dmitryv6156 3 года назад
Отличная подача материал, но есть ряд замечаний: 1. range(1, n) возвращает список начинающийся с 1 и заканчивающийся n-1, соответственно в Вашем случае нужно написать range(1, PAGINATION+1); 2. функцию save_doc(cards, CSV) необходимо сдвинуть влево на уровень вышестоящего for. В текущем варианте записываемые в файл данные будут повторяться с нарастанием последующего прохода цикла парсера. PS Я понимаю, что автор легко нашел бы эти неточности в реальном проекте, но написал для тех, кто будет смотреть данное видео для обучения.
@beksultantoktobekov6098
@beksultantoktobekov6098 3 года назад
Ахренеть , как вы просто каждое слово в коде объясняете и все нормальным языком. Здоровье вам ❤
@user-mt2cl6yk8t
@user-mt2cl6yk8t 3 года назад
Спасибо, что рассказал абсолютно все, даже для диких чайников. Респект 👍
@evollt
@evollt 3 года назад
Здравствуйте. Спасибо вам за курс! Все очень понятно и доступно. Вы объясняете чуть ли ни каждую мелочь и это очень хорошо.
@Bondik202
@Bondik202 3 года назад
отличный урок ! мне нравиться что вы рассказываете о методах подробно .
@Evis9110
@Evis9110 3 года назад
Мой первый парсер готов благодаря Вам, спасибо огромное)
@user-jk5tn3el9l
@user-jk5tn3el9l 3 года назад
Изумительное объяснение. Там где надо расставлены акценты. Спасибо!
@mobilelegends8845
@mobilelegends8845 3 года назад
Братушка от души за контент, очень класно все объясняешь! Плиз побольше питона бро, а с нас царские лайки))
@erickwhite1195
@erickwhite1195 3 года назад
лучшее видео по PYTHON, что я видел. Многие вещи стали понятными. Огромное спасибо! Надеюсь будут и дальше похожие видео) Однозначно лайк, подписка.
@dryuni
@dryuni 2 месяца назад
PythonToday посмотри, тоже чувак толковый
@MrTimmirs
@MrTimmirs 3 года назад
Отличный урок, думаю будет всем полезно рассмотреть создание парсера через ООП. Спасибо за труд!
@Alex_MacDenis
@Alex_MacDenis 3 года назад
Огромное спасибо автору! Всё максимально понятно и подробно, большое спасибо!❤️
@kayuttv8231
@kayuttv8231 2 года назад
Огромное спасибо... Уже несколько дней пытаюсь понять, а не получается. А у вас всё понятно каждую строку объяснили. Ещё раз огромный респект!
@Kaiserdom
@Kaiserdom 3 года назад
Единственный толковый урок. Спасибо, все понятно и ясно объяснил!!!
@Metalfrezer
@Metalfrezer 2 года назад
Вот такие и должны быть уроки! Респектище и спасибо колоссальное!
@bers991
@bers991 3 года назад
Спасибо за видео, отлично объясняете, помогло в освоении python !
@MultiTuzik
@MultiTuzik Год назад
Супер видео , спасибо вам , очень круто объясняете , пересмотрю ваши плейлисты на досуге )
@baluan_sholak
@baluan_sholak Год назад
Спасибо за видео. Кстати у кого выдает ошибку UnicodeEncodeError, в with open добавьте encoding="utf-8-sig" (если вы работаете в виндовс). Будет выглядеть так: with open(path, 'w', newline='', encoding="utf-8-sig") as file: Отличное обучение для новичков, еще раз спасибо!
@user-xh8vd9wo4f
@user-xh8vd9wo4f Год назад
Не мог понять что делать с ошибкой, и тут ответ, спасибо)
@baluan_sholak
@baluan_sholak Год назад
@@user-xh8vd9wo4f знал, что пригодится
@ayakovtsev
@ayakovtsev 4 года назад
Красава! Видос отличный! Спасибо, что заморочился!
@aleksgor1408
@aleksgor1408 2 года назад
Круто. Искал нормальное поясняющее видео по парсингу. В этом максимально все понял ))) Спасибо.
@michaelpodroykin7722
@michaelpodroykin7722 3 года назад
Андрей!! Круто, молодец Просмотрел весь видос, все ясно и понятно рассказываешь) Спасибо
@Tobi17460
@Tobi17460 2 года назад
Три дня я писал и вникал в этот код, спасибо большое за такой урок очень полезный, теперь я на шаг ближе к своей мечте!
@Bah1918
@Bah1918 3 года назад
Очень полезный урок. СПАСИБО
@cassidy7172
@cassidy7172 3 года назад
Спасибо, дружище, всё подробно и по делу. Очень полезное видео.
@belford_acj2302
@belford_acj2302 2 года назад
Андрей Андриевский, спасибо Вам большое за решение с Плагинацией. Круто! Все сделал и все получилось! Желаю Вам успехов в 2022-году! :)
@mma_fighter
@mma_fighter 3 года назад
Много профессионалов на ютубе, но мало кто может так подробно и понять объяснить материал. Спасибо !
@andrievskii
@andrievskii 3 года назад
Но я даже не профессионал))
@Veber-we4it
@Veber-we4it 3 года назад
@@andrievskii Так ещё и скромный
@user-sh5ls3sg3b
@user-sh5ls3sg3b Год назад
Спасибо добрый человек! Отличная подача материала. Респект!
@shadows2138
@shadows2138 2 года назад
Урок был очень полезен. я только начал изучать. Вы сказали, что у Вас есть курс. Я его посмотрю. Курсы не бывают лишними). Вы говорите, что урок длинный и Вы много останавливаетесь на мелочах, но как новичок скажу, что проще перемотать вперёд, если ты что-то знаешь, чем упустить важную мелочь, когда ты ничего не знаешь)
@liubovkernichnaya9610
@liubovkernichnaya9610 4 года назад
Ставлю тебе душевный лайк, видео очень помогло, отличный урок, спасибо тебе за твой труд!
@user-ul7gi7tx4q
@user-ul7gi7tx4q 3 года назад
Урок понравился, спасибо. Всё понятно) Даже подписался
@NavAlextv
@NavAlextv 3 года назад
Просто отличная подача материала, супер!!!
@Nikbleat
@Nikbleat 3 года назад
Мучался с парсером 3 дня. Однако с твоим видео всё таки смог его довести до результата.
@user-vj2ql5ic3d
@user-vj2ql5ic3d 2 года назад
Спасибо, очень хорошо объясняете, час - это совсем не долго, зато подробно и понятно.
@user-eh6rq5zr2b
@user-eh6rq5zr2b 2 года назад
Мега-полезный урок! спасибо!
@userikzhan6683
@userikzhan6683 3 года назад
Спасибо за очень полезный и компактный разбор! Лайк и подписка!
@andrievskii
@andrievskii 3 года назад
Спасибо за подписку
@user-rp9sc3nx5z
@user-rp9sc3nx5z 3 года назад
Всё очень понятно. Спасибо большое! =)
@user-ot2fr4ih1r
@user-ot2fr4ih1r Год назад
Спасибо за ваш труд,позновательно!
@Mr717273747
@Mr717273747 3 года назад
Андрюха, спасибо за доскональный урок. Ты - лучший. Don't get lost !
@andrievskii
@andrievskii 3 года назад
спасибо за комментарий
@goodtrydemongg2033
@goodtrydemongg2033 3 года назад
Самый лучший и понятный курс по парсингу который я встречал, красавчик!
@andrievskii
@andrievskii 3 года назад
Спасибо, очень приятно
@kakTyzZz69
@kakTyzZz69 2 года назад
Отличное видео, самое годное по парсингу! Автору респект
@gh0stoff9
@gh0stoff9 2 года назад
Спасибо большое вам, объяснили все очень понятно. Мне этот ролик очень сильно помог, здоровья вам!
@Reshila-us6uc
@Reshila-us6uc 3 года назад
*Ты лучший спасибо по больше таких уроков*
@animegogogo5124
@animegogogo5124 Месяц назад
За 1 час я понял как парсить, я думал это сложно, но оказываеться это не так сложно, понятно и дохотчиво объясняешь даже каджую мелочь, мало таких кто объясняют, Спасибо за курс! вы лучший!❤ Спасибо что есть такие люди!
@andrievskii
@andrievskii Месяц назад
Удачи в обучении, пусть все получится
@d0r1s3t6
@d0r1s3t6 2 года назад
Спасибо большое вам! Пытался писать парсера, никак не получалось, зашел к вам на видео - все с первого раза написал
@user-nr6ej5fy4y
@user-nr6ej5fy4y 3 года назад
Отличный урок! Подписался
@alexalexov7164
@alexalexov7164 Год назад
спасибо вам большое! наконецто научился парсить сайты! и это все благодаря вам! смотрел много видео но самое лутшее обяснение иммено у вас! спасибо еще раз! вы мне ооочень помогли! вы лутший!!!
@user-mu4ty1gi8b
@user-mu4ty1gi8b 2 года назад
Информативное видео, спасибо огромное!
@user-hj9po8zr1u
@user-hj9po8zr1u 3 года назад
Круто! Получилось! Правда только одну страницу и без сохранения в файл почему-то.. Буду пересматривать еще, видимо что-то упустил. Ждем продолжения!
@user-we4pj6qg8i
@user-we4pj6qg8i Год назад
Бро, спасибо тебе большое, ты реально мне помог! Здоровье тебе и твоим близким
@yarikyarik8275
@yarikyarik8275 3 года назад
Все очень хорошо объяснил. Только, просьба, делай масштаб побольше, а то на телефоне плохо видно)
@btttt5510
@btttt5510 4 года назад
Сделайте курс по Django plss. Очень круто заходит как вы объясняете материал!!!!
@simple1kazakh
@simple1kazakh 3 года назад
очень полезный урок, написал свой первый парсер, благодарю Андрей!
@andrievskii
@andrievskii 3 года назад
Не останавливайся)
@po100lit7
@po100lit7 2 года назад
здОрово! Браво! ещё бы добавить автоматическое определение количества страниц для парсинга)))
@maxymus7884
@maxymus7884 3 года назад
Большое спасибо за урок! За один вечер с поверхностными знаниями по python прошел урок и видоизменил его под свои нужды для парсинга с других сайтов(маркетплейс).
@andrievskii
@andrievskii 3 года назад
Рад, что был полезен
@mr.akulka
@mr.akulka 2 года назад
Поделись пожалуйста кодом для маркетплейса
@denysmilka6762
@denysmilka6762 3 года назад
Видос годный) Лайк подписка. Пойду писать код.
@Egor1984ful
@Egor1984ful 3 года назад
жму руку! все ясно и понятно!
@Kosmoswa
@Kosmoswa 3 года назад
отличный урок. большое спасибо!
@andrievskii
@andrievskii 3 года назад
Пожалуйста
@tmercurial
@tmercurial 2 года назад
Спасибо за урок, смог написать парсер под мои цели
@cyber_ukraine
@cyber_ukraine 3 года назад
Уважаемый АВТОР, вы гений! Я за все 5 лет обучения в универе получил в разы меньше знаний чем от часа просмотра этого видео! Ставлю колокольчик на будущие уроки!
@andrievskii
@andrievskii 3 года назад
Рад был помочь))
@TXADodje
@TXADodje 2 года назад
Соболезную
@user-id1el2mp2x
@user-id1el2mp2x 3 года назад
Спасибо за людское объяснение ))))
@orkenrakhmatulla2127
@orkenrakhmatulla2127 2 года назад
Классно , спасибо большое !👍🏻
@FriskesTV
@FriskesTV 2 года назад
Спасибо за видео, хорошо объясняешь! Помощь тем у кого траблы с кодировкой, это происходит изза символа 'é' в одном из тайтлов карт 'Chaméléon', есть 2 решения, либо подменить эти символы с помощью метода replace(), и тогда эта карта сохранится в наш список, либо просто отбросить данную карту вместе с ошибкой с помощью try except пример: try: writer.writerow([item['title'], item['link_product'], item['brand'], item['card_img']]) except UnicodeEncodeError: print('Получена ошибка: UnicodeEncodeError')
@Tommy7417
@Tommy7417 Год назад
Супер, дякую за відео, та детальне пояснення.
@andrievskii
@andrievskii Год назад
Будь ласка
@skuse01
@skuse01 2 месяца назад
Ты просто лучший, огромное спасибо
@andrievskii
@andrievskii 2 месяца назад
Спасибо
@djonikbb5572
@djonikbb5572 3 года назад
Однозначно подписка ,жду видео по питону
@SmorodinkaMarina
@SmorodinkaMarina 10 месяцев назад
Круто, огромное спаибо.
@caiman101
@caiman101 3 года назад
Спасибо, друже!
@user-vg4kj7mx2z
@user-vg4kj7mx2z 3 года назад
спасибо очень интересно и познавательно было
@road2zion2
@road2zion2 3 года назад
Спасибо! Очень помог!
@vvsyakiy
@vvsyakiy 3 года назад
Для всех у кого парсятся непонятные символы вместо русских букв: в функции get_html добавьте строчку " r.encoding = 'utf8' " и всё будет норм
@nigma933
@nigma933 2 года назад
спасибо от души
@grigoriimikhailov703
@grigoriimikhailov703 2 года назад
а куда её вставить - можно чуть подробнее плиз? не понимаю :(
@vvsyakiy
@vvsyakiy 2 года назад
@@grigoriimikhailov703 между r = requests.get(url, headers=HEADERS, params=params) и return r
@swipes1
@swipes1 3 года назад
Спасибо супер, сделайте парсер с сайтами куда надо заходить с логином, хотя бы легенкий парсер чтобы понять как работать
@quickliker
@quickliker 3 года назад
Не ну это лайк однозначно👍🏻
@user-mo6mz9kj2g
@user-mo6mz9kj2g 3 года назад
Хорошее видео. Всё понятно.
@user-nn5yw1eg8n
@user-nn5yw1eg8n 2 года назад
url в get_html записан маленькими буквами. В то время как константа URL записана большими. Как это работает? Питон ведь чувствителен к регистру. Не понимаю.
@user-mu8bx1sd6z
@user-mu8bx1sd6z 3 года назад
Понятно и доходчиво
@stradys
@stradys Год назад
спасибо, хороший урок! сделайте пжл аналогичное видео с использованием Selenium для динамических сайтов, думаю многим будет интересно
@0palev
@0palev 2 года назад
отличный урок получился, и у меня почти всё вышло, пока не начал сохранять в csv файл адреса картинок и ссылку на банк, что то с кодировкой. Если написать так with open(path, 'w', newline='', encoding='utf8') as file тогда все гуд, но в екселе абра кадабра, которую уже потом можно декодировать.
@OurFront1
@OurFront1 3 года назад
Спасибо Андрей. Видео супер! Хотелось бы еще понять можно ли в .csv екселя подгружать + (отображение фото). Также по парсингу было (очень)*5 отлично = если бы сделал урок где данные которые спарсились, отображались в графиках пайтона matplotlib.
@maxim_mahadeva
@maxim_mahadeva 3 года назад
Спасибо тебе огромное!
@Bah1918
@Bah1918 3 года назад
Классное объяснение .Хоть один человек детально всё показал. СПАСИБО. А видео с применением ООП будет.?
@andrievskii
@andrievskii 3 года назад
Будет в плейлисте о Джанго
@user-vr3om2fp1k
@user-vr3om2fp1k Год назад
очень круто, спасибо
@artemselivanov6892
@artemselivanov6892 3 года назад
Дякую за урок. Це було дуже корисно!
@andrievskii
@andrievskii 3 года назад
Гарного навчання
@niva622
@niva622 Год назад
Отличное видео спасибо
@emilseyfullayev1638
@emilseyfullayev1638 3 года назад
slov net, prosto bolshoy like
@user-urfinjuice
@user-urfinjuice 3 года назад
В восторге друг
@user-op5it8kv8o
@user-op5it8kv8o 3 года назад
Единственное не понял в конце: в функции parser() save_doc() внутри цикла for а не за его пределами.(по идее же должен быть на месте pass?). И ещё момент: почему в разных функциях одно и тоже название списка cards? Работаем с тем же объектом?
@denisgoldman3255
@denisgoldman3255 Год назад
Спасибо за видео! Один вопрос, как парсить по списку ссылок? Есть определённые ссылки на страницы, с которых нужно спарсить title и h1. Как это сделать?
@anns7309
@anns7309 2 года назад
Спасибо за видео! А как правильно пройтись циклом, если нужно пройти по ссылке заголовка банковской карты и оттуда уже брать доп инфо?
@irinastecenko91
@irinastecenko91 Год назад
Круто.Спасибо.👍👍👍👍👍👍👍👍👍👍
@arturogatti4462
@arturogatti4462 4 года назад
Здравствуйте Андрей! Вы знаете фреймворк Flask? Если да то планируете сделать уроки по Фласку?
@user-wn4ns8ju6f
@user-wn4ns8ju6f 3 года назад
Спасибо большое за видео, все очень грамотно объяснили. У меня небольшой вопрос, а как сделать запрос если в одном классе допустим несколько
@YouMeNow88
@YouMeNow88 3 года назад
По C# планируете уроки или не работали с ним? Что можете сказать об этом языке? Спасибо
@avemaria6854
@avemaria6854 3 года назад
спасибо за урок
@7eventv576
@7eventv576 4 года назад
Классный канал👍
@user-pe8qh6le7g
@user-pe8qh6le7g 3 года назад
Всё полезно, просто и для тупых. Уважуха и респект!!!
@alexlem3597
@alexlem3597 2 года назад
Спасибо за урок. А как парсить динамический сайт, где поля предствляют собой ивенты? Ну то есть ты выбираешь там из менюшек все что надо и сайт делает запрос по апи чтобы выдать информацию в форме?
@Morphem85
@Morphem85 4 года назад
Какой шрифт используете в пайчарм? Красивый...
@pchuprinina
@pchuprinina 3 года назад
Чтобы захватывал последнюю страницу необходимо писать range не захватывает последнее значение
@incognito5797
@incognito5797 4 года назад
Спасибо за контент! Есть вопрос. Например на фрилансе не принято отправлять данный скрипт в виде какого- то приложения? Например exe'шником. Или просто скинуть скрипт будет норм?
@user-vg4kj7mx2z
@user-vg4kj7mx2z 3 года назад
ну наверное дальше уже с каким то ещё модулем уже компилируется в экзешник
@incognito5797
@incognito5797 3 года назад
@@user-vg4kj7mx2z понял
@incognito5797
@incognito5797 3 года назад
@@user-vg4kj7mx2z кстати я вспомнил, что можно через консоль компилировать
@othelnik6659
@othelnik6659 3 года назад
А почему у меня парсится не страничка объектов а только один объект на страничке??
@sastash2294
@sastash2294 2 года назад
Спасибо!
Далее
Arigato !! 😂
00:11
Просмотров 3 млн
Khabib came to check on Poirier 👀 #UFC302
00:25
Просмотров 586 тыс.
KO’P GAP ESHAKKA YUK!😂
00:57
Просмотров 948 тыс.
Arigato !! 😂
00:11
Просмотров 3 млн