Основы многопоточности в Python

Подписаться 16 тыс.

Просмотров 4,3 тыс.

50% 1

Продолжая тему конкурентности и параллелизма посмотрим на старые добрые потоки.
multithreading - многопоточность, подходит для IO-bound задач, использует ОС, страдает от GIL (важно помнить)
Полезно для ускорения выполнения задач или для того, чтобы текущий поток занялся другой задачей
Любая программа это минимум один процесс и один поток
Полезно использовать daemon=True, очереди, pool exeсutor, НО в любом случае все зависит от программиста!
Плюсы:
+ просто(сравнительно)
+ быстро
+ не умирает из-за одного(!)
Минусы:
- потребление ресурсов (ОС)
- неуправляемость (старт, приостановка, переключение)
- проблемы потоков (гонка, блокировки)
Читать:
docs.python.org/3.10/library/...
docs.python.org/3.10/library/...
Фаулер М. "Asyncio и конкурентное программирование на Python"
Присоединяйтесь к помощи каналу, будет интересно)
✔️Бусти boosty.to/python_russian/donate
✔️Юмани 410011506612886
Будь первым везде и всегда, включай уведомления о новых выпусках 🔔
#Python #PythonRussian #PyCharm

Опубликовано:

17 дек 2023

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 34

@PythonRussian 5 месяцев назад

Друзья, к сожалению предновогодняя пора - это время залатать дыры и отрелизить все , что можно, времени нет совсем. Но надеюсь до Нового года еще одно видео сниму. Не забывайте подписаться на канал и всем удачи.

@databox4279 5 месяцев назад

Удачи и Вам. Огромная благодарность, что находите время для создания новых роликов.

@PythonRussian 5 месяцев назад

ребят, я не удаляю никаких коментариев, кроме совсем уже отмороженных, если ваш коммент удален, то вы или код какой то там прицепили или ссылку или мат там есть, Ютуб удаляет сам. Просто вижу в почте мне пишут, что я мол удаляю комменты, это не я =)

@01011968Desgner 17 дней назад

27:54 То что вы рассматриваете, это не состояние гонки, а ситуация с устареванием данных. Введение задержки просто приводит к потере актуальности данных. Потоки не конкурируют за ресурс, они просто оперируют устаревшими данными. Хотите гонки? Пишите данные из разных потоков в один файл!). И думать, что скорость переключения потоков - это постоянные пять миллисекунд - заблуждение!) Поставьте в свой скрипт задержку в 0.001 секунды (в пять раз меньше) все равно получите искаженные данные.

@MrVovak85 5 месяцев назад

Спасибо за проделанную работу!

@01011968Desgner 17 дней назад

Вопрос про использование демонических потоков с join(). Разве это не полный аналог запуска недемонического потока? Ожидание продлится до завершения потока в обоих случаях. В чем профит? Ведь если есть join() потока, то его никто прибивать до его завершения не будет?

@01011968Desgner 17 дней назад

17:12 Главный поток завершился, но не умер. Главный поток будет ждать завершения всех недемоничесих потоков. def background_task(mainthread): print("Фоновый поток начал работу") time.sleep(2) print(f"Основной поток жив? {mainthread.is_alive()}") # False active_threads = [thread.name for thread in threading.enumerate()] # ['MainThread', 'Thread-1 (background_task)'] print(active_threads) print("Фоновый поток завершил работу") Передайте основной поток в функцию и убедитесь, что он присутствует в списке активных потоков! ) Дело в том, что этот поток особенный, даже если у нег is_alive()=False - он остается в списке активных потоков до завершения программы.

@marinatsoy6779 4 месяца назад

В вашем объяснении все начинает играть другими красками)

@non5309 5 месяцев назад

Хороший выпуск. Пул потоков тоже создает потоки, там все те же низкоуровневые обращения к ОС, просто они могут быть переиспользованы (вызывать задачу несколько раз с разными наборами аргументов). В остальном - замечательное видео.

@user-hg1no6mz8y 4 месяца назад

Здравствуйте! Ваш канал - жемчужина из себе подобных. Благодарю за подробное объяснение. Я начинающий в этой сфере и пытаюсь своими силами изучить Питон в свободное от работы время. Могли бы записать видео о фреймворках? Например Джанго. Спасибо.

@Miron_MipoX 5 месяцев назад

Для таких тем нужно не запись в 50 минут, а вебинар на 8 часов) с тестами, с ООП, с архитектурой. с использованием различный паттернов. Можно реальную лекцию подготовить) Так же конечно можно рассказать что бывают и RLock и что все это может работать с контекстным менеджером) А еще бывают семафоры, барьеры и куча всего бескрайнего) Провести аналогии с multiprocessinig, то как одни могут порождать других. И все это весьма интересно и Автор конечно прав, это вершина айсберга и нужно глубоко самому погружаться в вопрос. На русском языке в сети скудно с данной инфой, к сожалению.

@non5309 5 месяцев назад

дофига, вы просто плохо искали

@user-tb2jp7kg2c 4 месяца назад

Спасибо за видео! Очень полезно

@ilyaukhlin3501 2 месяца назад

Спасибо большое за видео)

@Miron_MipoX 5 месяцев назад

Супер интересная тема. Когда изучал, случился очередной инсайд. Автор говорит что это сложная тема, даже для олдов. Но на удивление, сейчас это требуются даже от джунов, но это не означает что это просто))

@non5309 5 месяцев назад

асинхронку, потоки спрашивают похоже вообще все теперь. Даже если в вакансии про это не слова.

@PythonRussian 5 месяцев назад

от джунов требуют скорее какого то представления об этом, как минимум про ГИЛ всегда спрашивают.

@non5309 5 месяцев назад

@@PythonRussian вот что спрашиваем мы и спрашивают другие по этой теме: системные вызовы, GIL, виды операций, концепция асинхронного программирования. потоки/процессы с точки зрения различий, межпроцессное взаимодействие, сигналы, прерывания, планировщик ОС. Это минимум, если человек плавает и не знает этих основ, то пока.

@01011968Desgner 17 дней назад

24:13 Когда происходит одновременный старт 10_000 потоков, то подозреваю, что выполнение CPU-bound вычислительной задачи происходит по любому последовательно, действие за действием. Еще есть подозрение, что система не создает одновременно 10_000 активных потоков, ведь ранее, было сказано, что это число ограничено?

@ypohut1673 3 месяца назад

Коммент в поддержку🎉

@Chel1k7 3 месяца назад

что можешь сказать про либу gevent? она вроде бы убирает gil

@PythonRussian 3 месяца назад

ничего не скажу, когда то давно слышал, до прихода асинкио про гевент и торнадо, с тех пор не на слуху, надо разбираться что она и как делает.

@hdhdjdjdjjd1263 3 месяца назад

Привет, можешь рассказать что нужно знать, чтобы писать веб и стать джуном на питоне

@PythonRussian 3 месяца назад

тут разговор на целое видео, постараюсь запланировать на весну =)

@non5309 5 месяцев назад

потоки, процессы сложные если разбираться без практики. На степике есть курсы по этой теме с практикой. Не скиллбокс и ЯП за стопицот денег а адекватные.

@quansumonner 5 месяцев назад

Сэр, мне нужно мнение эксперта, и ваши навыки не вызывают сомнений. Как вы относитесь к накрутки опыта в разработке? Если другие варианты? У меня сейчас 2 резюме и единственное, что в них различается, это количество опыта, но на одном 2 отлика (о опыта), а на другом 26 (1.6 опыта).

@PythonRussian 5 месяцев назад

а как вы отнесетесь, если вам продадут машину со скрученным счетчиком? Нехорошо это, я против, это же обман, причем такой, который вскроется. У меня много знакомых в рекрутинге и они мне каких только историй не рассказывали, включая и прохождение собеса одним человеком, а на работу пришел другой. Не надо так, сделай крутой пет-проект, добавь его в резюме, не откликайся на все подряд, добавься в линке к тысяче ХР - вот это поможет. и не переставай учиться

@quansumonner 5 месяцев назад

@@PythonRussian Спасибо за ответ. Насчёт машины пример неподходящий, у меня нет прав. Проблема в том, что у меня есть pet-проекты: начиная от простенького: 'сервиса бранирования', Чат-бота по спортивной тиматики( который 'крадёт' идеи у некоторых блогеров, всё в открытом доступе), заканчивая своей библиотекой для NLP ( кое-что позаимствовал у Chainer). И при этом у меня Experts(это ранг) на Kaggle, да это не мастер(это в процесе), но всё же. Я даже не знаю, что ещё сделать:) Не очень кайфово, когда проходишь интвью во 'фейку', а по реальному тупо не зовут. И я получил 8( из 11), но отклоняю. Не хочу врать, но у меня уже стадия принятия:) "мне рассказывали, включая и прохождение собеса одним человеком, а на работу пришел другой" - Кошмар! Учится нужно всегда - это база! Извените за обилие текса. Спасибо!

@PythonRussian 5 месяцев назад

кеггл не уверен что кому то нужен вообще, пет-проект нужен хороший и один, посмотри у меня стрим по этому поводу был

@quansumonner 5 месяцев назад

@@PythonRussian спасибо!