Скорость вычислений на Python (урок №4) 

Важные замечания и исправления: 1:13:21 -- запуск через Pool получился настолько быстрее только потому, что я забыл в range вписать +1, то есть не вычислялось последнее число Фибоначчи. 1:37:48 -- долго не мог победить undefined symbol, а затем вычитал в nesi.github.io/perf-training/python-scatter/ctypes что нужно делать extern "C" в файле.cpp В репозиторий выложил исправленный файл статистики с новым замененным временем работы с Pool, а также Makefile для сборки С++ библиотечки с функцией fib.

Мне кажется, что если убрать ограничение по времени от урока, то Тимофей Хирьянов расскажет нам все про програмированию. На каждом уроке узнаю кучу нового материала. Спасибо Вам большое.

Тайм-коды: мультипроцессность/ multiprocessing, родительский процесс, дочерний процесс, очередь/queue 0:00 скорость вычислений. Какая бывает параллельность. Иногда необходима асинхронность 3:38 времени вычисления зависит от компьютера, на котором производятся вычисления 5:51 Код. Пример№1 1_fib_simple. py самый простой, без параллельности. import time 9:15 Запуск Пример№1: один процесс на Python - 58,11 сек 9:58 нити могут помочь ускорить на другом языке, из-за GIL нет реальной возможности ускорения кода на чистом Питоне 10:38 Мультипроцессность multiprocessing . Process процесс. Многопоточность 12:31 Код. Пример№2 2_process. py. Распараллеливание, без очередей from multiprocessing import Process 13:53 схема вычислительных процессов: родительский процесс, дочерние процессы. Множественная параллельность на Python регулируется не интерпретатором, а ОС. Без общей памяти shared memory 20:23 механизмы передачи данных и возврата. через модуль multiprocessing просто передать параметры функции. Без очередей 21:15 Код. Пример№2 32:16 запущенные процессы 35:29 Запуск Пример№2: 40 процессов - по одному на каждое число - 36,67 сек 37:31 №2 блок-схема 38:50 Пример№3. блок-схема. Модифицирование передачи информации: не по 1 воркеру(исполнитель, вычислительный процесс) на 1 процесс, а цикл с процессами на всего несколько воркеров. Очередь Queue 46:38 Код. Пример№3 3_queues. py 48:29 Queue Очередь из multiprocessing 49:22 Организация параллельной работы. put и get в/из очереди 54:52 Родительский процесс/Parent process и Дочерний процесс/Child. Воркеры/ Workers 59:12 Запуск Пример№3 1:03:28 очереди атомарны 1:05:57 Запуск Пример№3 с очередями, 4 процесса: 34,94 сек 1:07:16 Запуск Пример№3 с очередями, 2 процесса: 37,40 сек 1:09:06 Pool в multiprocessing, вместо process с queue. Нет очередей, нет явного создания вычислительных процессов, сортировать не надо 1:10:30 Код. Пример№4 4_pool. py 1:14:12 Запуск Пример№4 Пул из 4 процессов: 27,26 сек 1:15:00 Код. Пример№5 5_fib_numbers. cpp код на С++ без параллельности 1:17:52 Запуск Пример№5 на С++: 1,26 сек 1:18:55 параллельность в С++ 1:20:14 Пример№6 библиотека ctypes. Способ вычисления на Си, но запускаться из родительского Питона 6_fib.cpp 1:21:43 код на С++ скомпилировать, как shared memory 1:24:58 ctypes запуск в Питоне кода, который написан на С 1:30:27 Код. Пример№6 6_fib. o 1:38:36 2 главных вопроса, когда хотим что-то ускорить: 1) язык программирования, 2) более важно: выбор правильного алгоритма 1:39:43 Код. Пример№7 kiss. py динамическим программированием на Питоне 1:42:20 Запуск Пример№7: правильным алгоритмом 0,02 сек 1:44:08 Вывод. С чего начинать ускорение и что дальше

Век живи, век учись! Буду заниматься! Спасибо за мотивацию!

Лайк за обучение. Спасибо Тимофей)

Ещё одно красивое решение без параллельности через автоматическую мемоизацию: from functools import lru_cache @lru_cache(maxsize=None) def fib(n: int) -> int: if n < 2: return 2 return fib(n - 2) + fib(n - 1) if __name__ == "__main__": for i in range(1000): print(f"fib({i})={fib(i)}")

Вот! На могилах сразу понятно стало) Спасибо за лекцию!

Отличная подача материала! Спасибо!

Надеюсь на продолжение курса, как всегда очень интересно

Сам с удовольствием смотрю (чтобы не отупеть), привлёк к просмотру своих работников и готов спонсировать продвижение Вашего канала. Тимофею, 7 лет из Набережных Челнов в ближайшее время деньги переведем. Спасибо за интересное занятие.

У Вас замечательный подход к Преподаванию предмета, даже мне учившемуся в 2003г ( Assembler, Pascal, C++) хочется с Вашими лекциями изучать Python, хотя это для меня дело факультативное. В работе моей увы все больше железо, а не программное обеспечение. Но тянет к старому... Успеха Вам!

Из интересу поэкспериментировал, сколько чисел Фибоначчи динамическим программированием будет подсчитано за сравнимое с рекурсией 40 чисел время - около 35 сек. На сравнимом компе (i5 двухъядерный 2012 года) получилось 140000 (Cто сорок тысяч!) Посчиталось за 35.14 секунд. Заодно выяснил, что стосорокатысячное число Фибоначчи состоит из 29583 десятичных цифр. Полезное знание :)

Когда следующая серия? Неделя прошла уже. каникулы что ли?

По своему опыту могу сказать, что в реальной работе программисту стоит по возможности привлекать специалистов из предметной области - потому что да, мы заменили рекурсию на цикл (по сути хитрый синтаксис питона в последнем варианте об этом, но я работаю с Java) и потратили ресурсы (свое время, которое заказчику стоит денег), но математик или специалист по алгоритмам мог бы указать на вариант расчета через матрицы, когда за одну итерацию мы получаем более одного числа Фибоначчи. Интересующимся (можно назвать это задачей со звёздочкой) - подробности здесь: ru.wikibooks.org/wiki/Вычисление_чисел_Фибоначчи (в конце). Но в рамках урока, который безусловно прекрасен - это излишне. Да и бизнесу зачастую важна скорость разработки и результат, оптимизация это уже когда-нибудь потом, как правило. Тимофей Федорович, спасибо за урок - были бы такие 5 лет назад, когда только начинал - может был бы питонистом)

Надеюсь, мой предыдущий комментарий и pr в ваш репо вам так или иначе помогли) Некоторые дополнения я всё же напишу: 1. Честная (ну почти) многопроцессность в Python есть, реализована она так: для каждого процесса просто запускается свой интерпретатор. 2. Количество процессов как для воркеров в application server (будь то gunicorn или uwsgi), так и внутри программ принято считать как 2 * cpu_count + 1. Кол-во ядер можно узнать через os.cpu_count(). 3. top - старая утилита, вместо неё сейчас используют htop, которая позволяет искать процессы, фильтровать, убивать их, смотреть используемые процессом переменные окружения и файлы etc. 4. Также рекомендую познакомиться с tmux, который позволяет разбить окно терминала на несколько не зависящих друг от друга частей. Это поможет вам писать код в одном блоке одного окна терминала, запускать код в другом блоке. 5. Глобальные константы принято писать в UPPERCASE для удобства чтения кода: если встретилась какая-то штука в верхнем регистре, то это, очевидно, некоторая константа. 6. Начиная с Python3.8, вместо f"number = {number}" можно писать f"{number = }", или f"{f(x) = }". Некоторые тонкости форматирования строк: realpython.com/python-f-strings/ 7. В конце вы написали алгоритм подсчёта чисел Фибоначчи, но сделали это неэффективно по памяти: каждое из чисел будет сохраняться, т.е. алгоритм O(n). А если понадобиться посчитать 100-е или 1000-е число, то RAM может попросту закончиться (например, 2**1_000_000 будет весить 133'360 (!) байт). Я думаю, датасатанистов можно познакомить с генераторами, ведь эта штука несложная: pastebin.com/btcUAVka (реализация почти того же алгоритма только с О(1) по памяти) 8. Для серьёзного ускорения Python кода используется Cython - библиотека, позволяющая писать из питона на С. Вновь отсылаю к курсу «Async Techniques and Examples in Python» Майкла Кеннеди. Весь курс занимает 5 часов, там есть блок по Cython. Я думаю, ознакомление с ним займёт пару часов). Он есть на nnmclub с субтитрами, но если что курс я могу вам скинуть. 9. Type hints - это обязательный аспект кода в продакшене. Заставляйте, пожалуйста, студентов писать подсказки типов. Ну и соблюдать PEP 8, PEP 257 и т.д.)

Большое спасибо! 👍

Очень бы хотелось увидеть видео по применению параллельных вычислений для обеспечения интерактивности, например как обходить блокирующую функцию input?... И еще про совместный доступ к памяти из разных процессов тоже! Спасибо! :)

Финалочка красивая))

Тимофей Федорович, убедительная просьба: сделайте, пожалуйста, возможность спонсировать Ваш канал.

Если запихивать задания в очередь начиная с наиболее сложных, можно выиграть время. В данном случае это аж несколько секунд! У меня получилось 27 против 32 в прямом порядке на четырёх ядрах Core i5 чего-то там

Спасибо

Спасибо за лекцию, Тимофей. Вас очень часто смущал результат fib(0)=1 . Просто напишите это - и проблема исчезнет: if n > 2 else n

Когда я заставлял распберри дёргать ногой сначала через питон, потом через си++, то у плюсов по сравнению с питоном выигрыш в быстродействии был в 26 раз! Т.е. переключение ноги из 0 в 1 и обратно в цикле на питоне дало на выходе частоту в 1.0-1.3 МГц, а на плюсах -- 26-27 МГц.

Тимофей Федорович, можно ли будет начать смотреть этот курс после просмотра вашего курса "2020 Практика программирования на Python 3"? Или нужно что-то ещё до этого пройти, чтобы понимать о чем говорится?

TL;DR: Как увеличить скорость выполнения программы на Питоне? Переписать на Плюсах. )

Спасибо за лекцию. В варианте с pool резлуьтат вывода на экран отличался от остальных, не вышло последнее число фибоначчи. Поэтому результат 27 секунд не верен.

А как правильнее запускать параллельность, но если время создание очереди в родительском процессе тоже имеет значение? Плюс очередь перед запуском процессов содержит некие данные, а это значит она занимает память, которая тоже не резиновая. Как бы так не получилось что не хватит памяти в процессе набивания очереди данными. Простейший пример - импорт чего то из одной базы данных в другую. Запрос на импорт вернул миллион строк. Начинаешь формировать порции данных пакетами по N строк, и воркер/процесс должен выполнять некоторое сложное преобразование данных и записывать скажем в несколько разных таблиц. То есть данные должны начать обрабатываться в дочерних процессах ещё до того как будет закончен обход выборки результата запроса. И самый интересный вопрос. Если по какой-то причине один из дочерних процессов кильнет какой-то негодяй, не хочется повторять весь процесс сначала, а хочется повторить исключительно обработку только тех данных, которые умрут вместе с убитым дочерним процессом. Вычисление функции Фибоначчи конечно прикольно для урока, что её можно алгоритмически ускорить, но жизнь имеет другие краски 😀

Тимофей Федорович, спасибо за лекцию. Не могли бы Вы прокомментировать использование библиотеки numba для ускорения и распараллеливания кода. Заранее спасибо.

У вас ошибка при работе с пулом, в range, нужно заменить final_fibonacci_number на final_fibonacci_number+1. пул не просчитал самый сложный, 40ой элемент

👏👍

Очень странно: код на 32:00 минуте запускаю в IDLE - не выводятся строки "worker ..., PID ..." Запускаю в PyCharm тот же код - выводятся. Кто-нибудь знает в чем дело?

Запуск Си из Питона from ctypes import cdll lib = cdll.LoadLibrary("./libfoo.so") lib.Foo_bar("hello")

ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-UA4Wsp3AWYc.html Эффект взорвавшийся бомбы в голове, но что бы это почувствовать, надо смотреть с самого начала

Здравствуйте. Нравятся Ваши лекции, но записей стало очень много и это затрудняет поиск интересующих тем. Может есть возможность добавить вступительный кадр на заставку видео (с темой видео)?

ПОМОГИТЕ ПОЖАЛУЙСТА С КОДОМ!!! В Pydroid 3 код работает но только в этой программе. В других ошибка: Traceback (most recent call last): File "", line 1, in ModuleNotFoundError: No module named 'pyowm' Код:from pyowm.owm import OWM from pyowm.utils.config import get_default_config config_dict = get_default_config() config_dict['language'] = 'ru' owm=OWM('a5aeac62b5011815ca655f34d5145865', config_dict) while True: try: place = input('У якому місті ви хочете знати погоду? Введіть правильну назву міста: ') monitoring = owm.weather_manager().weather_at_place(place) weather = monitoring.weather status = weather.detailed_status temp = weather.temperature('celsius')["temp"] print(f'В місті {place} зараз {status}, а температура сягає {temp} градусів') break except: pass if temp < 10: print("Зараз дуже холодно, одягайся тепло") elif temp < 20: print("Зараз трохи холодно, одягайся тепліше") else: print("Зараз тепло, зручно й легко одягайся")

Жаль, что робовойс на этой записи :(

Такое впечатление, что Тимофей просто прочитал сам материал за день до самого урока. И даже примеры приводит на Jupiter.

Красота: 99% времени лекции отправили в помойку. Алгоритм решил все проблемы. Может, на неудачные варианты отводить меньше времени?