6 ключевых методов предсказания временных рядов в одном коде: MA, LR, K_near , ARIMA, Prophet, LSTM. Испытания проводятся на дневных котировках акций MSFT
Подача может и не совсем обычная для многих комментаторов, но основная инфа для понимания чего-то есть. В русскоязычных ресурсах не так просто найти подобное и простое
Большое спасибо, Виктория! Если мне и хотелось внести какой-то вклад в информационное пространство , то скорее именно такой слабый, ограниченный и несовершенный. Чтобы каждый мог посмотреть и прикинуть - "Ну если у этого чела с его тараканами получается в этом разбираться, то я то уж сделаю это гораздо эффективнее, быстрее и лучше!"
Линейная регрессия в принципе для такого не применима. Получившуюся линию никак нельзя будет использовать на практике. По факту, она показывает только тенденцию к развитию, если датасет в среднем растет, то будет прямая "вверх", если в среднем падает, то будет прямая "вниз", если датасет большой с длительным интервалом, то и прямая будет нейтральной, по которой сказать ничего нельзя.
Вы абсолютно правы. Она ( в некотором смысле) дает нам лишь представление о линии, которая делит примерно напополам наш датасет. Половина суммы отклонений от этой линии будет лежать выше, а половина ниже.
К сожалению, я писал этот код на нотбуке с которого утратил доступ к эккаунту. Могу только поделиться ссылкой на исходный код с которого я и писал свой. www.kaggle.com/code/paramarthasengupta/microsoft-stocks-price-prediction
а не знаете почему sarimax орет что памяти не хватает если сезонность большая? 52+ сезонность сжирает 32 гига памяти постепенно и вылетает)) арима только на короткосрок работает именно из за своей сути + все в видео надо ж настраивать и из коробки не работает норм
RMSE - чем меньше, тем лучше, да. Это корень из среднеквадратичной ошибки. "Фантастический" результат lstm связан с неправильной методикой предсказаний: если я правильно понял код, его автор разбивает датасет на окна в 40 свечей - и для каждой свечи предсказывает 1 следующее значение. Затем окно смещается на 1 свечу, и так далее. Такое решение встречается чаще всего, но для практических целей оно бесполезно - нейросеть просто предсказывает +- близкое значение относительно последней цены, не более( А при множественном выводе такой точности нет и близко.
@@sergeyzinchenko9718 Там в блоке предсказания нужно было предсказывать для первой 40-ки и для последующей 40-ки брать ранее предсказанное, а там берется известная цена valid. Как итог мухлежа - график чудесным образом рядом с реальной ценой
Автор решил взяться за предсказание временных рядов, не утруждая себя пониманием сути алгоритмов. Судя по всему, для него MA, Prophet и LSTM - это всё равно что волшебные палочки, только махни - и готово предсказание. Что ж, амбиции похвальны
Здорово! Вы очень точно описали мое поверхностное понимание этих сущностей. Причем, как тогда, так и сейчас! ) Извиняет меня лишь то, что даже сильноумные мире сего типа Карпатного ( надеюсь я не исказил его фамилию) и многих других, тоже полагают, что машинное обучение все еще выдает кофейную гущу, на которой приходится гадать. А смена ингредиентов и их долей лишь меняет характер самой гущи. Неопределенность трансформируется, но не устраняется. С этим придется жить! )
Судя по мнениям многих крупнейших разработчиков на их страницах в Х в части машинного обучения такой прогресс не столь уж достижим! Люди, которые потратили на эту область знаний десятки лет жизни и достигли высочайшего уровня оплаты и общественного признания, частенько сокрушаются о том, что малейшие изменения в параметрах моделей часто приводят к колоссальным изменениям данных на выходе. Что не позволяет надеяться на достижение определенности и построение привычных для человеческого мозга причино-следственных связей. Похоже, что напрасно мы называем искусственным интеллектом комбинаторные игры на векторном пространстве.
@@Pythoncode-dailyразве успех алгоритмов(LLM например), успешно решающих задачи за пределами их первоначального назначения, не свидетельствует об их адаптивности и потенциале? И если модель способна проходить различные тесты, имитирующие человеческие реакции и поведение, не говорит ли это о ее способности к глубокому пониманию устройства нашего мира? Да, малейшие изменения в параметрах могут привести к значительным колебаниям в результатах, но это также подчеркивает сложность и тонкость настройки моделей, а не их ограниченность. В этих сложностях и кроется потенциал для дальнейших открытий и улучшений
Вы правы! Если бы в этом не было смысла, то на это не было потрачено теперь уже сотен миллиардов долларов. Но если Вы проводите миллиарды тренировок модели, то периодически на выходе Вы будете получать потрясающие результаты. Но будут ли они гарантировать, что применение модели будет столь же эффективным и в других экспериментах. Я не предполагал, что эти попытки нужно остановить ( тем более в них вложены такие огромные деньги, что никто на это никогда не решится).. Я лишь предостерегал от обольщения успехами, которые могут носить комбинаторную основу. Но это лишь субъективный взгляд на эти процессы, за который я не стану держаться. Что меня действительно смущает, это то, что если бы такие ресурсы, как тратятся на обучение только одной современной модели были потрачены на другие области человеческой жизнедеятельности, то их эффективность была бы в сотни раз выше. Они могли бы спасти или улучшить жизни. Но из них не получилось бы раздуть пузырь и загнать капитализацию NVDA на немыслимые высоты.
Сначала и не понял, это видео про политику или про программирование) С одной стороны спасибо, что затронули известные популярные подходы. С другой стороны - вот эти отхождения от темы кринжовенько выглядят.
Согласен! Но не получается жить в обществе и быть свободным от общества. Мне не хотелось бы лукавить - у меня есть определенная точка зрения на ситуацию и скрывать ее было бы лукавством. Если в вопросе противостояния России и НАТО я на стороне России - то пусть те, кто смотрит мои видео знают об этом. Тем более, что другие видео, направленные на анализ интенсивности и эффективности СВО куда более политизированы.
Я не был столь категоричен в своих оценках. Но Вы правы - на месте Фейсбук ( Меты) вкладывать деньги в продукт, который дает столь нелепые прогнозы как Prophet - это и глупо и стыдно! Ведь, под влиянием авторитета разработчика, люди могут использовать их для решения важных задач. А это чревато непредсказуемыми последствиями..
Спасибо за ответ! Вы правы , Евгений! Однако, хотим мы того или нет, но в 99.999999% случаев нам приходится пользоваться элементами кода, который уже давно был кем-то создан. Даже значительная часть бизнеса Майкрософт построенна на коде "притыренном" у разработчиков на GitHub. Для меня написание кода - это комбинаторная игра, в которой мы сочетаем различные известные элементы кода для того, чтобы в последствии получать нужный нам результат. В данном видео мне было важно понять стоит ли тратить время на то, чтобы использовать раскрученные методы предсказания временных рядов в той предметной области, которая меня интересовала. Полученный отрицательный ( по сути) результат тоже полезный результат. Он сэкономил мне огромное колличество времени.