Меня особенно привлекло это видео, поскольку оно посвящено LM Studio, теме, которая меня интересовала в последнее время. Благодаря этому видео я получил ценную информацию о различных аспектах обучения модели машинного обучения, которая помогла мне понять, почему моя модель LLM Mistral-7b-instruct-v0.2.Q8_0.gguf работала неэффективно. Четкие объяснения и практические примеры автора сделали сложные концепции намного более доступными, что позволило мне не только улучшить мой текущий проект, но и расширить свои знания в этой области. Я хотел бы выразить искреннюю признательность за время и усилия, потраченные на создание этого видео, а также за то, что поделились ценной информацией с сообществом. Спасибо!
Не корректно сравнивать 7B открытые модели и ChatGPT 3.5 на 175b. Ясное дело что последний будет выдавать ответы лучше) Но если использовать файнтюнинг - тогда локальная 7b в определённых задачах может показывать даже лучшие результаты. Но в целом видео хорошее, особенно для новичков, спасибо =)
Подскажите нет ли возможности какой либо модели локальной, присобачить функцию поиска информации в интернете? как у гпт? чтоб она могла залезть в поисковить и собрав инфу выдать результат в совокупе?!
Пишем скрипт который идет в Яндекс и парсит выдачу, правда вот Яндекс это не очень любит, но думаю это возможно. Результаты добавляем в промпт. Но нюансов конечно немало - инфу надо фильтровать, можно поймать капчу в Яндексе, итд. Но в теории это возможно
Уважаемый автор, благодарю за видео! Вопрос: а как дообучать модели? Допустим есть куча книг с распознанным текстовым слоем, и я хочу их скормить модели, после чего попробовать провзаимодействовать. Как это делается? Можно ли снять отдельное видео? У вас в примере можно взять дообучение для корректировки результата выдачи, чтобы было как у ChatGPT. Насколько я понимаю, дообучить тот же ChatGPT вряд ли получится... Заранее благодарю.
Эти модели честно говоря не знаю как дообучить) Да и lmstudio - это всего лишь эксперимент был, а вот про chatgpt хотел снять ролик с дообучением, но пока не успел
Здравствуйте! А подскажите, что у вас за машина в видео? Хочется понять примерно соотношение мощностей/характеристик, чтобы не пробовать много моделей для тестов
Asus Vivobook, Процессор 11th Gen Intel(R) Core(TM) i7-11370H @ 3.30GHz 3.30 GHz, 16ГБ оперативки, но у меня не работает ускорение GPU, возможно в этом проблема. Вообще в идеале найти вариант где под вас выделяют нужное количество ресурсов, тогда всё это гибко будет работать. Ну либо ускорение всё же задействовать
Почекал у себя... Ответ про SQL-запрос самая большая модель Q8 (не Q3, как на видео) на проце 13600 сгенерировала за 6+11=17 секунд (нагрузка при этом была около 80%). И кстати, ответ был более правильный, почти как у ChatGPT (только вместо простого SELECT * оно напридумывало туда конкретных полей). На GPU 4070 Ti этот же запрос занял 0.5+1.5=2 секунды. Слоганы сгенерились за CPU: 7+17=24 и GPU: 0.8+2.1=2.9 секунды. А история вышла за 40+92=132 и 0.3+13.1=13.4 соответственно. Правда мне выдало не прo Елену, а про Серёгу и Андрея почему-то. ))) Ещё раз - все вышеприведённые цифры получены на 8ГБ модели. Так что 4090 не обязательна, хватит и 4070. ;) На GPU выходит примерно в 10 раз быстрее.
@@user-pv8it1ml9y Видюха большую роль играет для нейронки? У меня собран ПК на двухпроцессорной матери. Суммарно 54 ядра получается, но низкая герцовка, 2.2 что ли. И 120Гб оперативы, но видюха стоит простенькая. Хочу затестить.
Мне кажется тут только новый диалог заводить с ним, потому что он помнит что вы обсуждали в прошлом и отвечает также. Но при обращениях через сервер такой проблемы быть не должно
@@directprobi у меня 4Гб видеопамяти, определяется и используется Nvidia CUDA, небольшие модели типа phi-2 (~5Гб) с параметром -1 помещаются и работают моментально. На больших, я как понял, нужно подбирать параметр, по субъективным ощущениям прирост есть.
@@kosan_ интересно, ну может правда от этого ускорения сильно зависит, попробую на другой машине может получится что-то, но в идеале хотелось бы запускать большие модели, а он их даже скачивать не предлагает
Т. е. ты, консультант, совершенно не знаешь, что обработка LLM моделей рассчитана на работу с графическими картами и именно с архитектурой CUDA ядер от NVIDIA ? ))) И процессор здесь вообще "...нервно курит в сторонке"... Замечательно! )) У меня проц восьмилетней давности 4 ядра Core i5 2500...,16Gb Ram..., Но благодаря установленной Asus RTX 3060 12Gb Vram на этом конфиге вполне нормально бегает Stable Diffusion A1111 за секунды "перемалывает" 6Гб генеративные модели "картинок"... Пересмотри своё отношение к собственному "железу" раз уж ты направил "свои стопы" в сторону ИИ да ещё на и локальной машине. Там на офисном ноуте делать НЕЧЕГО!!
Если у тебя твой ноутбук нихуя не тянет, так нехуй эти агрызки сравнивать с платными моделями, которые работают на серверах за целую кучу десяткав, или 100тен тысяч баксов. Загрузил бы на калаб эти локальные модели и тестировал а не на своем 16гига говне.
@@directprobi Не слушай всяких деградонтов. Отличное видео. Не у всех есть возможность юзать платные модели. Пусть на старте будет даже такая версия. Если есть возможность ее дообучить, то вообще кайф.
