Тёмная сторона GPT 

Спросил "как собрать машину времени". Собрал, работала пока не перегорели транзисторы...

Видео должно начинаться со слов «Здравствуйте, мои маленькие любители экстремизма»))

Для тех кто хочет знать что такое: Q2 Q4 Q8 и так далее. Это одна и таже модель. Внутри там одно и тоже. Только уменьшена точность весов. Условно в Q8 записано число 1.9789976 В Q4 будет 1.9789 В Q2 будет 1.98 С одной стороны веса модели имеют значение. И точность определенно важна. Но исследования показывают что при уменьшении точности весов качество результата падает не в разы. Грубо говоря Q4 хуже Q8 на 10%, при этом весит в два раза меньше, и работает в несколько раз быстрее. Поэтому смотрим какая модель нас устраивает по качеству ответов и используем её, игнорируя более точные варианты.

Чем хороша нейронка : она как терпиливый учитель будет тебе объяснять что-то конкретное, из конкретной области, с еë помощью я изучил основы sql(без реляционной алгебры) , создал свою БД чисто запросами. Инструмент шикарный, ставишь задачу не зная как что-то сделать, она точно не скажет но укажет путь.

Да вроде бы получение тола даже в школьном учебнике есть(получается так же, как и нитроцеллюлоза или нитроглицерин). Прикол то в том, что толуол сам по себе очень опасный и достать его куда сложнее, чем литруху соляры и кило небезызвестного удобрения. Но с таким же успехом можно и с помощью освежителя воздуха подорваться и для этого познания в химии не нужны)

Всегда хотел чтобы GPT, раскритиковал мои полит взгляды, но он все отнекивался. Теперь, надеюсь, я найду себе собеседника на кухне

Мне очеень часто стали попадаться маленькие каналы, 200 подписчиков, 700, 1000 И это классно, на многих маленьких каналах очень классные видео Удачи тебе, надеюсь сам когда нибудь займусь ютубом

PC Config (Notebook - Asus Rog Strix G17): CPU: Ryzen 6800H GPU: RTX 3060 Mobile 120w 6Gb RAM: 64Gb DDR5 4800 Model: Recommended dolphin-2.5-mixtral-8x7b.Q4_K_M.gguf 26.44 GB GPU layers: 6 max (For 6GB VRAM) Скорость ответов зависит от сложности запроса. Для легких запросов редко бывает и 1 секунда. В среднем ~3-4 сек. Ответ печатается долго. Использует CPU и GPU на 100%. Все потоки, абсолютно. По умолчанию модель не загружается на 100% в RAM, а где то на 50%. Можно сделать так 100% в настройках. С казахским проблемы, ошибок 90%. С русским работать можно, но не идеально По ощущениям это GPT2. Очень рад что упростили установку и работу с оффлайн версиями нейронки.

классный ролик! какие бы ещё модели ЛЛМ порекомендовали для локального развертывания?

Спасибо. Годно. С праздниками!

огромное спасибо автору канала!🙏столкнулся с проблемой, что нужно написать большое количество диалогов между воинами в битвах, основываясь на противоречивых взглядах, конечно же, гпт чат облизывает все реплики, и это смотрится просто не то, что смешно, а просто нелепо, как раз таки эта нейронка, то что нужно для такой работы, еще раз спасибо😎👍

Судя по ответам GPT на вопрос "как выгрузить Ексель файл на абапе" ответ на вопрос "как сделать коктейль Молотова" будет опасен только для спросившего, если тот попробует применить ответ на практике

сегодня я понял, что 32 гига оперативки это мало...

На линуксе по краней мере можно использывать файл подкачки который поможет избежать узкого горлышка

На реддите был тест и только модель Nous-Capybara показала себя хорошо, dophin там вроде сломался

Спасибо, дружище, спасибо, к сожалению, по прошлому видео про PrivateGPT, пытался, выскочила ошибка, которую не смог победить) Теперь выглядит все значительно проще, спасибо

кстати про модели, сколько гигов она весит практически столько в оперативке и занимает. По крайне мере так у меня с моделькой 32гб. На 4090 с 64гб у меня съело около 30гб, и я что-то так и не понял как работает этот режим с видюхой, воткнул галку на GPUoffload и числом 20, огрёб лютецких тормозов и загрузку проца аж на 119% =))

Спасибо, поставил модель. Я взял пока что рекомендуемую - работает. Хотя на моём компе раз в 20 медленее, чем ChatGPT. Вот если бы найти модель, которая с программистскими задачами справлялась не хуже и работала быстро - было бы круто.

А можно ролик о практическом применении модели из первого ролика? Мне бы хотелось узнать, насколько точно она умеет работать с загруженными в нее данными. Например, резюмировать содержание параграфа из учебника. Или, допустим, сможет ли модель составить описание характера персонажа из "Войны и мир"? Буду рад посмотреть подобные практические примеры использования языковых моделей и рекомендовать друзьям.

Вопрос: На м1 8гб полет нормальный? Какую модель посоветуете? Опытом поделитесь пожалуйста

подскажите пожалуйста сколько ОЗУ и на какой частоте вы запускаете сети.

Сейчас на алике небывалый всплес на покупку оперативки, сам взял две по 32 ddr4 3200

Это бомбический контент

Спасибо за интересный контент, автор черезвычайно отзывчивый человек. Потратил свое время и помог мне решить проблему с установкой софта 😇

Привет, какие еще модели порекомендуешь?

видосы уже в рекомендациях вылезают, скоро популярным станешь

у меня Mac OS 11.7.10 Big Sur, нужна не ниже 13.6, есть ли прошлые версии LM Studio ? не могу найти чтобы установить подходящую версию на свою версию Mac OS

Я бы не очень доверял рецептам от нейросетки, учитывая как они считают буквы в словах и перечисли столицы мира.

Видео классное, но советую поменять название у видео, за такое и забанить могут быстро

Как всегда супер! Единственный вопрос: можно ли эту модель использовать в privateGPT, который ты установил на предыдущих роликах? Просто по умолчанию он использует Mistral...

Подписка, приятно смотреть , интерестно то что вы делаете

Какое умное описание

Привет! Почему из огромного множества моделей был выбран именно дельфин? Будет ролик с обзорами языковых моделей?

Ооо спасибо надо попробовать.

Кстати - видосы неплохие, хорошего развития канала)

Добрый день. Спасибо за видео. Пробовал недавно поднять себе модель на ноуте. Эта студия поставилась, но модель не запустилась. Не запустилась потому что у меня нет поддержки какого-то AVX2. Посмотрел, у меня только AVX. Ноут старый просто. И я решил накопить на новый. Но встал вопрос. Какие минимальные должны быть требования? Мне нужен именно ноут (стационарный никак), но дешевый. Получается мне нужно минимум 16 оперативы верно? а видеокарта.. сколько минимум? И какой минимум процессор? Просто будет обидно если я куплю и опять не заработает.. но с другой стороны много потратить не могу. Хочу понять на какой минимальный ценовой диапазон я должен рассчитывать чтобы простые нейронки ближайшие пару лет у меня могли подниматься. Вот если како-нибудь такой "Lenovo 15.6" Ноутбук lenovo R7000P, AMD Ryzen 5 5600H (3.3 ГГц), RAM 16 ГБ, SSD 512 ГБ, NVIDIA GeForce RTX 3050 для ноутбуков (4 Гб)" - то будет работать? "Заранее спасибо за ответы

Развернул Q5_K_M. При загрузке потребовала 52 Гига оперативки, при использовании стабильно отъедает 20 гигов. Как и обещали, работает жутко долго. Но работает. Русский язык в запросах понимает, но отвечает на английском.

Привет. Случайно попал на видео благодаря рекомендациям ютуба. Спасибо за это видео.

Хорош дружище, красавчик!

На Дебиане скачал модели из ролика, взял LMSTUDIO для Linux, гружу модель как в ролике и выдает ошибку загрузки модели, РАМ - 32 Гб Жаль, не пощщупать

Автор, наткнулся на твой канал совершенно случайно и так оказалось, что у меня возникла та же идея внедрения LLM в компанию, для удобства вычленения документации и прочих задач (например, для составления протоколов встреч, на основе транскрибирования аудио). Очень интересно, как в итоге продвигаются дела? Я только недавно начал разбираться, интересно узнать, какие подводные камни и айсберги уже встречались на пути коллег, дабы не наступать на те же грабли.

днако, “Max RAM required” указывает на максимальный объем оперативной памяти, который потребуется для работы с этим файлом. Это связано с тем, что при работе с нейросетями, особенно с большими, требуется значительный объем оперативной памяти1. В данном случае, для работы с файлом “dolphin-2.5-mixtral-8x7b-0.2_kg.gquf” потребуется максимум 18.14 GB оперативной памяти.

ПРИКООЛЬНО))

как стереть все общение с аи? если задаю вопрос и например резко меняю тему в другое русло он все продолжает отвечать ответами на 1ый вопрос.спасибо

как бы ещё конвертировать питоновские модели в gguf без заморочек с командной строкой ☺благодарю за открытие новых возможностей

8:03 - не надо меня целовать.

Спасибо автору, очень интересный опыт

есть 128 озу и 24 на видео карте. с супер быстрыми m2 pcie5 в нулевом рейде. чисто ради теста попробую, как будет вывозить.

респект автору канала, занимаюсь рерайтом историй разных, цензура в чат гпт меня просто дико бесит, невозможно работать.

Я тебя уверяю -если немного голову подключить, то официальный GPT выдаст такие же формулы, просто нужно знать волшебные формулировки, надурить его и обосновать - не сложно, правда - чуть подумать нужно )))) Ну и GPT шустрее банально

Спасибо за видео! А заходить через ВПН?

Господа , подождите буквально год , в след декабре выйдет карманный вариант chat gpt в коробке. Стоить будет не сильно дорого. Только не спрашивайте откуда я это знаю ладно. По сути это будет 3.5 без цензуры с возможностью кастомизации под свои цели.

я честно говоря не понял как ютуб решился продвигать ролик с таким названием

Попробывал установить выскочило "a javaScript error occurred in the main process".....система Вин10 копр(2016г с действующей лицензией...

Круто! А будет какое нибудь видео о том,как загрузить llm на удаленный сервер и гонять jsonчики с ответами :)?

Крутой контент❤

Попробуйте заставить эту нейронку перестать в конце задавать вопрос типа "Чем еще могу помочь". Не знаю, может туплю, но задача какая-то нетривиальная. Если у кого получится - напишите, что ей надо сказать. Час уже сижу. Она меня решила выбесить фразочками типа "Certainly, I understand that you do not want me to ask any additional questions beyond what is necessary to fulfill your requests or answer your inquiries. Starting now, I will only provide relevant information and assistance without ending my responses with the question "Is there anything else I can assist you with?" unless it is necessary to fulfill your requests or answer your inquiries. Is there anything else I can help you with?" )))))))

Если пытаться всё цензурировать то химия и физика должны быть запрещены... Да и космос тоже вреден для здоровья. Использую ИИ для подсказок по программированию, именно для подсказок т.к. создать полноценную функцию он не может, не говоря уже о полноценной программе.

Очень интересно было! Скажите пожалуйста, а есть ли какие то обученные модели, которые знакомы с русским языком?

Руслан, спасибо за видео! Сделайте видео, пожалуйста, по модели Fred-5T. Она обучалась на русском. Можно ли ей скармливать свои файлы что бы она по ним отвечала? премного благодарен

Вы похожи на Северуса Снэга из Гарри Поттера

Ее можно обучать на своих данных?

тоже попробовал на rtx3090 24gb / 512 RAM / xeon 2696v3 - получается 5-6токенов в сек на Q4 K M. в GPU входит 28 слоев из 32. загрузка идет примерно 70-80% и проц и видеокарта.

Сенкс! Интересно какие ресурсы нужны для работы самой тяжёлой модели?

с радостью бы посмотрел гайд по чатгпт на сервере найти какую то модель, чтобы поставить ее на сервер, прокинуть там апишку либо же просто через веб интерфейс с ней работать было бы супер это в разы полезнее и актуальнее, нежели просто себе на домашнюю машину ставить что то

Что думаете про возможности модели без цензуры?

а просит фаил джейсон или как то там с джавой что делат ь?

Автору спасибо! Тема ограничений ИИ очень интересна. Противозаконное? Даже невинные темы и те под запретом. Финансовые прогнозы. Не могли бы Вы рассказать как прикрутить финансовые новости, прогнозы, аналитика к LLM, как брать данные из инета. Интересуют финансовые прогнозы. Более приземлённое и выгодное. Интересует, как это поднять на домашнем компе и иметь данные за пределами домашней сети. Как прикрутить к телеге, вайберу или другим соцсетям с доступом по паролю. Домашний комп всё тянет, максималка, что можно выжать, смысла аренды чужих серверов вообще нет, даунгрейд не интересен. Интересен анализ графиком, получение с закрытых своих каналов данных по интересующему эмитенту. И как сделать, чтобы это всё было на русском. Интересуют модели, которые будут подтягивать данные из инета, допустим погода, курс валют...

Короче пойду спрошу у нейросети как сделать водородную бомбу

чем обусловлен выбор этой конкретной модели. Будут ли обзоры других моделей?

Было бы интересно получить нейронку, способную писать стихи (или просто рифмовать данный текст). Именно с русский языком у всех огромные проблемы (по-английски что-то худо бедно еще может выдать).

В самой программе есть подсказка(пример) Заработало только как там написано, а не как у автора(почему-то) 😉

У меня почему-то с цензурой модель, в чем дело?

Можете глянуть phind модель

DLL initialization routine failed/ думаю много у кого такая ошибка выскочила и ее "уши" торчат еще в 20-м году если судить по гитхабу...

Вроде Сбер выкладывал русскоязычную версию нейрочата, на том же хагерфейс. Надо попробовать.

Большое спасибо за такой гпт

Ты забыл рассказать что у тебя самого за машина на которой ты его запускаешь, щас буду тестировать на m1 с 16гб оперативки версию на 20гб

Приветствую. А зачем токены?

На гпу от нвидии надо 16гиг под сеть 13b для 7b нужно минимум 8гиг. Отгружать слоями не очень. Вот если всю лламу в гпу грузить тогда есть ускорение. Квантования q2 это совсем побитая нейронка получается)😂. 4080 с 24гига памяти любую 13b грузит и можно побольше но тогда q2 брать). Спасибо за пример работы с лмстудией

Спасибо за ролик, а сколько у тебя видеопамяти, раз слои слетали?

Брат)

мне кажется название стоит сделать более косвенным,страйк не прилетит?

Кстати можно и чат гпт "хакнуть" по цензуре, грамотным промтом. Есть и такой вариант.. Но кому что удобнее, от того , насколько часто пользуешься - сам выбирай)

Спасибо )

Такое себе, вот как сделать локальную языковую модель и подключить ее к игре, где она будет помогать игрокам основываясь на данных самой игры. Как пройти тот квест или еще что то типа того

Радует факт что у меня 64гб оперативки и i9-9900k, но подозреваю что какой нибудь зеон e5 2680 v4 разогнанный и 128гб от китайцев с каким нибудь m2 evo 970 и видюхой с широкой шинной и gddr6 тут лучше подойдут, правда и задачи должны быть подходящими ради вливания этих 500 условных евро.Нр если работаете в сфере ит, инвестиция неплохая

а в чём профит давать бесплатно доступ ? где мышеловка?

Некст видос: А можно ли свои файлы кидать и работать с этим

в privategpt это будет работать?

Благодарю

Мне сказала, что мой проц не поддерживает какие-то процессы из трёх букв и отказалась работать. 😮‍💨

ставил себе text generation webui и уперся в проблему нехватки мощности... пытался загрузить 33В модель, она загрузилась так как оперативы 64 гб, однако гпу грузит на 100 % и после 90 секунд ожидания ответа отвечает со скоростью одно слово в 3 секунды) Зато 7В работает как часы, однако мне он кажется туповатым и хотелось бы помощнее бота :( жалко что у меня только ноут так бы на видюху новую копил

Тебе бы побольше опыта в работе с нейросетями)) Модель квантования в 2бита это огромные потери в точности генерации. Нейронку будет глючить как не знаю кого, ответы будут корявые и не точные. 4 это самый минимум, что рекомендуется использовать. Оперативной памяти да нужно явно не 16 гигов, но если у тебя в ГПУ занято всего несколько сотен мегабайт, значит к тебе ни одного слоя туда не попало, так как их всего 33 насколько я помню и Mixtral и 4х битная модель сдирает порядка 26-28 гигов ими. Вот и подумай сколько должны были занять 20 слоев.

Не устанавливается LM Studio: A JavaScript error occurred in the main process

поместил модельку в папку D:\!AI\LM-Studio\models\TheBloke\dolphin-2.5-mixtral-8x7b-GGUF но он ее не видит, точнее You have 1 uncategorized model files

отказывется говорить на кирилице )

Не, ну это бан

блин, как же круто! эта штука еще и на русском может отвечать, хотя надо бы просто английский выучить) Скачал среднюю модель на 26.44Gb на M1 Max с 64gb оперативки отвечает совсем не намного медленнее чем на сайте GPT. Во время ответа сжирается примерно 30Gb оперативки. А ещё в самой LM Studio в ответах есть форматирование кода с возможность скопировать, используется маркдаун для этого - супер! Спасибо ещё раз за ролик!

Простой версии хватит 16 Гб?