Хочу присоединиться к комментарию! Какая-то часть непонятна из-за того, что не погружен в предметную базу, но общий концепт понятен. Три видео посмотрел на одном дыхании. Даже чувство такое приятное появилось, что ютуб может быть не только свалкой тик-ток видео)))
Виталий, в следующий раз когда захочешь потратить два косаря. Просто сообщи об этом - к тебе набегут в несколько потоков сказки про зеленых крокодилов генерировать. Искренне надеюсь, что твоя идея окупилась
Спасибо! Возможно интересный результат был бы с набором гпу-стэка из Тесла А2: модель всего на 16 Гб, но и стоит всего 16р, таким образом на добор того же объема надо 20 таких карт и это будет стоить меньше чем даже одна Н100 (20 карт * 16р = 320р). Проверим?
Да интересный вариант. Только количество карт в vllm должно быть кратно 2. Можно собрать сетап из 16 a10 на двух или четырех нодах. Будет чуть дороже, но и мощнее.
Это вроде сейчас лучшая опенсоурс модель Явно она не стоит рядом со всякими гпт4 и клодами, но все же Ну кстати, по бенчмаркам она довольно близка к закрытым моделям
@@kuliev.vitalyвот вы и в названии и здесь опять вводите в заблуждение, не на своем сервере, а на дядином за 600 к в месяц. Свой это когда под боком стоит.
Запустил на ПК модели 8б и 70б,на видеокарте 3060 12 Гб. Вторая версия разумеется работала со скрипом но не об этом речь) теперь хотелось бы как-то интегрировать работу нейронной сети в свой код, в тот же питон. Спросил об этом саму сеть она предложила вариант через некую библиотеку rasa , но в итоге у меня не получилось. Хотелось бы увидеть пример. К вопросу "а зачем это надо" скажу, что модно было бы накрутить обёртку которая позволила общаться с моделью голосом и а так же предоставить ей возможность запускать что-то на ПК.
@@kuliev.vitaly я увидел что вы всё-таки используете сервер и готовый плагин. Я же говорю о более упрощённом варианте, это локальный ПК и запуск желательно из терминала.
На локальном ПК можно запустить нейросеть в режиме openai совместимого сервера. Плагин настроить на взаимодействие с локальным сервером. Vllm позволяет это сделать
Классно! Большое спасибо за обзор. Еще хотел уточнить. А какие минимальные требования должны быть к серверу чтобы запустить на нем llama 405? Так же на 0:20 в списке фигурирует GPT-4o mini. стоимость ее API составляет $0.60 за 1 M токенов. Получается если нужна API, то дешевле будет использовать GPT-4o mini. Так получается?
Очень интересное видео. Расскажите, пожалуйста, какие данные обычно загружают при использовании такой нейросети? Цена за месяц немаленькая, интересно, что нейросеть должна сделать с данными, чтобы окупить затраты на сервер? Может быть у вас есть реальный пример использования?
Пара примеров: 1. разметка большого количества данных, которые ранее размечались в Толоке людьми. Стоимость ниже в разы, а качество ответов сравнимое. 2. Генерация контента для сайтов - замена рерайтеров.
@@wirtdonners4212 можно базы знаний вести, графы онтологические строить, автоматизировать многие процессы в организации, произвести даджитализацию навыков сотрудников (которую в обычных условиях не произведешь), львиную долю кастуМЕРЗКОГО обслуживания автоматизировать. Но как по мне 405В для таких задач - оверкилл. Она слишком дорого обходится и оборудования дорогого требует. Для таких целей модели до 70 млрд параметров подойдут (их можно запускать на оборудовании, которое стоит на порядок дешевле, например квантованная 70b модель залезает на 24 гб 4090, сервера с которой в 10 раз дешевле серверов с а100 аналогичной производительности). Варианты есть опенсорсные. Либо слать свои данные на чужие API. Это а разы дешевле. Но не всегда возможно и не всегда приемлемо. Хотя запуск "голой" модели - это пол-беды. Вокруг нее нужно много всякой обвязки делать. Это интеллектуальное ядро группы сервисов, а не готовое решение для любых проблем. Построение и поддержка этих сервисов - дороговато будет стоить. Либо самому учиться и повышать стоимость своего дела.
Верно. 800р в час с посекундной тарификацией столько и будет стоить. Если сразу от месяца снимать, то есть скидки до 50%. Серверные видеокарты дорогие сейчас. Высокий спрос определяет стоимость видеокарт и на фоне этого капитализация nvidia рекордная.
@@kuliev.vitaly разве тогда не выгодней завести свой сервер? возможно стоит рассмотреть вопрос экономики нейросетей в отдельном видео? было бы классно такое узнать!
Одна видеокарта nvidia A100 80ГБ стоит 1.5-2.0млн рублей. Серверные видеокарты дорогие и 300к(600к -50%) такой сервер с 4gpu стоит. Есть игровые видеокарты - они дешевле, но у них есть свои огранечения.
@@kuliev.vitaly вау...вот это они стоят конечно :( теперь мне стало даже интереснее посмотреть видос про экономику с доступом к таблице Excel, где будут все данные :)
Ну по крайней мере это ваш арендованный сервер. Вы на него логинитесь и можете использовать VPN. А вообще вы можете зашифровать разделы на сервере. Да, доступ теоретически возможен и в этом случае, но это уже только целенаправленный интерес в вашу сторону.
А можно ли добавлять там защиту эндпоинта, чтобы только я могу туда стучаться? И еще вопрос - а есть у Вас опыт дообучения моделей под свои задачи на своих данных? Если есть, не планируете ли записать видео? )
Поясните пожалуйста за тарификацию. Например я арендовал и настроил такое чудо для своих личных экспериментов/работы, поигрался пару часов и закончил. Есть ли возможность не платить за простой? Типа потушил машину и пошел спать/гулять не боясь за свой кошелек. Это отчасти оффтоп, но всё равно буду благодарен если разъясните
Да, основная цена(около 800р в час) списываться не будет. У immerse cloud и других провайдеров останется плата за диск порядка сотни рублей в месяц. В любой момент можно снова запустить машину с этим диском и видеокартами. Также можно удалить диск и списания исчезнут. При новом заказе машины она будет пустая и нужно будет с нуля установить библиотеки и скачать веса.
@@kuliev.vitaly спасибо! Продолжая оффтопить хотел бы спросить есть ли у вас в планах рассказать как скармливать нейронке свои данные? Например код проектов Файнтюн (например qlora) vs rag. В идеале с примерами как в этом ролике и разъяснением преимуществ/недостатков и попутных затрат на это добро)
Видео годное! Но есть нюансы. Т е. Цукер как обычно нае@ал, чтобы развернуть нейронку, надо баблишко на сервер, но у таких энтузиастов (новичков), как я, запросов данных и обработки, нет таких масштабов и загруженности, т е дешевле заплатить на месяц абонплату и решить свои мелкие задачи. А еще за свои деньги обучать ее, то цукер, тут нагнул всех. Бесплатное улучшение его продукта, чтобы через пару лет сделать его коммерческим и конкурентным. А я тут губу раскатал, что потрачу время и вближайшие годы облегчит жизнь и оптимизируеь мое время, а тут з@лупа.
Познавательно! А как дообучить ИИ на своих данных? Например, есть 10000 документов с разными шаблонами оформления., как сделать, чтобы он оформлял текст исходя из этих шаблонов? Говоришь ему - составь договор по такому то типу номер 25. Не хочется каждый раз прикреплять эти тысячи шаблонов, хочется один раз подгрузить их и чтобы он запомнил это. Такое возможно?
Дообучение возможно, но сложно сделать так, чтоб нейросеть отвечала, как тебе нужно. Для твоей задачи есть RAG система. Планирую видео про RAG записать.
@@kuliev.vitaly да было бы интересно посмотреть как это настроить, и сколько своих данных максимаьно можно добавить. Например если документов много - 10гб, это вообще возможно или нет...
@@user-qd4vk2ew6k документы токенизируются и токены добавляются в векторную базу. Потом вместе с запросом к LLM к этой базе делается запрос в векторную базу и ответ примешивается к запросу к LLM. Т.е. да, работать будем, но к качеству тут уже надо пробовать разные токенезатроры, способы делить данные и пр. Как сказано выше, тут уже практика
Athene-70B будет раза в 3 - 4 дешевле за токен, да и вообще, для нее а100 не обязательно, можно и на 4090 запускать. Это в разы дешевле. Можно даже не арендовать, а разориться на свой сервер за 300-400 к (а не 4-5 млн за А100 и иже с ними). А по качеству она 405B в большинстве задач не уступает. При этом в диалоге и следовании инструкций даже лучше будет.
Athene-70B это дообученная llama 3 70b. У нее контекст 8к. Llama 405b по качеству явно лучше будет и контекст у нее 128к. С другой стороны 70b моделей для многих применений достаточно. Квантизация от 4 бит. Для минимального запуска достаточно 2 карт уровня 3090/4090.
@@kuliev.vitaly в 4 бита на одну влезает. Там вопрос длины контекста и необходимого количества токенов в секунду. Сейчас целый ряд фреймворков разрабатывают, в том числе опенсорсных, для удобного сайзинга LLM на несколько дешевых GPU или TPU. Athene дообучена в RLHF и лучше справляется со сложными промптами, лучше следует инструкциям и ведет себя в диалоге. Вообще большинство выложенных моделей чудовищно недообучены на инструктивных данных. Добавление синтетических инструкций в обучение - один из основных способов улучшения моделей сейчас. Потенциал у 405b выше, но в реальных задачах его будет трудно выжать. Лучше приложить несколько десятков человекочасов усилий и настроить работу 70b (включая легкий тюнинг), чем мучиться с более универсальной но по сути неповоротливой 405b. Я бы ее только для генерации данных использовал для тюнинга других моделей. В кастумерЗких задачах - это сорить деньгами.
4 бита 70b модель весит в районе 38-40гбайт. Для игровых карт 3090/4090 видеопамять 24гб. Без выгрузки в оперативку модель на видеокарту никак не влезет.
@@kuliev.vitaly комбинация GPTQ и GGML или GGUF с подгрузкой. Конечно, это замедляет, но жить можно. Примерно 20гб потребляет видеопамяти. GPTQ формат в "честном" 4бит GPU инференсе где-то 40гб съест. Ждем карточки кастумерские на 40+ гб. Очень. Пока можно на 2ух 4090 крутить или гибридно. Но в гибриде просадка по токенам будет большая, в 2-3 раза.
