Тёмный

Fine-Tuning в ChatGPT. Как дообучить LLM (простым языком и на примере) 

Singularity is Coming
Подписаться 1,2 тыс.
Просмотров 5 тыс.
50% 1

Разбираем, что такое:
В видео рассказываю как устроен fine tuning в ChatGPT и других LLM.
Содержание
1:16 - про Zero-shot, one-shot, few-shots в Prompt Engineering
3:47 - что такое fine-tuning моделей
5:57 - плюсы и минус использования файн-тюнинга
8:51 - советы по подготовке дата сетов
11:45 - мой личный пример файн-тюнинга chatgpt
Presentation:
docs.google.com/presentation/...

Опубликовано:

 

27 авг 2023

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 26   
@xeno7828
@xeno7828 7 дней назад
Ну наконец то нашелся вменяемый канал который по пальцам объясняет новичкам что и как устроено !)
@user-vz4vc6dy4r
@user-vz4vc6dy4r 19 дней назад
10 в нулевой степени это 1 10 в первой степени это 10 А видос крутой
@yarafilms
@yarafilms 9 месяцев назад
Прям мега полезно! Как раз искал понятные материал, буду пробовать! Спасибо! ;)
@yason24ru
@yason24ru 9 месяцев назад
Крутой видос. Спасибо большое
@TheAmadur
@TheAmadur 4 месяца назад
Это топовый видос. Очень помог, спасибо
@secondlifetools6060
@secondlifetools6060 Месяц назад
это охрененно полезная инфа! продолжай пожалуйста.
@dmitriyneledva4693
@dmitriyneledva4693 7 месяцев назад
очень крутое видео!
@user-ud3rv5xo6z
@user-ud3rv5xo6z 8 месяцев назад
Спасибо
@kiryllshynharow9058
@kiryllshynharow9058 7 месяцев назад
2:39 Чтоооо? 10^1 это ну уж точно не сотня. Математически это 10, но судя о масштабе по подписи "Number of Examples in Context (K)" по горизонтальной оси отложены тысячи примеров
@Singularity_is_Coming
@Singularity_is_Coming 7 месяцев назад
спасибо за комментарий, верно заметили! там 10 примеров а не 100
@moresevas
@moresevas 9 месяцев назад
Отличный видос! Хотелось бы обсудить вот что: всегда ли возможны другие режимы, кроме zero-shot? Например, работаем через API чтобы оценивать ответы студентов на тест по физике, допустим из 20 заданий. Каким образом мы можем проапгрейдить zero-shot(s), если от раза к разу у нас разные 20 заданий по разным темам физики?
@Singularity_is_Coming
@Singularity_is_Coming 9 месяцев назад
в файн тюнинге зеро-шот под такую задачу идеально зайдет, нужно побольше примеров из разных тем и LLM будет справляться с разными темами без проблем. для файтюнинга я бы делал 1 запрос = 1 задание и собрал датасет хотя бы на 200-300 задач с ответами. а как улучшить уже сам zero-shot промпт рассказал в новом видео: ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-B71fdZPZT7M.html
@povezlo46
@povezlo46 4 месяца назад
Спасибо за полезный урок, Денис. Однозначно подписка. А что там по деньгам получилось? во сколько обошлось тебе обучить эту модель писать в стиле Нориса?
@Singularity_is_Coming
@Singularity_is_Coming 4 месяца назад
Поскольку база небольшая, вышло недорого, что-то около 1$
@wmsl3944
@wmsl3944 5 месяцев назад
Привет, какой у тебя Git?
@Roman-hv3ss
@Roman-hv3ss 2 месяца назад
Огонь! С огромным интересом посмотрел. Подписка. А можно таким образом дообучить локальные нейронки?
@Singularity_is_Coming
@Singularity_is_Coming 2 месяца назад
Да, можно и локальные конечно, но ресурсов нужно много для этого, если модели большие
@DizroAI
@DizroAI 6 месяцев назад
У меня есть небольшая база данных, и я пытаюсь разработать процесс обработки больших новостных текстов. Какую модель лучше всего использовать в этом случае, и как ее правильно настроить? На вход модели будет подаваться обширный новостной контент, а требуется получить отформатированный и сокращенный вариант текста.
@Singularity_is_Coming
@Singularity_is_Coming 6 месяцев назад
лучше всего конечно GPT-4, но нужно смотреть насколько существенная разница в качестве, т.к. разница в цене существенная - ~5-10 раз
@MrStepanok
@MrStepanok 5 дней назад
Привет! Подскажи пожалуйста, что это может быть. Я сделал файнтюнинг модели, причем прям на сайте, там сейчас появились для этого инструменты (возможно они были и раньше) но моя модель не отображается в playground. Что это может быть?
@Singularity_is_Coming
@Singularity_is_Coming 5 дней назад
Должна появиться через время. А по API она доступна? В любом случае это скорее вопрос в поддержку, похоже на баг.
@MrStepanok
@MrStepanok 4 дня назад
@@Singularity_is_Coming Разобрался! Я тренировал через организацию, и в ней вообще ничего кроме gpt3.5turbo выбрать было нельзя. Перетренил в обычном аккаунте и сразу все ок ок. Спасибо!!!
@user-xo1yo6hi3u
@user-xo1yo6hi3u 8 месяцев назад
+
@mr.grixakrushkas5667
@mr.grixakrushkas5667 7 месяцев назад
Это лора чтоль, или есть отличия?
@IlyaPanfilov
@IlyaPanfilov 7 месяцев назад
Зачем спалил ключ на 12:29) или это пасхалка?
@Singularity_is_Coming
@Singularity_is_Coming 7 месяцев назад
пасхалка, а вообще то тестовый ключ был для видео)
Далее
Проверил на логику певца L’one
00:17