Тёмный

Лекция. GPT-3 и Sparse Attention 

Deep Learning School
Подписаться 38 тыс.
Просмотров 740
50% 1

Занятие ведёт Игорь Котенков.
На этом занятии мы поговорим про характеристики GPT - 3 и про то, как же это связано с соревнованием по размерам GPU-кластера. Еще мы затронем нюансы по сбору датасетов и про то, как же можно уменьшить потребляемую память.
Телеграм-канал автора: t.me/seealloch...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
Поддержать канал можно по ссылке dls.samcs.ru/s...
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/
Официальная группа ВК: dlschoo...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...

Опубликовано:

 

1 окт 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 1   
@FonarPodGlazom
@FonarPodGlazom 3 месяца назад
А где же модуль 2 часть 2?((
Далее
Введение в LLM
54:26
Просмотров 407
Лекция. GPT - 2
45:11
Просмотров 932
Лекция. Трансформеры. Self-Attention
54:35