Тёмный

Large Model Training and Inference with DeepSpeed // Samyam Rajbhandari // LLMs in Prod Conference 

MLOps.community
Подписаться 25 тыс.
Просмотров 7 тыс.
50% 1
ВидеоПоделитьсяСкачатьДобавить в

Опубликовано:

 

16 сен 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 6   
@saratbhargavachinni5544
@saratbhargavachinni5544 Год назад
This talk is pure gold! Thanks for sharing!
@sachinudas8446
@sachinudas8446 10 месяцев назад
happy to see someone from Nepalese root at centre of Ai and contributing for DL training to AI community worldwide
@ReviewsInuteis
@ReviewsInuteis Год назад
Amazing!!
@saratbhargavachinni5544
@saratbhargavachinni5544 Год назад
Can u guys pls post the slides?
@brandomiranda6703
@brandomiranda6703 10 месяцев назад
Main insight for me is that llama 65B can be trained on a single GPU with deep speed. Anyone know how?
@jdoejdoe6161
@jdoejdoe6161 Год назад
Is it possible to host LLM in DeepSpeed and have APIs just like OpenAI API for different apps? What is the cost?
Далее
LLMs as Intelligent Assistants // Sarah Aerni // LLMs in Prod Conference Part 2
28:45
LLMs as Intelligent Assistants // Sarah Aerni // LLMs in Prod Conference Part 2
Просмотров 834
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
30:25
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
Просмотров 14 тыс.
ПОРВАЛ НА ВОЛЬВЕ ПЛОЩАДКУ,ВЫГРУЗКА ШЛЯПА КАКАЯ ТО(((РЕЙС НА РОДИНУ
55:59
ПОРВАЛ НА ВОЛЬВЕ ПЛОЩАДКУ,ВЫГРУЗКА ШЛЯПА КАКАЯ ТО(((РЕЙС НА РОДИНУ
Просмотров 157 тыс.
НЕ ОТКРЫВАЙ ЛЕГО НАБОР ЗООНОМАЛИ в 3:00 ночи!
20:09
НЕ ОТКРЫВАЙ ЛЕГО НАБОР ЗООНОМАЛИ в 3:00 ночи!
Просмотров 563 тыс.
MINECRAFT CREPPER EXPLODES SHARK PUPPET!
00:15
MINECRAFT CREPPER EXPLODES SHARK PUPPET!
Просмотров 8 млн
Mini bag sealer
00:58
Mini bag sealer
Просмотров 3,8 млн
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM | Jared Casper
24:04
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM | Jared Casper
Просмотров 3,4 тыс.
Microsoft DeepSpeed introduction at KAUST
1:11:36
Microsoft DeepSpeed introduction at KAUST
Просмотров 7 тыс.
Low-rank Adaption of Large Language Models: Explaining the Key Concepts Behind LoRA
19:17
Low-rank Adaption of Large Language Models: Explaining the Key Concepts Behind LoRA
Просмотров 106 тыс.
Key Value Cache in Large Language Models Explained
17:36
Key Value Cache in Large Language Models Explained
Просмотров 1,4 тыс.
The Emerging Toolkit for Reliable, High-quality LLM Applications // Matei Zaharia //LLMs in Prod Con
31:01
The Emerging Toolkit for Reliable, High-quality LLM Applications // Matei Zaharia //LLMs in Prod Con
Просмотров 4,2 тыс.
Turing-NLG, DeepSpeed and the ZeRO optimizer
21:18
Turing-NLG, DeepSpeed and the ZeRO optimizer
Просмотров 16 тыс.
Deep Dive: Optimizing LLM inference
36:12
Deep Dive: Optimizing LLM inference
Просмотров 21 тыс.
[서울대 AI 여름학교] Microsoft Research Deep Speed Team - DeepSpeed: Training and Inference ...
41:20
[서울대 AI 여름학교] Microsoft Research Deep Speed Team - DeepSpeed: Training and Inference ...
Просмотров 1,6 тыс.
Fine-tuning LLMs with PEFT and LoRA
15:35
Fine-tuning LLMs with PEFT and LoRA
Просмотров 125 тыс.
DeepSpeed: All the tricks to scale to gigantic models
39:42
DeepSpeed: All the tricks to scale to gigantic models
Просмотров 19 тыс.
ПОРВАЛ НА ВОЛЬВЕ ПЛОЩАДКУ,ВЫГРУЗКА ШЛЯПА КАКАЯ ТО(((РЕЙС НА РОДИНУ
55:59
ПОРВАЛ НА ВОЛЬВЕ ПЛОЩАДКУ,ВЫГРУЗКА ШЛЯПА КАКАЯ ТО(((РЕЙС НА РОДИНУ
Просмотров 157 тыс.