Тёмный

Running a High Throughput OpenAI-Compatible vLLM Inference Server on Modal 

Modal Labs
Подписаться 212
Просмотров 1 тыс.
50% 1
ВидеоПоделитьсяСкачатьДобавить в

Опубликовано:

 

23 окт 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 9   
@connor-shorten
@connor-shorten 2 месяца назад
Incredible session!
@ModalLabs
@ModalLabs 2 месяца назад
thanks @connorshorten6311!
@ibbbyscode
@ibbbyscode 2 месяца назад
Finally, a YT channel. 👌👏
@charles_irl
@charles_irl 2 месяца назад
I hope not to disappoint!
@Jay-wx6jt
@Jay-wx6jt 2 месяца назад
Keep it up charles
@RandyRanderson404
@RandyRanderson404 2 месяца назад
This guy LLMs.
@charles_irl
@charles_irl 2 месяца назад
like my status if you remember the sesame street era
Далее
vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024
56:09
vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024
Просмотров 1,2 тыс.
vLLM on Kubernetes in Production
27:31
vLLM on Kubernetes in Production
Просмотров 3,4 тыс.
Ситуация Гриша, девочки!!!! #машмилаш
01:00
Ситуация Гриша, девочки!!!! #машмилаш
Просмотров 1,6 млн
Секрет ранних подъемов раскрыт🤫⏰#юмор #shorts #блог
00:13
Секрет ранних подъемов раскрыт🤫⏰#юмор #shorts #блог
Просмотров 347 тыс.
БРИКС: Казань перекрыта, интернета нет. У Киркорова новые проблемы. Дугин про «сатанинский» Запад
1:03:34
БРИКС: Казань перекрыта, интернета нет. У Киркорова новые проблемы. Дугин про «сатанинский» Запад
Просмотров 545 тыс.
Самый сложный экзамен! Загадка про кирпич
00:55
Самый сложный экзамен! Загадка про кирпич
Просмотров 67 тыс.
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
30:25
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
Просмотров 15 тыс.
host ALL your AI locally
24:20
host ALL your AI locally
Просмотров 1,2 млн
Full stack web applications in pure Python with Modal & FastHTML
43:55
Full stack web applications in pure Python with Modal & FastHTML
Просмотров 418
Building End to End ML Applications on Modal
51:09
Building End to End ML Applications on Modal
Просмотров 413
vLLM Office Hours - Multimodal Models in vLLM with Roblox - August 8, 2024
50:03
vLLM Office Hours - Multimodal Models in vLLM with Roblox - August 8, 2024
Просмотров 506
Serve a Custom LLM for Over 100 Customers
51:56
Serve a Custom LLM for Over 100 Customers
Просмотров 21 тыс.
AI tools for software engineers, but without the hype - with Simon Willison (Co-Creator of Django)
1:12:44
AI tools for software engineers, but without the hype - with Simon Willison (Co-Creator of Django)
Просмотров 30 тыс.
Kubernetes Explained in 15 Minutes | Hands On (2024 Edition)
15:18
Kubernetes Explained in 15 Minutes | Hands On (2024 Edition)
Просмотров 97 тыс.
Why Agent Frameworks Will Fail (and what to use instead)
19:21
Why Agent Frameworks Will Fail (and what to use instead)
Просмотров 75 тыс.
How to pick a GPU and Inference Engine?
1:04:22
How to pick a GPU and Inference Engine?
Просмотров 3,6 тыс.
Ситуация Гриша, девочки!!!! #машмилаш
01:00
Ситуация Гриша, девочки!!!! #машмилаш
Просмотров 1,6 млн