Тёмный

From Words to Tokens: The Byte-Pair Encoding Algorithm 

The ML Tech Lead!
Подписаться 8 тыс.
Просмотров 420
50% 1
ВидеоПоделитьсяСкачатьДобавить в

Why do we keep talking about "tokens" in LLMs instead of words? It happens to be much more efficient to break the words into sub-words (tokens) for model performance!

Опубликовано:

 

11 май 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 2   
@georgehu8652
@georgehu8652 10 дней назад
very well explained.
@saurabhchandra.in.
@saurabhchandra.in. 10 дней назад
Subscriber from substack
Далее
LLM Tokenizers Explained: BPE Encoding, WordPiece and SentencePiece
5:14
LLM Tokenizers Explained: BPE Encoding, WordPiece and SentencePiece
Просмотров 1,9 тыс.
310 - Understanding sub word tokenization used for NLP
32:16
310 - Understanding sub word tokenization used for NLP
Просмотров 4,1 тыс.
Подкаст с Тёмой. Полный выпуск уже на нашем канале. #каха #непосредственнокаха #серго #лигагородов
00:35
Подкаст с Тёмой. Полный выпуск уже на нашем канале. #каха #непосредственнокаха #серго #лигагородов
Просмотров 91 тыс.
Угадай песню по смайликам уровень 2
00:26
Угадай песню по смайликам уровень 2
Просмотров 865 тыс.
The best home workout !! 😱😱
00:27
The best home workout !! 😱😱
Просмотров 10 млн
НЕ СЛЫШНО ШОУ! ЦУЕФА ПОРУГАЛИСЬ? ЛИЗОГУБ, НЕКРАСОВА, ТУРОВ, СИМКА
18:05
НЕ СЛЫШНО ШОУ! ЦУЕФА ПОРУГАЛИСЬ? ЛИЗОГУБ, НЕКРАСОВА, ТУРОВ, СИМКА
Просмотров 283 тыс.
Understanding the Self-Attention Mechanism in 8 min
8:26
Understanding the Self-Attention Mechanism in 8 min
Просмотров 577
Fine-tuning Large Language Models (LLMs) | w/ Example Code
28:18
Fine-tuning Large Language Models (LLMs) | w/ Example Code
Просмотров 229 тыс.
What is this Temperature for a Large Language Model?
11:53
What is this Temperature for a Large Language Model?
Просмотров 456
Lesson 2: Byte Pair Encoding in AI Explained with a Spreadsheet
35:26
Lesson 2: Byte Pair Encoding in AI Explained with a Spreadsheet
Просмотров 7 тыс.
Byte Pair Encoding Tokenization
5:23
Byte Pair Encoding Tokenization
Просмотров 25 тыс.
Understanding How Vector Databases Work!
12:25
Understanding How Vector Databases Work!
Просмотров 1,7 тыс.
What ML Engineer Are You? How To Present Yourself On Your Resume
12:28
What ML Engineer Are You? How To Present Yourself On Your Resume
Просмотров 253
I gave 127 interviews. Top 5 Algorithms they asked me.
8:36
I gave 127 interviews. Top 5 Algorithms they asked me.
Просмотров 581 тыс.
But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning
27:14
But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning
Просмотров 2,3 млн
Byte Pair Encoding Tokenization in NLP
2:57
Byte Pair Encoding Tokenization in NLP
Просмотров 5 тыс.
Подкаст с Тёмой. Полный выпуск уже на нашем канале. #каха #непосредственнокаха #серго #лигагородов
00:35
Подкаст с Тёмой. Полный выпуск уже на нашем канале. #каха #непосредственнокаха #серго #лигагородов
Просмотров 91 тыс.