No nie. Tokenizacja to proces zamiany znaków na tokeny (mające jakiś sens). Np "Ala ma kota" to 11 znaków a 3 tokeny (każdy wyraz to token). Natomiast to co opisałeś to algorytm kompresji słownikowej LZW. Także totalnie nie ma nic wspólnego z tokenanizacją.
Zgadza się, wariant algorytmu BPE, który opisałem to kompresja słownikowa. Natomiast sam proces `tokenizacji` można podzielić na dwa etapy, czyli tworzenie słownika za pomocą BPE, który następnie wykorzystuje tokenizer tokenizujący input, czyli dzielący go na fragmenty.
