Лекция. Законы масштабирования LLM 

Тут целый ряд вопросов возникает. Касательно инференса и MoE - понятно. Нужно корректировать. 1 . Другой вопрос касательно реальных задач. Насколько лосс, размер модели, количество токенов в обучении коррелирую с результатами в бенчмарках? Может быть, увеличив свои бюджеты в 3 раза - мы получим лишь весьма незначительный прирост в целевых задачах. 2. Насколько обосновано выходить на плато? Допустим, ограничение в инференсе 1 млрд параметров и нужно получить максимально качественную модель при разумно-неограниченном вычислительном бюджете. Сколько данных будет пределом для такой модели (после которого она уже не будет получать преимуществ). Что случится если модель выйдет на плато (начнет переучиваться)? Как это будет связано со значениями в бенчмарках? 3. Говоря о количестве данных, что мы можем сказать об их качестве? Разнообразии? Ведь все занимаются очисткой данных как минимум и это сильно помогает на бенчмарках. А если говорить о синтетике, тут появляется вопрос об их разнообразии и правдоподобии. Может, просто создать случайные последовательности символов? Их бесконечно. Или все-таки нужно заботиться о слабо измеримых параметров данных (самый простой пример факты реальные и факты ошибочные).