Семинар научно-учебной лаборатория компании «Яндекс»
Несмотря на большую популярность диффузионных моделей, их основным недостатком остается долгий инференс.
На сегодняшний день существуют две основные техники ускорения - эффективные солверы и пошаговая дистилляция. Первая техника имеет ограничение в виде предела допустимого ускорения. В то время как вторая способна давать более существенные ускорения с минимальной потерей качества. Основной задачей дистилляции является приближение всего процесса семплирования за один шаг прямого прохода по нейронной сети.
На семинаре мы познакомимся с основными техниками дистилляции (progressive, consistency, knowledge), обсудим их преимущества и недостатки. Кроме того, будут рассмотрены интересные свойства, которые удалось обнаружить в ходе исследований.
Докладчик: Никита Стародубцев, стажер-исследователь научно-учебной лаборатории компании «Яндекс».
17 октября 2023
Научно-учебная лаборатория компании «Яндекс»: cs.hse.ru/big-...
ФКН: cs.hse.ru
Подписывайтесь на нас:
📍 cshse/
📍 t.me/fcs_hse
📍 dzen.ru/cshse
28 сен 2024
