VK Lab Talks · Summer Edition, 1 июля, онлайн.
Продолжили тему одного из предыдущих докладов - о быстрых трансформерах и позиционных добавках ( • Как ускорить Transform... ). Максим Зубков, студент четвёртого курса ФПМИ, расскажет, как асимптотически быстро добавить позиционную информацию в механизм внимания.
Немного подробностей от Максима: «Я расскажу о подходе, разработанном в VK Lab. Он улучшает качество архитектуры Transformer и при этом обладает вычислительной сложностью, квазилинейной по длине последовательности. Наш подход добавляет в механизм внимания позиционную информацию и так улучшает качество модели. Высокая скорость достигается за счёт алгоритма быстрого преобразования Фурье. Разобраться с ним может любой человек, освоивший курс линейной алгебры. Советую для подготовки прочитать статью по теме (vk.cc/c3dVqZ)».
Следите за нашими новостями в сообществе VK Lab: lab
5 окт 2024
