ML with MiLE

📢 Yann LeCun и его команда представили Dynamic Tanh (DyT) в качестве замены традиционных слоев нормализации в моделях глубокого обучения. Этот новый подход, основанный на функции масштабированного tanh, показывает производительность, сравнимую или превосходящую такие методы, как LayerNorm и RMSNorm. Самым захватывающим аспектом является его потенциал для снижения вычислительных затрат при сохранении эффективности модели.

🤔 DyT заменяет слои нормализации масштабированной функцией tanh (tanh(αx)), где параметр α (альфа) управляет коэффициентом масштабирования функции tanh. DyT имитирует поведение слоев нормализации, сжимая экстремальные значения, сохраняя линейный центр

Преимущества:
👉 DyT снижает затраты на обучение и инференс.
👉 Требуется только один обучаемый параметр масштабирования (α).
👉 Работает быстрее, чем RMSNorm на графических процессорах H100

arXiv.org

Transformers without Normalization

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better...

www.group-telegram.com/us/ml_with_mile.com/12

365 viewsMar 17 at 21:33

📢 Yann LeCun и его команда представили Dynamic Tanh (DyT) в качестве замены традиционных слоев нормализации в моделях глубокого обучения. Этот новый подход, основанный на функции масштабированного tanh, показывает производительность, сравнимую или превосходящую такие методы, как LayerNorm и RMSNorm. Самым захватывающим аспектом является его потенциал для снижения вычислительных затрат при сохранении эффективности модели.

🤔 DyT заменяет слои нормализации масштабированной функцией tanh (tanh(αx)), где параметр α (альфа) управляет коэффициентом масштабирования функции tanh. DyT имитирует поведение слоев нормализации, сжимая экстремальные значения, сохраняя линейный центр

Преимущества:
👉 DyT снижает затраты на обучение и инференс.
👉 Требуется только один обучаемый параметр масштабирования (α).
👉 Работает быстрее, чем RMSNorm на графических процессорах H100

BY ML with MiLE