Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
#transformer #optimization #memory #context
Пока во всех каналах идет шумиха о новой модели, я подготовил еще один разбор статьи. На этот раз погрузился в тему бесконечного контекста и линейной алгебры.
Очередной трансформер - авторы выделяют дополнительную память для итерационного сохранения векторов K и V по всем токенам текста в структуре Linear Attention, который работает параллельно оригинальному Multi-Head Attention (на выходе считают их взвешенную сумму с обучаемым параметром). Это позволяет не увеличивать сложность расчетов (которая и так O(N^2) в оригинальном Attention), а также запоминать сколь угодно много контекста. По результатам Infini-Transformer довольно хорошо справляется с задачей суммаризации (по бенчмаркам лучше, чем BART) и, очевидно👍, эфективнее работает с длинным контекстом.
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
#transformer #optimization #memory #context
Пока во всех каналах идет шумиха о новой модели, я подготовил еще один разбор статьи. На этот раз погрузился в тему бесконечного контекста и линейной алгебры.
Очередной трансформер - авторы выделяют дополнительную память для итерационного сохранения векторов K и V по всем токенам текста в структуре Linear Attention, который работает параллельно оригинальному Multi-Head Attention (на выходе считают их взвешенную сумму с обучаемым параметром). Это позволяет не увеличивать сложность расчетов (которая и так O(N^2) в оригинальном Attention), а также запоминать сколь угодно много контекста. По результатам Infini-Transformer довольно хорошо справляется с задачей суммаризации (по бенчмаркам лучше, чем BART) и, очевидно👍, эфективнее работает с длинным контекстом.
He adds: "Telegram has become my primary news source." Asked about its stance on disinformation, Telegram spokesperson Remi Vaughn told AFP: "As noted by our CEO, the sheer volume of information being shared on channels makes it extremely difficult to verify, so it's important that users double-check what they read." "Someone posing as a Ukrainian citizen just joins the chat and starts spreading misinformation, or gathers data, like the location of shelters," Tsekhanovska said, noting how false messages have urged Ukrainians to turn off their phones at a specific time of night, citing cybersafety. The SC urges the public to refer to the SC’s I nvestor Alert List before investing. The list contains details of unauthorised websites, investment products, companies and individuals. Members of the public who suspect that they have been approached by unauthorised firms or individuals offering schemes that promise unrealistic returns "He has to start being more proactive and to find a real solution to this situation, not stay in standby without interfering. It's a very irresponsible position from the owner of Telegram," she said.
from sg
