Telegram Group & Telegram Channel
Language Models are Injective and Hence Invertible

Исследование языковых моделей на трансформерах показало, что они "ОБРАТИМЫ"

Это означает, что теперь мы можем точно восстановить ИСХОДНЫЙ промпт по скрытым активациям с помощью SIPit, нового алгоритма с гарантиями линейного времени.

Информация о входном тексте почти наверняка сохраняется в скрытых представлениях модели, опровергая мнение о «потере» информации из-за нелинейностей и других факторов.

Картинка из папиры, загадочная и непостижимая для меня, просто для красоты

#news
1👍6🤔4🔥3



group-telegram.com/GreenNeuralRobots/9238
Create:
Last Update:

Language Models are Injective and Hence Invertible

Исследование языковых моделей на трансформерах показало, что они "ОБРАТИМЫ"

Это означает, что теперь мы можем точно восстановить ИСХОДНЫЙ промпт по скрытым активациям с помощью SIPit, нового алгоритма с гарантиями линейного времени.

Информация о входном тексте почти наверняка сохраняется в скрытых представлениях модели, опровергая мнение о «потере» информации из-за нелинейностей и других факторов.

Картинка из папиры, загадочная и непостижимая для меня, просто для красоты

#news

BY Нейронавт | Нейросети в творчестве




Share with your friend now:
group-telegram.com/GreenNeuralRobots/9238

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Unlike Silicon Valley giants such as Facebook and Twitter, which run very public anti-disinformation programs, Brooking said: "Telegram is famously lax or absent in its content moderation policy." Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." Pavel Durov, a billionaire who embraces an all-black wardrobe and is often compared to the character Neo from "the Matrix," funds Telegram through his personal wealth and debt financing. And despite being one of the world's most popular tech companies, Telegram reportedly has only about 30 employees who defer to Durov for most major decisions about the platform. The original Telegram channel has expanded into a web of accounts for different locations, including specific pages made for individual Russian cities. There's also an English-language website, which states it is owned by the people who run the Telegram channels. Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment.
from us


Telegram Нейронавт | Нейросети в творчестве
FROM American