В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
In the United States, Telegram's lower public profile has helped it mostly avoid high level scrutiny from Congress, but it has not gone unnoticed. Anastasia Vlasova/Getty Images In 2018, Russia banned Telegram although it reversed the prohibition two years later. Since January 2022, the SC has received a total of 47 complaints and enquiries on illegal investment schemes promoted through Telegram. These fraudulent schemes offer non-existent investment opportunities, promising very attractive and risk-free returns within a short span of time. They commonly offer unrealistic returns of as high as 1,000% within 24 hours or even within a few hours. "We as Ukrainians believe that the truth is on our side, whether it's truth that you're proclaiming about the war and everything else, why would you want to hide it?," he said.
from it
