В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
'Wild West' Two days after Russia invaded Ukraine, an account on the Telegram messaging platform posing as President Volodymyr Zelenskiy urged his armed forces to surrender. Russian President Vladimir Putin launched Russia's invasion of Ukraine in the early-morning hours of February 24, targeting several key cities with military strikes. Telegram was founded in 2013 by two Russian brothers, Nikolai and Pavel Durov. In a statement, the regulator said the search and seizure operation was carried out against seven individuals and one corporate entity at multiple locations in Ahmedabad and Bhavnagar in Gujarat, Neemuch in Madhya Pradesh, Delhi, and Mumbai.
from us
