В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
READ MORE WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. "The argument from Telegram is, 'You should trust us because we tell you that we're trustworthy,'" Maréchal said. "It's really in the eye of the beholder whether that's something you want to buy into." As such, the SC would like to remind investors to always exercise caution when evaluating investment opportunities, especially those promising unrealistically high returns with little or no risk. Investors should also never deposit money into someone’s personal bank account if instructed. Ukrainian forces successfully attacked Russian vehicles in the capital city of Kyiv thanks to a public tip made through the encrypted messaging app Telegram, Ukraine's top law-enforcement agency said on Tuesday.
from id
