Telegram Group & Telegram Channel
🔥 Сегодня вышла моя первая статья на Хабр, как мы в Tochka AI сделали новые, улучшенные русскоязычные трансформеры с длинным контекстом.

Если кратко: в основе метода внедрение Rotary Embeddings в архитектуру и дистиляция (клонирование оригинальных моделей). Всего мы выпустили 4 разных модели для разных задач (sentence и word embeddings) и размеров контекста (до 2к токенов).

В итоге мы добились топ 1 по скору S+W на бенчмарке encodechka. И кроме того, мы внедрили FlashAttention из Pytorch и ускороили инференс и тренировку в несколько раз!

Веса всех моделей, их код и инструкции по запуску доступны в нашем аккаунте на HuggingFace 🤗

Классические берты с большим русским словарем токенов (идеально для NER и подобных задач):
Tochka-AI/ruRoPEBert-classic-base-512
Tochka-AI/ruRoPEBert-classic-base-2k

Sentence берты, с руссифицированным словарем от e5 (лидеры на encodechka):
Tochka-AI/ruRoPEBert-e5-base-512
Tochka-AI/ruRoPEBert-e5-base-2k

Больше подробностей вас ждут в статье по ссылке 💫
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22👍3



group-telegram.com/nlpwanderer/31
Create:
Last Update:

🔥 Сегодня вышла моя первая статья на Хабр, как мы в Tochka AI сделали новые, улучшенные русскоязычные трансформеры с длинным контекстом.

Если кратко: в основе метода внедрение Rotary Embeddings в архитектуру и дистиляция (клонирование оригинальных моделей). Всего мы выпустили 4 разных модели для разных задач (sentence и word embeddings) и размеров контекста (до 2к токенов).

В итоге мы добились топ 1 по скору S+W на бенчмарке encodechka. И кроме того, мы внедрили FlashAttention из Pytorch и ускороили инференс и тренировку в несколько раз!

Веса всех моделей, их код и инструкции по запуску доступны в нашем аккаунте на HuggingFace 🤗

Классические берты с большим русским словарем токенов (идеально для NER и подобных задач):
Tochka-AI/ruRoPEBert-classic-base-512
Tochka-AI/ruRoPEBert-classic-base-2k

Sentence берты, с руссифицированным словарем от e5 (лидеры на encodechka):
Tochka-AI/ruRoPEBert-e5-base-512
Tochka-AI/ruRoPEBert-e5-base-2k

Больше подробностей вас ждут в статье по ссылке 💫

BY NLP Wanderer




Share with your friend now:
group-telegram.com/nlpwanderer/31

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Oleksandra Matviichuk, a Kyiv-based lawyer and head of the Center for Civil Liberties, called Durov’s position "very weak," and urged concrete improvements. Pavel Durov, Telegram's CEO, is known as "the Russian Mark Zuckerberg," for co-founding VKontakte, which is Russian for "in touch," a Facebook imitator that became the country's most popular social networking site. Lastly, the web previews of t.me links have been given a new look, adding chat backgrounds and design elements from the fully-features Telegram Web client. "And that set off kind of a battle royale for control of the platform that Durov eventually lost," said Nathalie Maréchal of the Washington advocacy group Ranking Digital Rights. Asked about its stance on disinformation, Telegram spokesperson Remi Vaughn told AFP: "As noted by our CEO, the sheer volume of information being shared on channels makes it extremely difficult to verify, so it's important that users double-check what they read."
from jp


Telegram NLP Wanderer
FROM American