✔️Ling-1T - новая модель от inclusionAI с 1 триллионом параметров
Модель на 1 трлн, из них ≈ 50 млрд активны на токен (MoE-архитектура).
Она обучена на 20 трлн+ токенов, специально отобранных для задач логического мышления и рассуждений. Контекст: 128 000 токенов.
Построена на базе Evo-CoT (Evolutionary Chain of Thought) и Linguistics-Unit RL - нового метода обучения для масштабируемых рассуждений. При помощи Evo-CoT модель постепенно улучшает баланс между точностью рассуждений и вычислительной эффективностью. То есть с каждым шагом она пытается делать рассуждения «глубже», но не слишком дорого по ресурсам.
Моделька демонстрирует сильные результаты в задачах кода, математики, логики и фронтенд-генерации.
В архитектуре задействованы Mixture-of-Experts (1/32 активация), MTP слои и маршрутизация экспертов.
Ling-1T показывает, что огромные модели можно сделать не только мощными, но и экономичными.
✔️Ling-1T - новая модель от inclusionAI с 1 триллионом параметров
Модель на 1 трлн, из них ≈ 50 млрд активны на токен (MoE-архитектура).
Она обучена на 20 трлн+ токенов, специально отобранных для задач логического мышления и рассуждений. Контекст: 128 000 токенов.
Построена на базе Evo-CoT (Evolutionary Chain of Thought) и Linguistics-Unit RL - нового метода обучения для масштабируемых рассуждений. При помощи Evo-CoT модель постепенно улучшает баланс между точностью рассуждений и вычислительной эффективностью. То есть с каждым шагом она пытается делать рассуждения «глубже», но не слишком дорого по ресурсам.
Моделька демонстрирует сильные результаты в задачах кода, математики, логики и фронтенд-генерации.
В архитектуре задействованы Mixture-of-Experts (1/32 активация), MTP слои и маршрутизация экспертов.
Ling-1T показывает, что огромные модели можно сделать не только мощными, но и экономичными.
Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." Continuing its crackdown against entities allegedly involved in a front-running scam using messaging app Telegram, Sebi on Thursday carried out search and seizure operations at the premises of eight entities in multiple locations across the country. Markets continued to grapple with the economic and corporate earnings implications relating to the Russia-Ukraine conflict. “We have a ton of uncertainty right now,” said Stephanie Link, chief investment strategist and portfolio manager at Hightower Advisors. “We’re dealing with a war, we’re dealing with inflation. We don’t know what it means to earnings.” To that end, when files are actively downloading, a new icon now appears in the Search bar that users can tap to view and manage downloads, pause and resume all downloads or just individual items, and select one to increase its priority or view it in a chat. "There are a lot of things that Telegram could have been doing this whole time. And they know exactly what they are and they've chosen not to do them. That's why I don't trust them," she said.
from jp
