Notice: file_put_contents(): Write of 18416 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50 Все о блокчейн/мозге/space/WEB 3.0 в России и мире | Telegram Webview: blockchainRF/11793 -
Китайцы сделали прорыв в ИИ, переосмыслив архитектуру LLM
Впервые за 8 лет существования Transformer-архитектуры кто-то смог преодолеть её фундаментальное ограничение. Это новый класс возможностей для ИИ.
У всех языковых моделей одна проблема - могут работать только с ограниченным объёмом текста — ~ 100-200 тысяч токенов.
Причина — квадратичная сложность: обработка текста в 2 раза длиннее требует в 4 раза больше вычислений.
Китайская компания MiniMax, основанная в 2023г., представила модель MiniMax-01, у которой есть механизм Lightning Attention с линейной сложностью. Теперь удвоение текста требует удвоения вычислений.
MiniMax решает проблему LLM на фундаментальном уровне - меняет саму архитектуру Transformer, сохраняя все её преимущества.
Результат: 1. Контекст 4 млн токенов (~ 3000 книг одновременно) 2. Производительность на уровне GPT-4o и Claude-3.5 3. Превосходство над всеми моделями на длинных текстах.
Китайцы сделали прорыв в ИИ, переосмыслив архитектуру LLM
Впервые за 8 лет существования Transformer-архитектуры кто-то смог преодолеть её фундаментальное ограничение. Это новый класс возможностей для ИИ.
У всех языковых моделей одна проблема - могут работать только с ограниченным объёмом текста — ~ 100-200 тысяч токенов.
Причина — квадратичная сложность: обработка текста в 2 раза длиннее требует в 4 раза больше вычислений.
Китайская компания MiniMax, основанная в 2023г., представила модель MiniMax-01, у которой есть механизм Lightning Attention с линейной сложностью. Теперь удвоение текста требует удвоения вычислений.
MiniMax решает проблему LLM на фундаментальном уровне - меняет саму архитектуру Transformer, сохраняя все её преимущества.
Результат: 1. Контекст 4 млн токенов (~ 3000 книг одновременно) 2. Производительность на уровне GPT-4o и Claude-3.5 3. Превосходство над всеми моделями на длинных текстах.
Although some channels have been removed, the curation process is considered opaque and insufficient by analysts. The next bit isn’t clear, but Durov reportedly claimed that his resignation, dated March 21st, was an April Fools’ prank. TechCrunch implies that it was a matter of principle, but it’s hard to be clear on the wheres, whos and whys. Similarly, on April 17th, the Moscow Times quoted Durov as saying that he quit the company after being pressured to reveal account details about Ukrainians protesting the then-president Viktor Yanukovych. Telegram does offer end-to-end encrypted communications through Secret Chats, but this is not the default setting. Standard conversations use the MTProto method, enabling server-client encryption but with them stored on the server for ease-of-access. This makes using Telegram across multiple devices simple, but also means that the regular Telegram chats you’re having with folks are not as secure as you may believe. In view of this, the regulator has cautioned investors not to rely on such investment tips / advice received through social media platforms. It has also said investors should exercise utmost caution while taking investment decisions while dealing in the securities market. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%.
from us
