По поводу недавнего шума про DeepSeek. Вот вам совершенно поразительный кусок из их статьи. Речь про статью в январе, где они показывают уже вторую свою LLM, обученную через чистый RL. Они приходят к выводу (абсолютно логичному имхо), что обучение через RL будет приводить к поиску моделью совершенно новых путей решения задачи. Но что бы настолько…
На мой взгляд - это совершенно поразительно. Если кто сразу не понял: модель решает довольно сложную математическую задачу и тут у нее наступает момент “озарения” (в английском они это называют “aha moment”) и она перестраивает решение совершенно по другому… Момент озарения… Уже почти сильный ИИ…
Вот мне реально интересно, какие же ресурсы нужны, чтобы так обучить LLM на 671 млрд. параметров через RL. Что то меня берет сомнение про историю с 2000 GPU…
По поводу недавнего шума про DeepSeek. Вот вам совершенно поразительный кусок из их статьи. Речь про статью в январе, где они показывают уже вторую свою LLM, обученную через чистый RL. Они приходят к выводу (абсолютно логичному имхо), что обучение через RL будет приводить к поиску моделью совершенно новых путей решения задачи. Но что бы настолько…
На мой взгляд - это совершенно поразительно. Если кто сразу не понял: модель решает довольно сложную математическую задачу и тут у нее наступает момент “озарения” (в английском они это называют “aha moment”) и она перестраивает решение совершенно по другому… Момент озарения… Уже почти сильный ИИ…
Вот мне реально интересно, какие же ресурсы нужны, чтобы так обучить LLM на 671 млрд. параметров через RL. Что то меня берет сомнение про историю с 2000 GPU…
Continuing its crackdown against entities allegedly involved in a front-running scam using messaging app Telegram, Sebi on Thursday carried out search and seizure operations at the premises of eight entities in multiple locations across the country. Some people used the platform to organize ahead of the storming of the U.S. Capitol in January 2021, and last month Senator Mark Warner sent a letter to Durov urging him to curb Russian information operations on Telegram. He said that since his platform does not have the capacity to check all channels, it may restrict some in Russia and Ukraine "for the duration of the conflict," but then reversed course hours later after many users complained that Telegram was an important source of information. During the operations, Sebi officials seized various records and documents, including 34 mobile phones, six laptops, four desktops, four tablets, two hard drive disks and one pen drive from the custody of these persons. Oleksandra Matviichuk, a Kyiv-based lawyer and head of the Center for Civil Liberties, called Durov’s position "very weak," and urged concrete improvements.
from jp
