По поводу недавнего шума про DeepSeek. Вот вам совершенно поразительный кусок из их статьи. Речь про статью в январе, где они показывают уже вторую свою LLM, обученную через чистый RL. Они приходят к выводу (абсолютно логичному имхо), что обучение через RL будет приводить к поиску моделью совершенно новых путей решения задачи. Но что бы настолько…
На мой взгляд - это совершенно поразительно. Если кто сразу не понял: модель решает довольно сложную математическую задачу и тут у нее наступает момент “озарения” (в английском они это называют “aha moment”) и она перестраивает решение совершенно по другому… Момент озарения… Уже почти сильный ИИ…
Вот мне реально интересно, какие же ресурсы нужны, чтобы так обучить LLM на 671 млрд. параметров через RL. Что то меня берет сомнение про историю с 2000 GPU…
По поводу недавнего шума про DeepSeek. Вот вам совершенно поразительный кусок из их статьи. Речь про статью в январе, где они показывают уже вторую свою LLM, обученную через чистый RL. Они приходят к выводу (абсолютно логичному имхо), что обучение через RL будет приводить к поиску моделью совершенно новых путей решения задачи. Но что бы настолько…
На мой взгляд - это совершенно поразительно. Если кто сразу не понял: модель решает довольно сложную математическую задачу и тут у нее наступает момент “озарения” (в английском они это называют “aha moment”) и она перестраивает решение совершенно по другому… Момент озарения… Уже почти сильный ИИ…
Вот мне реально интересно, какие же ресурсы нужны, чтобы так обучить LLM на 671 млрд. параметров через RL. Что то меня берет сомнение про историю с 2000 GPU…
Telegram has become more interventionist over time, and has steadily increased its efforts to shut down these accounts. But this has also meant that the company has also engaged with lawmakers more generally, although it maintains that it doesn’t do so willingly. For instance, in September 2021, Telegram reportedly blocked a chat bot in support of (Putin critic) Alexei Navalny during Russia’s most recent parliamentary elections. Pavel Durov was quoted at the time saying that the company was obliged to follow a “legitimate” law of the land. He added that as Apple and Google both follow the law, to violate it would give both platforms a reason to boot the messenger from its stores. This provided opportunity to their linked entities to offload their shares at higher prices and make significant profits at the cost of unsuspecting retail investors. Telegram was founded in 2013 by two Russian brothers, Nikolai and Pavel Durov. Russian President Vladimir Putin launched Russia's invasion of Ukraine in the early-morning hours of February 24, targeting several key cities with military strikes. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands.
from sg
