Telegram Group & Telegram Channel
Разбор доступным языком конкурса по решению олимпиадных задач по математике с помощью нейросетей

Хочу объяснить доступным языком победное решение с прошедшего недавно завершившегося соревнования на Kaggle AI Mathematical Olympiad. Andrej Karpathy говорил, что если проводить параллели с работой мозга, то текущие LLM - это скорее быстрое интуитивное мышление, а вот медленное логическое мышление AI пока не умеет. И как раз решение математических задач - путь к медленному мышлению.

Победное решение смогло решить 29 задач из 50. Результат очень крутой. Сейчас расскажу как это решение устроено.

💎 Решение - это не одна нейросеть, а достаточно сложная система, построенная вокруг нейросети. Опять сошлюсь на Karpathy - LLM это как процессор в компьютере. В качестве нейросети-процессора взяли некую LLM DeepSeekMath-7B, созданную для решения математических задач. Нейросеть дообучили, чтобы она генерила решения в виде текстового ответа плюс код на питон (основано на работах 1 и 2).

💎 Как используется базовая модель. Над моделью реализуется подход Chain of Thoughts. Сеть прогоняют на своих же ответах несколько раз. Т.е. подали на вход задачу, сеть сгенерировала текст ответа и код. Код запускается и его вывод добавляется к ответу (если выполнение выдало ошибку добавляется код ошибки). Ответ добавляется ко входу и все вместе опять подается в нейросеть.

💎 Как решение доводится до стабильного результата. Ответы LLM на один и тот же вопрос отличаются от раза к разу. Поэтому стабильный результат получается за счет того, что Chain of Thought запускается 48 раз и после этого выбирается самый частый ответ.

Решение очень круто описано, выложены модели и код. У меня родилась идея, что можно устроить ML тренировку - реализовать часть с Chain of Thoughts с нуля.

#tech
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/big_ledovsky/203
Create:
Last Update:

Разбор доступным языком конкурса по решению олимпиадных задач по математике с помощью нейросетей

Хочу объяснить доступным языком победное решение с прошедшего недавно завершившегося соревнования на Kaggle AI Mathematical Olympiad. Andrej Karpathy говорил, что если проводить параллели с работой мозга, то текущие LLM - это скорее быстрое интуитивное мышление, а вот медленное логическое мышление AI пока не умеет. И как раз решение математических задач - путь к медленному мышлению.

Победное решение смогло решить 29 задач из 50. Результат очень крутой. Сейчас расскажу как это решение устроено.

💎 Решение - это не одна нейросеть, а достаточно сложная система, построенная вокруг нейросети. Опять сошлюсь на Karpathy - LLM это как процессор в компьютере. В качестве нейросети-процессора взяли некую LLM DeepSeekMath-7B, созданную для решения математических задач. Нейросеть дообучили, чтобы она генерила решения в виде текстового ответа плюс код на питон (основано на работах 1 и 2).

💎 Как используется базовая модель. Над моделью реализуется подход Chain of Thoughts. Сеть прогоняют на своих же ответах несколько раз. Т.е. подали на вход задачу, сеть сгенерировала текст ответа и код. Код запускается и его вывод добавляется к ответу (если выполнение выдало ошибку добавляется код ошибки). Ответ добавляется ко входу и все вместе опять подается в нейросеть.

💎 Как решение доводится до стабильного результата. Ответы LLM на один и тот же вопрос отличаются от раза к разу. Поэтому стабильный результат получается за счет того, что Chain of Thought запускается 48 раз и после этого выбирается самый частый ответ.

Решение очень круто описано, выложены модели и код. У меня родилась идея, что можно устроить ML тренировку - реализовать часть с Chain of Thoughts с нуля.

#tech

BY Big Ledovsky | блог DS лида




Share with your friend now:
group-telegram.com/big_ledovsky/203

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Although some channels have been removed, the curation process is considered opaque and insufficient by analysts. The perpetrators use various names to carry out the investment scams. They may also impersonate or clone licensed capital market intermediaries by using the names, logos, credentials, websites and other details of the legitimate entities to promote the illegal schemes. At this point, however, Durov had already been working on Telegram with his brother, and further planned a mobile-first social network with an explicit focus on anti-censorship. Later in April, he told TechCrunch that he had left Russia and had “no plans to go back,” saying that the nation was currently “incompatible with internet business at the moment.” He added later that he was looking for a country that matched his libertarian ideals to base his next startup. As such, the SC would like to remind investors to always exercise caution when evaluating investment opportunities, especially those promising unrealistically high returns with little or no risk. Investors should also never deposit money into someone’s personal bank account if instructed. Lastly, the web previews of t.me links have been given a new look, adding chat backgrounds and design elements from the fully-features Telegram Web client.
from us


Telegram Big Ledovsky | блог DS лида
FROM American