Telegram Group & Telegram Channel
🌟 DeepMath-103K — датасет для прокачки LLM в продвинутой математике

DeepMath-103K — это новый мощный набор задач для обучения больших языковых моделей (LLMs) математическому рассуждению на высоком уровне сложности с помощью reinforcement learning (RL).

📦 Что в наборе?
103 000+ задач уровня сложности 5–9 (от среднего до продвинутого уровня).

Каждая задача включает:

📌 Верифицируемый ответ — важно для обучения с подкреплением.

🧪 3 решения, сгенерированных моделью R1 — для обучения с учителем или дистилляции.

Полная очистка от утечек данных (decontaminated) — можно безопасно использовать на бенчмарках.

📊 Почему это важно?
Модели, обученные на DeepMath-103K, показывают существенный прирост точности на сложных математических задачах и бенчмарках (MATH, GSM8K, MiniF2F и др.).

🛠 Применение:
Fine-tuning моделей (например, GPT, LLaMA) для математического reasoning.

RLHF (reinforcement learning with human feedback) и self-improvement.

Дистилляция сильных моделей в более компактные.

🔜PAPER: https://arxiv.org/abs/2504.11456
🔜CODE: https://github.com/zwhe99/DeepMath
🔜 SET: https://huggingface.co/datasets/zwhe99/DeepMath-103K

@data_math
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/data_math/753
Create:
Last Update:

🌟 DeepMath-103K — датасет для прокачки LLM в продвинутой математике

DeepMath-103K — это новый мощный набор задач для обучения больших языковых моделей (LLMs) математическому рассуждению на высоком уровне сложности с помощью reinforcement learning (RL).

📦 Что в наборе?
103 000+ задач уровня сложности 5–9 (от среднего до продвинутого уровня).

Каждая задача включает:

📌 Верифицируемый ответ — важно для обучения с подкреплением.

🧪 3 решения, сгенерированных моделью R1 — для обучения с учителем или дистилляции.

Полная очистка от утечек данных (decontaminated) — можно безопасно использовать на бенчмарках.

📊 Почему это важно?
Модели, обученные на DeepMath-103K, показывают существенный прирост точности на сложных математических задачах и бенчмарках (MATH, GSM8K, MiniF2F и др.).

🛠 Применение:
Fine-tuning моделей (например, GPT, LLaMA) для математического reasoning.

RLHF (reinforcement learning with human feedback) и self-improvement.

Дистилляция сильных моделей в более компактные.

🔜PAPER: https://arxiv.org/abs/2504.11456
🔜CODE: https://github.com/zwhe99/DeepMath
🔜 SET: https://huggingface.co/datasets/zwhe99/DeepMath-103K

@data_math

BY Математика Дата саентиста




Share with your friend now:
group-telegram.com/data_math/753

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Following this, Sebi, in an order passed in January 2022, established that the administrators of a Telegram channel having a large subscriber base enticed the subscribers to act upon recommendations that were circulated by those administrators on the channel, leading to significant price and volume impact in various scrips. Russians and Ukrainians are both prolific users of Telegram. They rely on the app for channels that act as newsfeeds, group chats (both public and private), and one-to-one communication. Since the Russian invasion of Ukraine, Telegram has remained an important lifeline for both Russians and Ukrainians, as a way of staying aware of the latest news and keeping in touch with loved ones. Friday’s performance was part of a larger shift. For the week, the Dow, S&P 500 and Nasdaq fell 2%, 2.9%, and 3.5%, respectively. You may recall that, back when Facebook started changing WhatsApp’s terms of service, a number of news outlets reported on, and even recommended, switching to Telegram. Pavel Durov even said that users should delete WhatsApp “unless you are cool with all of your photos and messages becoming public one day.” But Telegram can’t be described as a more-secure version of WhatsApp. WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world.
from ca


Telegram Математика Дата саентиста
FROM American