Knowledge Accumulator | Telegram Webview: knowledge_accumulator/8 -

Telegram Group & Telegram Channel

Knowledge Accumulator

Deepmind AlphaCode - конкурент OpenAI Codex, который работает примерно так:

Сначала языковую модель претрейнят на всём GitHub.

Для файнтюна используется собственный датасет с задачками и решениями. В нём есть ещё и мета-информация (например, тег задачи), которая используется только при файнтюне.
В файнтюне есть ещё пара инкрементальных хаков, я это опущу.

Сэмплирование программы гораздо хитрее:
- Генерируется куча (до 10^6) программ, фильтруются по образцам из условия
- Отдельная модель генерирует тестовые данные для задачи (корректность не важна), и по выходам на этих данных программы кластеризуют.
- Представители кластеров отправляются на тестирование.

В результате при строгом ограничении на кол-во итоговых программ модель сильно обходит Codex (думаю, благодаря хитрому этапу генерации), но потолок сложности задач, которые система может решать, такой же невысокий, как у Codex.

Также для хайпа модель отправили на Codeforces и она там нарешала на медианный рейтинг.

www.group-telegram.com/tw/knowledge_accumulator.com/8

977 viewsMar 6, 2023 at 10:01

group-telegram.com/knowledge_accumulator/8

Create: 2023-03-06
Last Update: 2025-07-01 09:34:48

Deepmind AlphaCode - конкурент OpenAI Codex, который работает примерно так:

Сначала языковую модель претрейнят на всём GitHub.

Для файнтюна используется собственный датасет с задачками и решениями. В нём есть ещё и мета-информация (например, тег задачи), которая используется только при файнтюне.
В файнтюне есть ещё пара инкрементальных хаков, я это опущу.

Сэмплирование программы гораздо хитрее:
- Генерируется куча (до 10^6) программ, фильтруются по образцам из условия
- Отдельная модель генерирует тестовые данные для задачи (корректность не важна), и по выходам на этих данных программы кластеризуют.
- Представители кластеров отправляются на тестирование.

В результате при строгом ограничении на кол-во итоговых программ модель сильно обходит Codex (думаю, благодаря хитрому этапу генерации), но потолок сложности задач, которые система может решать, такой же невысокий, как у Codex.

Также для хайпа модель отправили на Codeforces и она там нарешала на медианный рейтинг.

BY Knowledge Accumulator

Share with your friend now:
group-telegram.com/knowledge_accumulator/8

Open in Telegram

Telegram | DID YOU KNOW?

Date: 2025-07-01|

In view of this, the regulator has cautioned investors not to rely on such investment tips / advice received through social media platforms. It has also said investors should exercise utmost caution while taking investment decisions while dealing in the securities market. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands. Telegram Messenger Blocks Navalny Bot During Russian Election The Russian invasion of Ukraine has been a driving force in markets for the past few weeks. A Russian Telegram channel with over 700,000 followers is spreading disinformation about Russia's invasion of Ukraine under the guise of providing "objective information" and fact-checking fake news. Its influence extends beyond the platform, with major Russian publications, government officials, and journalists citing the page's posts.
from tw

Telegram Knowledge Accumulator
FROM American