gonzo-обзоры ML статей

Сначала рассматривали предобучение в контексте бесконечного компьюта (см. Pre-training under infinite compute, https://www.group-telegram.com/pl/gonzo_ML.com/4038), теперь инференс. И там, и тут, выводы близкие: в любой непонятной ситуации делай ансамблирование 😁

Title: Best-of-∞ - Asymptotic Performance of Test-Time Compute
Authors: Junpei Komiyama, Daisuke Oba, Masafumi Oyamada
Paper: https://arxiv.org/abs/2509.21091
Review: https://arxiviq.substack.com/p/best-of-asymptotic-performance-of
Code: https://github.com/jkomiyama/BoInf-code-publish

В статье представлен теоретический фреймворк "Best-of-∞", определяющий асимптотический предел производительности для стратегии best-of-N (BoN) с голосованием по большинству. Чтобы приблизиться к этому пределу с конечными ресурсами, авторы предлагают два ключевых нововведения: 1) Адаптивный алгоритм сэмплинга, который использует байесовское моделирование (в частности, фактор Байеса), чтобы динамически решать, когда прекратить генерацию ответов, тем самым оптимизируя вычислительные затраты. 2) Метод создания оптимально взвешенных ансамблей из нескольких LLM, который формулирует задачу оптимизации весов в асимптотическом пределе как решаемую задачу смешанного целочисленного линейного программирования (MILP).

Подробнее: https://www.group-telegram.com/pl/gonzo_ML.com_podcasts/1251

Telegram

gonzo_ML_podcasts

Best-of-Infinity: Принципиальный подход к максимизации производительности LLM во время инференса

Title: Best-of-∞ - Asymptotic Performance of Test-Time Compute
Authors: Junpei Komiyama, Daisuke Oba, Masafumi Oyamada
Paper: https://arxiv.org/abs/2509.21091…

👍4🤔3❤1

www.group-telegram.com/pl/gonzo_ML.com/4193

5.33K viewsedited  Nov 5 at 17:43

Сначала рассматривали предобучение в контексте бесконечного компьюта (см. Pre-training under infinite compute, https://www.group-telegram.com/pl/gonzo_ML.com/4038), теперь инференс. И там, и тут, выводы близкие: в любой непонятной ситуации делай ансамблирование 😁

Title: Best-of-∞ - Asymptotic Performance of Test-Time Compute
Authors: Junpei Komiyama, Daisuke Oba, Masafumi Oyamada
Paper: https://arxiv.org/abs/2509.21091
Review: https://arxiviq.substack.com/p/best-of-asymptotic-performance-of
Code: https://github.com/jkomiyama/BoInf-code-publish

В статье представлен теоретический фреймворк "Best-of-∞", определяющий асимптотический предел производительности для стратегии best-of-N (BoN) с голосованием по большинству. Чтобы приблизиться к этому пределу с конечными ресурсами, авторы предлагают два ключевых нововведения: 1) Адаптивный алгоритм сэмплинга, который использует байесовское моделирование (в частности, фактор Байеса), чтобы динамически решать, когда прекратить генерацию ответов, тем самым оптимизируя вычислительные затраты. 2) Метод создания оптимально взвешенных ансамблей из нескольких LLM, который формулирует задачу оптимизации весов в асимптотическом пределе как решаемую задачу смешанного целочисленного линейного программирования (MILP).

Подробнее: https://www.group-telegram.com/pl/gonzo_ML.com_podcasts/1251

BY gonzo-обзоры ML статей