Известный ученый Энди Конвинский объявил, что подарит миллион долларов тем, кто пройдет 90% обновленного SWE-bench со своей моделькой
Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:
I'm Andy, and I’m giving $1M to the first team that exceeds 90% on a new version of the SWE-bench benchmark containing GitHub issues we collect after we freeze submissions. I want to see what a contamination-free leaderboard looks like. Your challenge is to build an AI that crushes this yet-to-be-collected set of SWE-bench issues.
Что тут интересного?
– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.
– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).
Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.
Известный ученый Энди Конвинский объявил, что подарит миллион долларов тем, кто пройдет 90% обновленного SWE-bench со своей моделькой
Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:
I'm Andy, and I’m giving $1M to the first team that exceeds 90% on a new version of the SWE-bench benchmark containing GitHub issues we collect after we freeze submissions. I want to see what a contamination-free leaderboard looks like. Your challenge is to build an AI that crushes this yet-to-be-collected set of SWE-bench issues.
Что тут интересного?
– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.
– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).
Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.
"The inflation fire was already hot and now with war-driven inflation added to the mix, it will grow even hotter, setting off a scramble by the world’s central banks to pull back their stimulus earlier than expected," Chris Rupkey, chief economist at FWDBONDS, wrote in an email. "A spike in inflation rates has preceded economic recessions historically and this time prices have soared to levels that once again pose a threat to growth." One thing that Telegram now offers to all users is the ability to “disappear” messages or set remote deletion deadlines. That enables users to have much more control over how long people can access what you’re sending them. Given that Russian law enforcement officials are reportedly (via Insider) stopping people in the street and demanding to read their text messages, this could be vital to protect individuals from reprisals. 'Wild West' "The argument from Telegram is, 'You should trust us because we tell you that we're trustworthy,'" Maréchal said. "It's really in the eye of the beholder whether that's something you want to buy into." Investors took profits on Friday while they could ahead of the weekend, explained Tom Essaye, founder of Sevens Report Research. Saturday and Sunday could easily bring unfortunate news on the war front—and traders would rather be able to sell any recent winnings at Friday’s earlier prices than wait for a potentially lower price at Monday’s open.
from us
