pip install pyspark-connect.NULL или тихо обрезал значение. Это было удобно, но могло скрывать баги. Теперь включён режим ANSI SQL по умолчанию – как в классических базах данных. Если в запросе ошибка, Spark сразу об этом скажет и выбросит ошибку. Получается более надежно и предсказуемо. Официальный релиз
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Смотрите, какого симпатичного робота-игрока в бадминтон обучили в Robotic Systems Lab в Цюрихе
Робота обучали полностью в симуляции с высокой частотой и крупным пулом параллельных сред (4096 экземпляров), чтобы охватить разнообразие ударов и позиций.
Самое сложное здесь – это точно предсказывать точку перехвата (удара), так что ученые заранее генерировали случайные траектории волана, задавая начальные координаты и скорости по равномерному распределению, а затем отслеживали его положение через HSV-фильтрацию камеры.
Но самое интересное, что здесь основная моделька – это обычная полносвязная (feed-forward) MLP. Ее обучали политике по схеме PPO с AdamW. На выходе она выдаёт параметры (μ и σ) гауссовского распределения действий. Из этого распределения затем и сэмплируются управляющие команды: целевые крутящие моменты или позиции суставов.
Такого бы летом возить с собой на пикники
www.science.org/doi/10.1126/scirobotics.adu3922
Робота обучали полностью в симуляции с высокой частотой и крупным пулом параллельных сред (4096 экземпляров), чтобы охватить разнообразие ударов и позиций.
Самое сложное здесь – это точно предсказывать точку перехвата (удара), так что ученые заранее генерировали случайные траектории волана, задавая начальные координаты и скорости по равномерному распределению, а затем отслеживали его положение через HSV-фильтрацию камеры.
Но самое интересное, что здесь основная моделька – это обычная полносвязная (feed-forward) MLP. Ее обучали политике по схеме PPO с AdamW. На выходе она выдаёт параметры (μ и σ) гауссовского распределения действий. Из этого распределения затем и сэмплируются управляющие команды: целевые крутящие моменты или позиции суставов.
Такого бы летом возить с собой на пикники
www.science.org/doi/10.1126/scirobotics.adu3922
Полезная новость для всех, кто работает с аналитикой в DataLens
Теперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.
На экзамене — все по делу:
— чарты и датасеты,
— вычисляемые поля и параметры,
— подключение источников,
— дашборды и доступы.
До конца августа пройти сертификацию можно за 2 500 ₽ вместо 5 000 ₽. Плюс — бесплатный курс и примеры заданий уже собраны на сайте.
Переходите по ссылке и подтвердите свои знания и навыки работы с DataLens.
Теперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.
На экзамене — все по делу:
— чарты и датасеты,
— вычисляемые поля и параметры,
— подключение источников,
— дашборды и доступы.
До конца августа пройти сертификацию можно за 2 500 ₽ вместо 5 000 ₽. Плюс — бесплатный курс и примеры заданий уже собраны на сайте.
Переходите по ссылке и подтвердите свои знания и навыки работы с DataLens.
Интересное фото прилетело к нам в предложку: на госэкзамене по профилю «Реклама и связи с общественностью» в Финансовом университете при Правительстве РФ в качестве задачи используют кейс Сбера с их моделью Kandinsky, когда компания помогла в сохранении культурного наследия и восстановила изображение картины «Портрет Званцевой» Ильи Репина.
Студентам нужно было предложить план PR-кампании для нейросети. Надеемся, Сбер учтет лучшие предложения😏
Студентам нужно было предложить план PR-кампании для нейросети. Надеемся, Сбер учтет лучшие предложения
Please open Telegram to view this post
VIEW IN TELEGRAM
Haha, classic: ИИ лондонской компании BuilderAI на деле оказался сотнями индийцев
За много лет существования в стартап инвестировали Microsoft, Суверенный инвестфонд Катара и ряд других крупных фондов. Всего они привлекли около 440 миллионов долларов. В 2018 году стоимость компании достигала 1.5 миллиардов.
Суть в том, что заказчики оставляют ТЗ, а «нейросеть» Natasha AI пишет для них код приложения или сайта. Вот только оказалось, что вместо нейросети в стартапе использовали труд сотен живых сотрудников.
Самое интересное, что это не такая уж и новость: об этом еще в 2019 году сделали расследование The Wall Street Journal. Вот только почему-то тогда на него никто не обратил внимание, и инвесторы продолжили нести деньги.
И даже после бума ИИ в 2022 компания еще несколько лет продолжала оставаться на плаву за счет живых программистов и, частично, API сторонних вендоров. Теперь кредиторы наконец проснулись и заморозили стартапу большинство счетов. Плюсом ко всему теперь BuilderAI подозревают в фальсификации финансовых прогнозов.
Сейчас они подают в суд по защите от банкротства🤡
За много лет существования в стартап инвестировали Microsoft, Суверенный инвестфонд Катара и ряд других крупных фондов. Всего они привлекли около 440 миллионов долларов. В 2018 году стоимость компании достигала 1.5 миллиардов.
Суть в том, что заказчики оставляют ТЗ, а «нейросеть» Natasha AI пишет для них код приложения или сайта. Вот только оказалось, что вместо нейросети в стартапе использовали труд сотен живых сотрудников.
Самое интересное, что это не такая уж и новость: об этом еще в 2019 году сделали расследование The Wall Street Journal. Вот только почему-то тогда на него никто не обратил внимание, и инвесторы продолжили нести деньги.
И даже после бума ИИ в 2022 компания еще несколько лет продолжала оставаться на плаву за счет живых программистов и, частично, API сторонних вендоров. Теперь кредиторы наконец проснулись и заморозили стартапу большинство счетов. Плюсом ко всему теперь BuilderAI подозревают в фальсификации финансовых прогнозов.
Сейчас они подают в суд по защите от банкротства
Please open Telegram to view this post
VIEW IN TELEGRAM
ИИ обошел 90% команд на соревновании хакеров
Исследователи из Palisade Research (это те, у которых недавно выходило вот это громкое исследование про саботаж моделей) сделали специальный AI-трек на двух недавних соревнованиях Capture The Flag от крупнейшей платформы Hack The Box. Суммарно участие принимали почти 18 тысяч человек и 8 500 команд. Из них несколько полностью состояли из ИИ-агентов. Вот что вышло:
➖ В первом небольшом соревновании (≈400 команд) четыре из семи агентов решили по 19 из 20 задач и вошли в топ 5 % участников
➖ Во втором большом CTF (≈8 000 команд) лучшему ИИ-агенту удалось захватить 20 флагов из 62 и оказаться в топ-10%
➖ При этом агенты справляются почти со всеми задачами, на которые человек тартит до часа времени, и делают это в разы быстрее
Одинаково неплохо моделям удавались и задачи на взлом шифра, и веб-взломы, и форензика, и эксплуатация уязвимостей💀
Ну и экономический эффект тоже на месте. Если принять во внимание, что на одну команду из топ-5% обычно уходит не менее нескольких сотен человеко-часов на подготовку, анализ и написание эксплойтов, то даже самый дорогой агент, который работал 500ч, в итоге обошелся дешевле, чем 10 таких живых команд.
arxiv.org/pdf/2505.19915
Исследователи из Palisade Research (это те, у которых недавно выходило вот это громкое исследование про саботаж моделей) сделали специальный AI-трек на двух недавних соревнованиях Capture The Flag от крупнейшей платформы Hack The Box. Суммарно участие принимали почти 18 тысяч человек и 8 500 команд. Из них несколько полностью состояли из ИИ-агентов. Вот что вышло:
Одинаково неплохо моделям удавались и задачи на взлом шифра, и веб-взломы, и форензика, и эксплуатация уязвимостей
Ну и экономический эффект тоже на месте. Если принять во внимание, что на одну команду из топ-5% обычно уходит не менее нескольких сотен человеко-часов на подготовку, анализ и написание эксплойтов, то даже самый дорогой агент, который работал 500ч, в итоге обошелся дешевле, чем 10 таких живых команд.
arxiv.org/pdf/2505.19915
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Perplexity запустили режим Labs: аналог Deep Research на максималках
Мод предназначен для сложных поисковых задач и в нем можно создавать отчеты, таблицы, картинки, презентации и даже панели мониторинга.
На выходе получается не просто текст со ссылками, а целая интерактивная раскладка с графиками и дашбордами. Labs даже может развернуть мини-приложение. При этом весь написанный агентом код (для графиков, для вот таких мини-приложений и тд) доступен в отдельной вкладке.
Посмотреть и потыкать больше примеров можно бесплатно здесь
Попробовать фичу можно в подписке Pro (20$ в месяц)
Мод предназначен для сложных поисковых задач и в нем можно создавать отчеты, таблицы, картинки, презентации и даже панели мониторинга.
На выходе получается не просто текст со ссылками, а целая интерактивная раскладка с графиками и дашбордами. Labs даже может развернуть мини-приложение. При этом весь написанный агентом код (для графиков, для вот таких мини-приложений и тд) доступен в отдельной вкладке.
Посмотреть и потыкать больше примеров можно бесплатно здесь
Попробовать фичу можно в подписке Pro (20$ в месяц)
This media is not supported in your browser
VIEW IN TELEGRAM
У Manus тоже обновление: теперь там есть тулза для генерации презентаций
По одному текстовому запросу и любым референсам (картинки, шаблоны и прочее) можно сгенерировать нужное количество слайдов с желаемым дизайном, наполнением и даже графиками.
Если нужно что-то отредактировать, можно просто нажать на нужное место и поправить, ну или попросить это сделать агента.
Тем, у кого скоро защита диплома – привет😁
По одному текстовому запросу и любым референсам (картинки, шаблоны и прочее) можно сгенерировать нужное количество слайдов с желаемым дизайном, наполнением и даже графиками.
Если нужно что-то отредактировать, можно просто нажать на нужное место и поправить, ну или попросить это сделать агента.
Тем, у кого скоро защита диплома – привет
Please open Telegram to view this post
VIEW IN TELEGRAM
Data Secrets
Anthropic опенсорснули свой микроскоп для LLM
Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.
Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.
Вот как это работает:
➖ вы выбираете модель,
➖ задаете промпт,
➖ настраиваете гиперпараметры (если хотите)
➖ ... и получаете большой аналитический граф того, как модель обдумывает ответ на ваш запрос. С этим графом можно взаимодействовать, рассматривать на разных уровнях и тд.
Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная
Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.
Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.
Вот как это работает:
Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная
Please open Telegram to view this post
VIEW IN TELEGRAM
Как нейросети сэкономили врачам месяцы на подготовке к запускам клинических исследований
Вышла новость о том, что НМИЦ онкологии им. Н. Н. Петрова внедрил решение на базе YandexGPT 5 Pro для обработки документов клинических исследований. Рассказываем, почему это важно и как работает.
Все новые лекарства и методы лечения обязаны пройти этап клинического исследования — это когда они проверяются на людях. Но чтобы начать такое исследование, нужно подать 300–800 страниц протоколов, инструкций, таблиц и обоснований, оформленных по строгим этическим и юридическим нормам.
Обычно проверка такой кипы бумаг занимает недели, а согласование — месяцы. С решением на базе YandexGPT первичный чекинг (внимание!) теперь требует всего несколько минут, а полный цикл согласования сокращается до 5-10 дней.
И это только оценка снизу. До этого примерно 35% заявок могли зависать на годы из-за ошибок в документах. А теперь модель автоматически находит неточности, предлагает улучшения и ускоряет все проверки.
В итоге врачи экономят месяцы работы, а пациенты намного раньше получают доступ к лечению. В ближайшее время решение планируется масштабировать на другие исследовательские учреждения, включая онкоцентры стран BRICS.
Решение совместно разработали специалисты из Yandex Cloud, компании Raft и НМИЦ. Вот как все работает: Хабр
Вышла новость о том, что НМИЦ онкологии им. Н. Н. Петрова внедрил решение на базе YandexGPT 5 Pro для обработки документов клинических исследований. Рассказываем, почему это важно и как работает.
Все новые лекарства и методы лечения обязаны пройти этап клинического исследования — это когда они проверяются на людях. Но чтобы начать такое исследование, нужно подать 300–800 страниц протоколов, инструкций, таблиц и обоснований, оформленных по строгим этическим и юридическим нормам.
Обычно проверка такой кипы бумаг занимает недели, а согласование — месяцы. С решением на базе YandexGPT первичный чекинг (внимание!) теперь требует всего несколько минут, а полный цикл согласования сокращается до 5-10 дней.
И это только оценка снизу. До этого примерно 35% заявок могли зависать на годы из-за ошибок в документах. А теперь модель автоматически находит неточности, предлагает улучшения и ускоряет все проверки.
В итоге врачи экономят месяцы работы, а пациенты намного раньше получают доступ к лечению. В ближайшее время решение планируется масштабировать на другие исследовательские учреждения, включая онкоцентры стран BRICS.
Решение совместно разработали специалисты из Yandex Cloud, компании Raft и НМИЦ. Вот как все работает: Хабр
The Darwin Gödel Machine: агент от Sakana AI, который совершенствуется, переписывая собственный код
Очень интересная статья вышла у уже известной нам по нескольким громким рисерчам лаборатории Sakana AI. Они показали DGM – первую систему, которая может улучшать саму себя по принципу биологической эволюции. Идея вот в чем:
🟦 В начале есть один агент, способный читать, писать и исполнять код. У него есть доступ к своему коду.
🟦 Агент пробует улучшить себя – меняет свой код и создает новую версию себя, то есть ребёнка.
🟦 Эту новую версию тестируют на задачах типа SWE-bench. Если она работает и тоже умеет понимать, читать и менять код – то ее добавляют в архив.
🟦 А дальше все начинается с начала: на следующем шаге выбирают одного из агентов из архива (не обязательно последнего), и цикл повторяется.
Получается своеобразный генетический алгоритм с саморефлексивностью, и это работает. По сравнению с исходной моделью точность лучшего найденного агента на SWE-bench в экспериментах вырастала с 20% до 50%. На Polyglot – с 14.2% до 30.7%.
Улучшения, которые DGM придумывала, оказались неожиданно разумными: добавление построчного чтения файлов, более точное редактирование строк, учёт истории предыдущих попыток. И всё это – без участия человека.
Конечно, были и нюансы: в статье исследователи прямо пишут, что замечали попытки саботажа и подделки результатов (аля print("Accuracy: 100%")). Пока это легко отловить, но важность валидации очевидна.
Проект опенсорсный, код доступен тут
Статью полностью читаем здесь
Очень интересная статья вышла у уже известной нам по нескольким громким рисерчам лаборатории Sakana AI. Они показали DGM – первую систему, которая может улучшать саму себя по принципу биологической эволюции. Идея вот в чем:
Получается своеобразный генетический алгоритм с саморефлексивностью, и это работает. По сравнению с исходной моделью точность лучшего найденного агента на SWE-bench в экспериментах вырастала с 20% до 50%. На Polyglot – с 14.2% до 30.7%.
Улучшения, которые DGM придумывала, оказались неожиданно разумными: добавление построчного чтения файлов, более точное редактирование строк, учёт истории предыдущих попыток. И всё это – без участия человека.
Конечно, были и нюансы: в статье исследователи прямо пишут, что замечали попытки саботажа и подделки результатов (аля print("Accuracy: 100%")). Пока это легко отловить, но важность валидации очевидна.
Проект опенсорсный, код доступен тут
Статью полностью читаем здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Яндекс открывает ранний доступ к своей внутренней платформе для хранения и обработки данных YTsaurus
По сути, это хранилище + вычислительная платформа. Такой Hadoop на стероидах, где все сразу спроектировано для огромной нагрузки.
Внутри Яндекс платформа работает уже 10 лет. Именно на ней обучали YandexGPT, а еще реализовывали полный пайплайн оптимизации цен, логистики и акций Яндекс Маркета. Как вы понимаете, речь тут о поддержке эксабайтных объёмов данных, миллионов CPU и десятков тысяч GPU.
С точки зрения ML YTsaurus подходит под любые сценарии: от ETL и подготовки фичей до обучения и инференса моделей. Поддерживается обработка логов и вообще почти любых типов данных. Можно использовать знакомые инструменты, такие как ClickHouse и Apache Spark, либо писать низкоуровневые пайплайны с помощью MapReduce. Также доступен Python API и клиент для интеграции в ML-воркфлоу.
Интересно, что развернуть можно и как облачный сервис (тогда все будет админить Яндекс), и как on-premise, если компания хочет хранить данные у себя.
В общем, максимальная гибкость, мощность и покрытие задач. Для раннего доступа к YTsaurus подавайте заявку на сайте
По сути, это хранилище + вычислительная платформа. Такой Hadoop на стероидах, где все сразу спроектировано для огромной нагрузки.
Внутри Яндекс платформа работает уже 10 лет. Именно на ней обучали YandexGPT, а еще реализовывали полный пайплайн оптимизации цен, логистики и акций Яндекс Маркета. Как вы понимаете, речь тут о поддержке эксабайтных объёмов данных, миллионов CPU и десятков тысяч GPU.
С точки зрения ML YTsaurus подходит под любые сценарии: от ETL и подготовки фичей до обучения и инференса моделей. Поддерживается обработка логов и вообще почти любых типов данных. Можно использовать знакомые инструменты, такие как ClickHouse и Apache Spark, либо писать низкоуровневые пайплайны с помощью MapReduce. Также доступен Python API и клиент для интеграции в ML-воркфлоу.
Интересно, что развернуть можно и как облачный сервис (тогда все будет админить Яндекс), и как on-premise, если компания хочет хранить данные у себя.
В общем, максимальная гибкость, мощность и покрытие задач. Для раннего доступа к YTsaurus подавайте заявку на сайте
Data Secrets
🥳 Кстати, сегодня мы празднуем месяц с того момента, как Grok 3.5 должен был выйти через неделю
Как вам модель?🍜
Как вам модель?
Please open Telegram to view this post
VIEW IN TELEGRAM