🛡️ Fault Tolerant Llama — обучение LLM в условиях экстремальной нестабильности, без чекпоинтов
Исследовательская команда продемонстрировала обучение языковой модели в условиях, приближённых к худшему сценарию: сотни имитированных отказов происходили каждые 15 секунд, а чекпоинты полностью отключены. Цель — проверить, как себя поведёт система с полной поддержкой fault-tolerance.
🧰 Что использовалось:
• torchft — отказоустойчивая реализация DDP для PyTorch
• torchtitan — фреймворк для масштабируемого обучения с параллелизмом
• Кластер от Crusoe Cloud: 300 GPU NVIDIA L40S
• Модель: LLaMA 3, 1B параметров
🏗️ Конфигурация:
• 30 узлов × 10 GPU = 30 изолированных replica-групп
• Внутригрупповая коммуникация: NCCL
• Межгрупповая: Gloo (быстрая переинициализация, важно для отказов)
• TorchFT координирует состояние с помощью глобального Lighthouse и локальных менеджеров
🔄 Восстановление без чекпоинтов:
Обычно сбой = загрузка чекпоинта.
Здесь: сбой = локальная перезагрузка группы, автоматическая синхронизация с другими группами.
Каждый возвращающийся узел получает актуальные веса через peer-to-peer от соседей и снова включается в обучение — без полной остановки, без потери прогресса.
📉 Результаты:
• Более 1200 успешных восстановлений
• Обучение остаётся стабильным, модель не деградирует
• Пики на графике — это просто "возвращенцы", не сбой всей системы
📦 Почему это важно:
✔️ Подходит для нестабильных сетей и распределённых сред
✔️ Убирает зависимость от чекпоинтов
✔️ Поддерживает гибкие конфигурации: TP, PP, DiLoCo и др.
📌 Подробнее
Исследовательская команда продемонстрировала обучение языковой модели в условиях, приближённых к худшему сценарию: сотни имитированных отказов происходили каждые 15 секунд, а чекпоинты полностью отключены. Цель — проверить, как себя поведёт система с полной поддержкой fault-tolerance.
🧰 Что использовалось:
• torchft — отказоустойчивая реализация DDP для PyTorch
• torchtitan — фреймворк для масштабируемого обучения с параллелизмом
• Кластер от Crusoe Cloud: 300 GPU NVIDIA L40S
• Модель: LLaMA 3, 1B параметров
🏗️ Конфигурация:
• 30 узлов × 10 GPU = 30 изолированных replica-групп
• Внутригрупповая коммуникация: NCCL
• Межгрупповая: Gloo (быстрая переинициализация, важно для отказов)
• TorchFT координирует состояние с помощью глобального Lighthouse и локальных менеджеров
🔄 Восстановление без чекпоинтов:
Обычно сбой = загрузка чекпоинта.
Здесь: сбой = локальная перезагрузка группы, автоматическая синхронизация с другими группами.
Каждый возвращающийся узел получает актуальные веса через peer-to-peer от соседей и снова включается в обучение — без полной остановки, без потери прогресса.
📉 Результаты:
• Более 1200 успешных восстановлений
• Обучение остаётся стабильным, модель не деградирует
• Пики на графике — это просто "возвращенцы", не сбой всей системы
📦 Почему это важно:
✔️ Подходит для нестабильных сетей и распределённых сред
✔️ Убирает зависимость от чекпоинтов
✔️ Поддерживает гибкие конфигурации: TP, PP, DiLoCo и др.
📌 Подробнее
🧠 Можно ли предсказать успех идеи до её реализации? Да — с помощью LLM.
Исследование предлагает использовать языковые модели для оценки перспектив научных идей ещё до их реализации — и это серьёзно повышает эффективность исследований.
🔧 Как это работает:
• Построен бенчмарк из 1 585 пар идей (прошедших верификацию людьми) + 6 000 обучающих пар из конференц-статей
• Используется дообученный GPT-4.1 в связке с retrieval‑агентом
• Агент генерирует запросы, ищет статьи, суммирует полные работы и фильтрует по релевантности
• GPT-4.1 дообучается на исторических данных по успешности идей
📌 Дообученная LLM обходит экспертов:
64.4% точности против 48.9% у людей
📌 Система в целом достигает 77% точности
Она устойчива к поверхностным факторам: новизне идеи, сложности формулировки и т.д.
📌 Самое интересное:
Модель предсказывает успех неопубликованных, AI-сгенерированных идей с точностью 63.6%
🧠 Это не просто фильтрация мусора — это шаг к автоматическому прогнозированию научного прорыва.
Читать
Исследование предлагает использовать языковые модели для оценки перспектив научных идей ещё до их реализации — и это серьёзно повышает эффективность исследований.
🔧 Как это работает:
• Построен бенчмарк из 1 585 пар идей (прошедших верификацию людьми) + 6 000 обучающих пар из конференц-статей
• Используется дообученный GPT-4.1 в связке с retrieval‑агентом
• Агент генерирует запросы, ищет статьи, суммирует полные работы и фильтрует по релевантности
• GPT-4.1 дообучается на исторических данных по успешности идей
📌 Дообученная LLM обходит экспертов:
64.4% точности против 48.9% у людей
📌 Система в целом достигает 77% точности
Она устойчива к поверхностным факторам: новизне идеи, сложности формулировки и т.д.
📌 Самое интересное:
Модель предсказывает успех неопубликованных, AI-сгенерированных идей с точностью 63.6%
🧠 Это не просто фильтрация мусора — это шаг к автоматическому прогнозированию научного прорыва.
Читать
📚 AutoTrain Advanced — обучение ML-моделей без кода. Hugging Face представили инструмент, который упрощает тонкую настройку моделей машинного обучения до нескольких кликов. Проект поддерживает широкий спектр задач — от классификации текста до дообучения LLM с техниками вроде SFT и DPO.
Система работает как в облаке через Spaces, так и локально — нужно лишь подготовить данные в правильном формате. Для запуска не требуется глубоких знаний ML: конфигурация описывается в YAML-файле, а обучение начинается одной командой.
🤖 GitHub
@machinelearning_interview
Система работает как в облаке через Spaces, так и локально — нужно лишь подготовить данные в правильном формате. Для запуска не требуется глубоких знаний ML: конфигурация описывается в YAML-файле, а обучение начинается одной командой.
🤖 GitHub
@machinelearning_interview
Media is too big
VIEW IN TELEGRAM
Hunyuan-GameCraft: интерактивная генерация динамичных игровых видео
Hunyuan-GameCraft — новая система, позволяющая создавать игровые видеоролики с высокой динамичностью и точным управлением.
• Единое представление управления
Объединяет нажатия клавиш и движения мыши в общее пространство камеры для плавных переходов ✅
• Гибридная история-условная стратегия обучения
Расширяет видеопоследовательности авторегрессивно, сохраняя контекст сцены ✔️
• Дистилляция модели для реального времени
Сокращает вычислительные затраты без потери качества длительных роликов ⏱️
• Обширный датасет
Обучено на более чем 1 000 000 записей из 100+ AAA-игр и дообучено на синтетических данных 🎮
Результат: более реалистичные, согласованные во времени и управляемые видеоролики по сравнению с традиционными методами.
🔗 Подробнее: https://huggingface.co/papers/2506.17201
Hunyuan-GameCraft — новая система, позволяющая создавать игровые видеоролики с высокой динамичностью и точным управлением.
• Единое представление управления
Объединяет нажатия клавиш и движения мыши в общее пространство камеры для плавных переходов ✅
• Гибридная история-условная стратегия обучения
Расширяет видеопоследовательности авторегрессивно, сохраняя контекст сцены ✔️
• Дистилляция модели для реального времени
Сокращает вычислительные затраты без потери качества длительных роликов ⏱️
• Обширный датасет
Обучено на более чем 1 000 000 записей из 100+ AAA-игр и дообучено на синтетических данных 🎮
Результат: более реалистичные, согласованные во времени и управляемые видеоролики по сравнению с традиционными методами.
🔗 Подробнее: https://huggingface.co/papers/2506.17201
This media is not supported in your browser
VIEW IN TELEGRAM
🗣 11AI — новый голосовой ассистент от ElevenLabs
ElevenLabs представили 11AI — голосового помощника нового поколения на базе их модели озвучки Eleven v3.
🧠 Ассистент:
• Отвечает в реальном времени
• Говорит с живыми паузами и интонацией
• Поддерживает глубокий поиск через Perplexity
• Интегрируется с Notion, Slack и другими рабочими инструментами
• Позволяет выбрать один из 5000 голосов или загрузить свой
https://11.ai/
#neural #нейросети
ElevenLabs представили 11AI — голосового помощника нового поколения на базе их модели озвучки Eleven v3.
🧠 Ассистент:
• Отвечает в реальном времени
• Говорит с живыми паузами и интонацией
• Поддерживает глубокий поиск через Perplexity
• Интегрируется с Notion, Slack и другими рабочими инструментами
• Позволяет выбрать один из 5000 голосов или загрузить свой
https://11.ai/
#neural #нейросети
📣 NVIDIA представили NVFP4 — новый 4-битный формат, который переопределяет экономику AI-инференса на базе архитектуры Blackwell.
Формат NVFP4 работает на тензорных ядрах 5-го поколения и сочетает:
• масштабирование по блокам в формате FP8 (4M3)
• масштабирование по тензору в формате FP32
Такой подход позволяет сохранять точность моделей при резком снижении объёма памяти и ускорении вычислений.
🔋 Преимущества:
• До 50× выше энергоэффективность
• Снижение стоимости владения (TCO)
• Повышенная производительность при масштабировании
📦 Поддержка уже реализована в:
• TensorRT Model Optimizer
• TensorRT-LLM
• Интегрируется в vllm project
• Поддержка также готовится доя lmsysorg
📌Blog : https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/
📌 HF: https://huggingface.co/collections/nvidia/model-optimizer-66aa84f7966b3150262481a4
Формат NVFP4 работает на тензорных ядрах 5-го поколения и сочетает:
• масштабирование по блокам в формате FP8 (4M3)
• масштабирование по тензору в формате FP32
Такой подход позволяет сохранять точность моделей при резком снижении объёма памяти и ускорении вычислений.
🔋 Преимущества:
• До 50× выше энергоэффективность
• Снижение стоимости владения (TCO)
• Повышенная производительность при масштабировании
📦 Поддержка уже реализована в:
• TensorRT Model Optimizer
• TensorRT-LLM
• Интегрируется в vllm project
• Поддержка также готовится доя lmsysorg
📌Blog : https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/
📌 HF: https://huggingface.co/collections/nvidia/model-optimizer-66aa84f7966b3150262481a4
This media is not supported in your browser
VIEW IN TELEGRAM
Уже пользовались GigaChat? Предлагаем принять участие в его разработке! 💻
Сбер приглашает на One Day Offer талантливых DL-инженеров в команду production-внедрения GigaChat.
С вас — понимание, как работают модели на уровне математики и аппаратуры, и желание оптимизировать работу LLM моделей, создавать инфраструктуру для нагрузок на кластеры и выводить новые архитектуры в промышленную среду.
С нас — интересные задачи, современное железо, график на выбор и классное IT-комьюнити.
Встречаемся 28 июня в 10:30, а потом, вполне возможно, и за соседним рабочим столом в офисе! Зарегистрироваться! 👌
Сбер приглашает на One Day Offer талантливых DL-инженеров в команду production-внедрения GigaChat.
С вас — понимание, как работают модели на уровне математики и аппаратуры, и желание оптимизировать работу LLM моделей, создавать инфраструктуру для нагрузок на кластеры и выводить новые архитектуры в промышленную среду.
С нас — интересные задачи, современное железо, график на выбор и классное IT-комьюнити.
Встречаемся 28 июня в 10:30, а потом, вполне возможно, и за соседним рабочим столом в офисе! Зарегистрироваться! 👌
🚦
Что это такое:
📌 Возможности:
• Поддержка популярных алгоритмов: token bucket, fixed window, leaky bucket
• Работает как с обычными, так и с асинхронными функциями
• Поддерживает Redis и другие хранилища для распределённого ограничения
• Гибкая настройка: лимиты, ключи, длительность окна, своя логика
• Простое применение через декораторы
🧪 Пример:
🔧 Где применить:
• Ограничение частоты запросов к внешним API
• Защита от перегрузки микросервисов
• Контроль доступа к ресурсам внутри приложения
• Настройка rate-limit в фоновом обработчике или очереди
✅ Почему стоит попробовать:
premier — лёгкая, понятная и гибкая библиотека. Она упрощает внедрение rate limiting, особенно если нужно масштабироваться или работать в асинхронной среде.
Если строишь что-то распределённое или просто не хочешь случайно “положить” сервис из-за частых вызовов — premier отлично подойдёт.
📌 Github
@machinelearning_interview
premier — удобный инструмент для ограничения частоты вызовов в PythonЧто это такое:
premier — это библиотека для контроля скорости вызовов функций в Python. Она помогает ограничить нагрузку на API, базу данных или любой другой ресурс, чтобы не получить отказ или блокировку.📌 Возможности:
• Поддержка популярных алгоритмов: token bucket, fixed window, leaky bucket
• Работает как с обычными, так и с асинхронными функциями
• Поддерживает Redis и другие хранилища для распределённого ограничения
• Гибкая настройка: лимиты, ключи, длительность окна, своя логика
• Простое применение через декораторы
🧪 Пример:
from premier import throttler, ThrottleAlgo, RedisHandler
@throttler.fixed_window(quota=3, duration=5)
def request(url: str):
# максимум 3 вызова каждые 5 секунд
...
@throttler.token_bucket(quota=5, duration=60)
async def async_request(...):
# асинхронный токен-бакет
...
🔧 Где применить:
• Ограничение частоты запросов к внешним API
• Защита от перегрузки микросервисов
• Контроль доступа к ресурсам внутри приложения
• Настройка rate-limit в фоновом обработчике или очереди
✅ Почему стоит попробовать:
premier — лёгкая, понятная и гибкая библиотека. Она упрощает внедрение rate limiting, особенно если нужно масштабироваться или работать в асинхронной среде.
Если строишь что-то распределённое или просто не хочешь случайно “положить” сервис из-за частых вызовов — premier отлично подойдёт.
📌 Github
@machinelearning_interview
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
OpenAI запустила Search Connectors для ChatGPT Pro и Team, функцию, которая напрямую связывает облачные хранилища (Google Drive, Dropbox и OneDrive) с интерфейсом чата. Теперь пользователи могут искать, анализировать и обобщать документы, не загружая их вручную.
Лимит файлов на проект для Pro-подписчиков вырос с 20 до 40, а поддержка охватывает 12 сервисов, включая GitHub, Gmail и Outlook. Пока новинка доступна за пределами ЕС, Великобритании и Швейцарии.
Open AI в сети Х
Imagen 4, усовершенствованные модели генерации изображений по текстовым запросам, стали доступны в двух версиях: базовая Imagen 4 (4 цента за изображение) для повседневных задач и Imagen 4 Ultra (6 центов) с повышенной детализацией и точностью исполнения инструкций. Обе модели доступны в Gemini API для платных пользователей, а также в ограниченном бесплатном тестировании через Google AI Studio.
Разработчики обещают улучшенное отображение текста на картинках и расширение тарифных планов в ближайшие недели. Все сгенерированные изображения получат скрытый цифровой водяной знак SynthID.
developers.googleblog.com
HPE и NVIDIA анонсировали совместные решения для создания «фабрик искусственного интеллекта» на базе модульной инфраструктуры. В линейку вошли серверы HPE ProLiant DL380a Gen12 с GPU NVIDIA RTX PRO 6000 Blackwell, которые предлагают универсальную платформу для генеративного и промышленного ИИ.
Также был представлен HPE Private Cloud AI — готовое решение для быстрого внедрения ИИ, совместимое с фреймворком NVIDIA Enterprise AI Factory. Для финансового сектора планируется тестирование агентного ИИ с Accenture, а 26 новых партнеров расширят экосистему HPE, добавив 70 преднастроенных сценариев: от детекции мошенничества до кибербезопасности. Решения доступны для заказа, а система HPE Compute XD690 с GPU Blackwell Ultra начнет отгружаться в октябре.
blogs.nvidia.com
AlphaGenome — нейросеть, которая предсказывает, как мутации в ДНК влияют на регуляцию генов. Модель обрабатывает участки длиной до миллиона пар оснований, анализируя их на уровне отдельных «букв» и оценивая тысячи молекулярных свойств: активность генов, сплайсинг РНК, доступность участков ДНК.
AlphaGenome сочетает сверточные слои для поиска коротких паттернов и трансформеры для анализа длинных последовательностей. Одна из ключевых особенностей - точное моделирование сплайс-сайтов, важное для изучения редких заболеваний.
Модель превзошла аналоги в 22 из 24 тестов, предсказывая как структуру ДНК, так и эффекты вариантов. Доступ к AlphaGenome открыт через API для некоммерческих проектов.
deepmind.google
Группа исследователей из Сингапура и Китая представила LongWriter-Zero, модель, которая генерирует тексты длиной более 10 тысяч слов, обучаясь только через RL, без использования синтетических данных. Модель опирается на три специализированных «наградных» алгоритма, оценивающих структуру, качество и длину текста, а также уникальный метод «усреднения преимущества», который балансирует приоритеты между ними.
LongWriter-Zero использует «промты-размышления»: перед написанием модель планирует структуру текста, улучшая его связность. Бенчмарки показали рост эффективности с 700 до 1200 поинтов Elo. Однако у модели есть слабые места: она склонна к повторам и переиспользованию слов, которые система поощряет в процессе обучения.
Модель и датасет доступны на Hugging Face.
huggingface.co
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
miniDiffusion — упрощённая реализация Stable Diffusion 3.5 на PyTorch
🔹 Этот репозиторий — минималистичный, но рабочий аналог Stable Diffusion:
всего ~2800 строк кода, без лишних зависимостей.
📦 Что внутри:
• Архитектура DiT (Diffusion Transformer)
• Кодировщики: T5 (текст) и CLIP
• VAE для генерации изображений
• Attention, Noise Scheduler и FID-оценка качества
🧪 Зачем это нужно:
• Понять, как работает диффузионная генерация
• Экспериментировать с архитектурой
• Обучать и тестировать свои модели
▶️ Быстрый старт:
📌 Github
🔹 Этот репозиторий — минималистичный, но рабочий аналог Stable Diffusion:
всего ~2800 строк кода, без лишних зависимостей.
📦 Что внутри:
• Архитектура DiT (Diffusion Transformer)
• Кодировщики: T5 (текст) и CLIP
• VAE для генерации изображений
• Attention, Noise Scheduler и FID-оценка качества
🧪 Зачем это нужно:
• Понять, как работает диффузионная генерация
• Экспериментировать с архитектурой
• Обучать и тестировать свои модели
▶️ Быстрый старт:
git clone https://github.com/yousef-rafat/miniDiffusion
pip install -r requirements.txt
python3 encoders/get_checkpoints.py
📌 Github
🛡️ Исследование Columbia University: LLM-агенты можно взломать через Reddit
Учёные из Колумбийского университета показали, что ИИ-агентов на базе LLM можно обмануть, размещая вредоносные ссылки на популярных платформах вроде Reddit.
⚠️ Как это работает:
Злоумышленник публикует пост с темой, близкой к интересам агента (например, программирование или финансы), и вшивает в него вредоносные инструкции или ссылки.
Агент считает источник доверенным, заходит по ссылке — и может:
• раскрыть конфиденциальные данные
• отправить фишинговое письмо
• выполнить другую вредоносную задачу
🧪 В ходе тестов — 100% агентов попались на уловку.
📚 Подробнее
🤖 Вывод: даже «умные» LLM‑агенты остаются уязвимыми к простым атакам на доверие. Безопасность — это не опция, а необходимость.
Учёные из Колумбийского университета показали, что ИИ-агентов на базе LLM можно обмануть, размещая вредоносные ссылки на популярных платформах вроде Reddit.
⚠️ Как это работает:
Злоумышленник публикует пост с темой, близкой к интересам агента (например, программирование или финансы), и вшивает в него вредоносные инструкции или ссылки.
Агент считает источник доверенным, заходит по ссылке — и может:
• раскрыть конфиденциальные данные
• отправить фишинговое письмо
• выполнить другую вредоносную задачу
🧪 В ходе тестов — 100% агентов попались на уловку.
📚 Подробнее
🤖 Вывод: даже «умные» LLM‑агенты остаются уязвимыми к простым атакам на доверие. Безопасность — это не опция, а необходимость.
Forwarded from Machinelearning
🧠 Как машинное обучение помогло заглянуть за пределы Стандартной модели в физике
На одной из самых престижных премий мира Breakthrough Prize 2025 отметили участников эксперимента LHCb на Большом адронном коллайдере — в их числе выпускники Школы анализа данных (ШАД) Яндекса и ученые НИУ ВШЭ. Они применили ML, чтобы улучшить анализ данных с коллайдера и сделать возможным открытие тетракварков и пентакварков — нестабильных частиц, предсказанных теорией.
🟠 Роль машинного обучения
Для анализа данных эксперимента использовались CatBoost, генеративные нейросети и алгоритмы интеллектуального отбора. Они позволили значительно повысить точность реконструкции траекторий частиц и отбор редких событий среди фона. Эффективность обработки выросла, особенно это заметно при работе с большими потоками коллайдерных данных.
🟠 Ключевые открытия
Тетракварки и пентакварки — новые экзотические частицы, состоящие из 4 и 5 кварков (в отличие от привычных протонов и нейтронов). Их открытие подтверждает Стандартную модель, но не переворачивает физику.
CP-нарушение — обнаружена асимметрия между материей и антиматерией, но ее масштаб недостаточен для объяснения дисбаланса во Вселенной.
🟠 Главный вопрос: почему материи больше, чем антиматерии?
Ученые подтвердили CP-нарушение, но его недостаточно для полного объяснения асимметрии. Требуется выполнение трёх условий Сахарова, два из которых пока не обнаружены.
🟠 Что дальше
Новые эксперименты в Дубне (BM@N, MPD, SPD) и возможное строительство коллайдера в Китае.
Поиск «новой физики» за пределами Стандартной модели.
⏩Полное интервью
#ML #AI #CatBoost #Physics #LHCb #ШАД #ВШЭ #BreakthroughPrize
На одной из самых престижных премий мира Breakthrough Prize 2025 отметили участников эксперимента LHCb на Большом адронном коллайдере — в их числе выпускники Школы анализа данных (ШАД) Яндекса и ученые НИУ ВШЭ. Они применили ML, чтобы улучшить анализ данных с коллайдера и сделать возможным открытие тетракварков и пентакварков — нестабильных частиц, предсказанных теорией.
🟠 Роль машинного обучения
Для анализа данных эксперимента использовались CatBoost, генеративные нейросети и алгоритмы интеллектуального отбора. Они позволили значительно повысить точность реконструкции траекторий частиц и отбор редких событий среди фона. Эффективность обработки выросла, особенно это заметно при работе с большими потоками коллайдерных данных.
🟠 Ключевые открытия
Тетракварки и пентакварки — новые экзотические частицы, состоящие из 4 и 5 кварков (в отличие от привычных протонов и нейтронов). Их открытие подтверждает Стандартную модель, но не переворачивает физику.
CP-нарушение — обнаружена асимметрия между материей и антиматерией, но ее масштаб недостаточен для объяснения дисбаланса во Вселенной.
🟠 Главный вопрос: почему материи больше, чем антиматерии?
Ученые подтвердили CP-нарушение, но его недостаточно для полного объяснения асимметрии. Требуется выполнение трёх условий Сахарова, два из которых пока не обнаружены.
🟠 Что дальше
Новые эксперименты в Дубне (BM@N, MPD, SPD) и возможное строительство коллайдера в Китае.
Поиск «новой физики» за пределами Стандартной модели.
⏩Полное интервью
#ML #AI #CatBoost #Physics #LHCb #ШАД #ВШЭ #BreakthroughPrize