🚀 Новинка от Hugging Face — FineWeb‑2: огромный высококачественный веб‑датасет на базе CommonCrawl!
📊 Основные характеристики:
- ~8 ТБ сжатого текста (~3 трлн слов) из 96 дампов CommonCrawl (2013–2024)
- Более 1000 языков и почти 1900 языковых-скриптовых пар
- Высокое качество: извлечён только основной текст, проведена фильтрация и дедупликация
- Лицензия ODC‑By 1.0 — можно использовать в коммерческих и исследовательских целях
📝 Зачем это нужно:
- Даёт открытому ИИ доступ к качеству, сравнимому с закрытыми наборами (как у LLaMA 3 или Mixtral)
- Существенно улучшает результаты на бенчмарках вроде MMLU и ARC, особенно при обучении с FineWeb‑Edu
🔧 Где применить FineWeb‑2:
- Обучение LLM с нуля
- Дообучение на редких языках
- Синтетическая генерация, RAG и пр.
📥 Скачать: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2
📊 Основные характеристики:
- ~8 ТБ сжатого текста (~3 трлн слов) из 96 дампов CommonCrawl (2013–2024)
- Более 1000 языков и почти 1900 языковых-скриптовых пар
- Высокое качество: извлечён только основной текст, проведена фильтрация и дедупликация
- Лицензия ODC‑By 1.0 — можно использовать в коммерческих и исследовательских целях
📝 Зачем это нужно:
- Даёт открытому ИИ доступ к качеству, сравнимому с закрытыми наборами (как у LLaMA 3 или Mixtral)
- Существенно улучшает результаты на бенчмарках вроде MMLU и ARC, особенно при обучении с FineWeb‑Edu
🔧 Где применить FineWeb‑2:
- Обучение LLM с нуля
- Дообучение на редких языках
- Синтетическая генерация, RAG и пр.
📥 Скачать: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2
Forwarded from Machinelearning
🔥 Релиз от Alibaba — новая мультимодальная модель Ovis‑U1‑3B.
🧠 Поддерживает:
• Понимание изображений (Image-to-Text )
• Генерация картинок по описанию (Text-to-Image)
• Интерактивное редактирование изображений (Inpainting по тексту)
⚙️ Размер: всего 3B параметров
📊 Производительность:
• 69.6 баллов в OpenCompass (выше, чем у Qwen 2.5 и Ovis-2)
• GenEval Accuracy: 0.89 — превосходит GPT-4o
• ImgEdit-Bench: почти на уровне GPT-4o (4.0 vs 4.2)
💡 Под капотом:
• Архитектура Ovis (Open Vision System)
• Поддержка генерации 1024×1024 с CFG
Хорошая маленькая, но мощная моделька, выйдает достойные генерации на демке.
🟠 Попробовать: https://huggingface.co/spaces/AIDC-AI/Ovis-U1-3B
🟠 Модель: https://huggingface.co/AIDC-AI/Ovis-U1-3B
@ai_machinelearning_big_data
#Alibaba #opensource
🧠 Поддерживает:
• Понимание изображений (Image-to-Text )
• Генерация картинок по описанию (Text-to-Image)
• Интерактивное редактирование изображений (Inpainting по тексту)
⚙️ Размер: всего 3B параметров
📊 Производительность:
• 69.6 баллов в OpenCompass (выше, чем у Qwen 2.5 и Ovis-2)
• GenEval Accuracy: 0.89 — превосходит GPT-4o
• ImgEdit-Bench: почти на уровне GPT-4o (4.0 vs 4.2)
💡 Под капотом:
• Архитектура Ovis (Open Vision System)
• Поддержка генерации 1024×1024 с CFG
Хорошая маленькая, но мощная моделька, выйдает достойные генерации на демке.
@ai_machinelearning_big_data
#Alibaba #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
ИИ хорошо решают тесты с вариантами ответа. Но настоящие пациенты не приходят с готовыми прокатами.
Microsoft протестировала MAI-DxO на 304 самых сложных открытых кейсах из New England Journal of Medicine — тех, с которыми часто не справляются даже опытные врачи.
📊 Результаты:
🔹 85,5% успешных решений (против ~20% у врачей)
🔹 Ниже стоимость диагностики, чем у врачей и одиночных LLM
🔹 Модель имитирует виртуальную команду ИИ-врачей с разными стилями мышления
ИИ в медицине делает гигантский шаг вперёд.
https://microsoft.ai/new/the-path-to-medical-superintelligence/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 В исходниках консоли xAI нашли упоминания двух новых моделей: Grok 4 и Grok 4 Code
Похоже, в xAI готовят к запуску сразу два поколения Grok 4:
🟡 Grok 4
> Новый флагман — “универсал” с акцентом на язык, математику и рассуждения.
> Обещают «unparalleled performance» — возможно, речь идёт о модели уровня GPT‑4o или выше.
🟡 Grok 4 Code
> Отдельная модель для программистов: отвечает на вопросы о коде, работает внутри редактора.
> Судя по описанию — аналог Copilot Chat, но от xAI.
Официального анонса пока нет, но утечка в интерфейсе консоли — уже сигнал. Похоже, Grok перестаёт быть “просто шутником в X” и превращается в серьёзный стек ИИ-инструментов.
#xAI #Grok #LLM #AItools
Похоже, в xAI готовят к запуску сразу два поколения Grok 4:
🟡 Grok 4
> Новый флагман — “универсал” с акцентом на язык, математику и рассуждения.
> Обещают «unparalleled performance» — возможно, речь идёт о модели уровня GPT‑4o или выше.
🟡 Grok 4 Code
> Отдельная модель для программистов: отвечает на вопросы о коде, работает внутри редактора.
> Судя по описанию — аналог Copilot Chat, но от xAI.
Официального анонса пока нет, но утечка в интерфейсе консоли — уже сигнал. Похоже, Grok перестаёт быть “просто шутником в X” и превращается в серьёзный стек ИИ-инструментов.
#xAI #Grok #LLM #AItools
🦙 go-llama.cpp — запускаем LLM в Go без лишних зависимостей. Этот проект предлагает минималистичные Go-биндинги для llama.cpp, позволяя работать с локальными языковыми моделями прямо из Go-кода. В отличие от других решений, здесь основная логика остаётся в C/C++ для максимальной производительности, а Go выступает лишь удобной обёрткой.
Инструмент выделяется поддержкой различных бэкендов — от OpenBLAS до Metal на Apple Silicon. Проект уже перешёл на новый формат GGUF, что делает его совместимым с современными версиями llama.cpp.
🤖 GitHub
Инструмент выделяется поддержкой различных бэкендов — от OpenBLAS до Metal на Apple Silicon. Проект уже перешёл на новый формат GGUF, что делает его совместимым с современными версиями llama.cpp.
🤖 GitHub
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Ученые из Yale, NYU и Allen Institute запустили SciArena - платформу для сравнения ИИ-моделей по качеству ответов на научные вопросы. Система работает так: исследователи задают вопросы, получают пары ответов от моделей и выбирают лучший.
Среди лидеров: OpenAI o3, обогнавший Claude и Gemini, а из открытых моделей Deepseek-R1-0528 вне конкуренции, она превзошла закрытые аналоги. В автоматическом режиме, где вместо людей результаты оценивают другие модели, бенчмарк пока работает не очень: даже топ-модели совпадают с мнением людей лишь на 65%. Код и наборы данных бенчмарка опубликованы в отрытом доступе.
allenai.org
Соцсеть X (бывшая Twitter) внедряет ИИ-генерируемые заметки, чтобы дополнять или опровергать информацию в постах. Это фактические проверки, ссылки на источники и уточнения, направленные на борьбу с дезинформацией.
Позже система заметок откроется для сторонних разработчиков: их алгоритмы смогут писать заметки, сначала тестируясь на пробных постах, а затем публиковаться. Окончательное решение о публикации будет принимать человек: заметку одобрят, если она покажется полезной пользователям с разными точками зрения. При этом ИИ-модель можно использовать любую, ограничений нет.
bloomberg.com
Baidu запустил масштабное обновление поисковой системы, добавив ИИ-функции. Теперь пользователи могут вводить тексты до 1000 слов, загружать фото, голосовые сообщения и даже видео для поиска. В интерфейс интегрированы генераторы текста и изображений, а бизнесу предложили инструмент для создания видео. Это первый серьезный ребрендинг за 10 лет, так компания пытается вернуть утраченные позиции.
Причина - спад выручки от онлайн-рекламы из-за конкуренции с TikTok (Douyin) и новыми ИИ-браузерами. Google и компания Цукерберга забирают львиную долю рекламных бюджетов, поэтому Baidu не может игнорировать перемены. Новые функции должны удержать аудиторию и привлечь рекламодателей, сделав поиск умнее и удобнее.
techinasia.com
Perplexity представила подписку Max, самый мощный тариф для тех, кто хочет максимизировать продуктивность ИИ. Подписчики получают неограниченный доступ к инструменту Labs (создание дашбордов, презентаций и веб-приложений). Подписчики тарифа также получат ранний доступ к браузереру Comet, приоритетную поддержку и топовые модели ИИ, OpenAI o3-pro и Claude Opus 4. Max уже доступен на iOS и вебе, а вскоре появится и корпоративная версия подписки.
perplexity.ai
Amazon запустил ИИ-систему DeepFleet, которая управляет глобальной сетью из миллиона складских роботов. Вместо фиксированных маршрутов ИИ анализирует данные о прошлых перемещениях и генерирует оптимальные пути в реальном времени, как «умная» система управления городским трафиком. Это должно сократить время перемещений на 10%, ускорить доставку заказов и снизить общее энергопотребление.
Система постоянно обучается на новых данных и работает в 300 центрах по всему миру, адаптируясь к изменениям на складах: роботы Hercules поднимают тяжелые грузы, а Proteus автономно перемещается по помещениям.
wsj.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Новое интервью про рекомендательные системы помогает разобраться, почему рекомендации — это наука, как спецы упёрлись в проклятие качественного насыщения и что будет с рекомендациями дальше.
Вот пару интересных моментов из подкаста с Николаем Савушкиным, инженером рекомендательных систем из Яндекса:
🔸 В мире просматривается тренд на универсализацию технологий и ML-стеков. Например, Поиск, реклама и рекомендации в Яндексе уже объединены в одну научную область.
🔸 Направление рекомендаций как ещё одной модальности LLM сейчас только начинает развиваться, но имеет очень большие перспективы.
🔗 Посмотреть подкаст полностью
#news #ai #ml
Вот пару интересных моментов из подкаста с Николаем Савушкиным, инженером рекомендательных систем из Яндекса:
🔸 В мире просматривается тренд на универсализацию технологий и ML-стеков. Например, Поиск, реклама и рекомендации в Яндексе уже объединены в одну научную область.
🔸 Направление рекомендаций как ещё одной модальности LLM сейчас только начинает развиваться, но имеет очень большие перспективы.
🔗 Посмотреть подкаст полностью
#news #ai #ml
RoboBrain 2.0 🤖 — открытая «встроенная» мозговая модель от BAAI
• Размеры — 7 B (Apache 2.0); версия 32 B готовится к релизу
• Мультимодальность — принимает несколько изображений, длинные видео и высокое разрешение кадров
• Пространственно-временное мышление — точно определяет объекты в кадре и прогнозирует их будущие траектории
• Память в реальном времени — строит и обновляет граф сцены, что помогает долгосрочному планированию
• Открытый стек — веса, код и рецепт обучения доступны на Hugging Face; можно дообучать и встраивать локально
Ссылка: https://huggingface.co/BAAI/RoboBrain2.0-7B
• Размеры — 7 B (Apache 2.0); версия 32 B готовится к релизу
• Мультимодальность — принимает несколько изображений, длинные видео и высокое разрешение кадров
• Пространственно-временное мышление — точно определяет объекты в кадре и прогнозирует их будущие траектории
• Память в реальном времени — строит и обновляет граф сцены, что помогает долгосрочному планированию
• Открытый стек — веса, код и рецепт обучения доступны на Hugging Face; можно дообучать и встраивать локально
Ссылка: https://huggingface.co/BAAI/RoboBrain2.0-7B
huggingface.co
BAAI/RoboBrain2.0-7B · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
⚖️ BricksLLM — шлюз для управления LLM в продакшене. Этот облачный шлюз на Go помогает контролировать использование языковых моделей в корпоративной среде. Он поддерживает OpenAI, Anthropic и Azure OpenAI, позволяя устанавливать лимиты запросов, отслеживать затраты и даже маскировать персональные данные перед отправкой к провайдеру.
Проект также оснащен интеграцией через Docker — всего несколько команд, и вы получаете готовую систему с Postgres и Redis для хранения метрик. Встроенные механизмы retry и failover повышают отказоустойчивость API.
🤖 GitHub
@bigdatai
Проект также оснащен интеграцией через Docker — всего несколько команд, и вы получаете готовую систему с Postgres и Redis для хранения метрик. Встроенные механизмы retry и failover повышают отказоустойчивость API.
🤖 GitHub
@bigdatai
⚡️ Почему лучшие разработчики всегда на шаг впереди?
Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.
ИИ: www.group-telegram.com/ai_machinelearning_big_data
Python: www.group-telegram.com/pythonl
Linux: www.group-telegram.com/linuxacademiya
Мл собес www.group-telegram.com/machinelearning_interview
C++ www.group-telegram.com/cpluspluc
Docker: www.group-telegram.com/DevopsDocker
Хакинг: www.group-telegram.com/linuxkalii
МЛ: www.group-telegram.com/machinelearning_ru
Devops: www.group-telegram.com/DevOPSitsec
Data Science: www.group-telegram.com/data_analysis_ml
Javascript: www.group-telegram.com/javascriptv
C#: www.group-telegram.com/csharp_ci
Java: www.group-telegram.com/java_library
Базы данных: www.group-telegram.com/sqlhub
Python собеседования: www.group-telegram.com/python_job_interview
Мобильная разработка: www.group-telegram.com/mobdevelop
Golang: www.group-telegram.com/Golang_google
React: www.group-telegram.com/react_tg
Rust: www.group-telegram.com/rust_code
ИИ: www.group-telegram.com/vistehno
PHP: www.group-telegram.com/phpshka
Android: www.group-telegram.com/android_its
Frontend: www.group-telegram.com/front
Big Data: www.group-telegram.com/bigdatai.com
МАТЕМАТИКА: www.group-telegram.com/data_math
Kubernets: www.group-telegram.com/kubernetc
Разработка игр: https://www.group-telegram.com/gamedev
Физика: www.group-telegram.com/fizmat
Папка Go разработчика: www.group-telegram.com/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: www.group-telegram.com/addlist/eEPya-HF6mkxMGIy
Папка ML: https://www.group-telegram.com/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://www.group-telegram.com/addlist/mzMMG3RPZhY2M2Iy
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: www.group-telegram.com/memes_prog
🇬🇧Английский: www.group-telegram.com/english_forprogrammers
🧠ИИ: www.group-telegram.com/vistehno
🖥 Chatgpt для кода в тг: @Chatgpturbobot -
📕Ит-книги: https://www.group-telegram.com/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии www.group-telegram.com/addlist/_zyy_jQ_QUsyM2Vi
Подпишись, чтобы всегда знать, куда двигаться дальше!
Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.
ИИ: www.group-telegram.com/ai_machinelearning_big_data
Python: www.group-telegram.com/pythonl
Linux: www.group-telegram.com/linuxacademiya
Мл собес www.group-telegram.com/machinelearning_interview
C++ www.group-telegram.com/cpluspluc
Docker: www.group-telegram.com/DevopsDocker
Хакинг: www.group-telegram.com/linuxkalii
МЛ: www.group-telegram.com/machinelearning_ru
Devops: www.group-telegram.com/DevOPSitsec
Data Science: www.group-telegram.com/data_analysis_ml
Javascript: www.group-telegram.com/javascriptv
C#: www.group-telegram.com/csharp_ci
Java: www.group-telegram.com/java_library
Базы данных: www.group-telegram.com/sqlhub
Python собеседования: www.group-telegram.com/python_job_interview
Мобильная разработка: www.group-telegram.com/mobdevelop
Golang: www.group-telegram.com/Golang_google
React: www.group-telegram.com/react_tg
Rust: www.group-telegram.com/rust_code
ИИ: www.group-telegram.com/vistehno
PHP: www.group-telegram.com/phpshka
Android: www.group-telegram.com/android_its
Frontend: www.group-telegram.com/front
Big Data: www.group-telegram.com/bigdatai.com
МАТЕМАТИКА: www.group-telegram.com/data_math
Kubernets: www.group-telegram.com/kubernetc
Разработка игр: https://www.group-telegram.com/gamedev
Физика: www.group-telegram.com/fizmat
Папка Go разработчика: www.group-telegram.com/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: www.group-telegram.com/addlist/eEPya-HF6mkxMGIy
Папка ML: https://www.group-telegram.com/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://www.group-telegram.com/addlist/mzMMG3RPZhY2M2Iy
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: www.group-telegram.com/memes_prog
🇬🇧Английский: www.group-telegram.com/english_forprogrammers
🧠ИИ: www.group-telegram.com/vistehno
📕Ит-книги: https://www.group-telegram.com/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии www.group-telegram.com/addlist/_zyy_jQ_QUsyM2Vi
Подпишись, чтобы всегда знать, куда двигаться дальше!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Многие спрашивали обучалку для старта — и вот она:
“PyTorch за 1 час: от тензоров до Multi-GPU”
📖 Всего ~1 час чтения
💡 Идеально на выходные — без лишнего, только суть
Автор — Себастьян Рашка, почти 10 лет работает с PyTorch и обучает других. В этом гайде — всё, что нужно, чтобы стартовать и начать строить свои модели. Быстро, чётко, по делу.
https://sebastianraschka.com/teaching/pytorch-1h/
“PyTorch за 1 час: от тензоров до Multi-GPU”
📖 Всего ~1 час чтения
💡 Идеально на выходные — без лишнего, только суть
Автор — Себастьян Рашка, почти 10 лет работает с PyTorch и обучает других. В этом гайде — всё, что нужно, чтобы стартовать и начать строить свои модели. Быстро, чётко, по делу.
https://sebastianraschka.com/teaching/pytorch-1h/