Как масштабировать машинные модели и работать с огромными объемами данных? Откройте для себя возможности Spark ML на открытом уроке от OTUS!

Spark ML — это мощный инструмент для масштабируемого машинного обучения, который позволяет обучать модели на больших данных, не переходя на специализированные ML-системы. Мы покажем, как интеграция с Spark SQL и DataFrame API упрощает ETL-подготовку данных и фичуризацию для реальных проектов.

Убедитесь, как Spark ML решает задачи отказоустойчивости и распределённых вычислений, позволяя вам легко строить промышленные ML-пайплайны.

Посетите открытый урок 11 июня в 20:00 МСК в преддверие старта курса «Spark Developer» и получите скидку на обучение: https://otus.pw/kzQH/?erid=2W5zFH32Kha

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🎯 5 ИИ-проектов, которые ты можешь собрать за выходные

Хочешь прокачать навыки ML и Python без математики и Kaggle? Лови 5 готовых идей, которые можно собрать за 1–2 дня:

🔹 Голосовой ассистент — Whisper + GPT + озвучка
🔹 Чат-бот для PDF — LangChain + FAISS + OpenAI
🔹 Генератор картинок — Stable Diffusion + Gradio
🔹 Подписи к фото — BLIP + HuggingFace
🔹 TL;DR бот — BART или GPT для суммаризации текста

✅ Примеры кода
✅ Деплой на HuggingFace / Streamlit
✅ Всё реально собрать за выходные

📎 Забирай гайд — и добавь проекты в резюме: «AI developer: checked»

👩🏻‍💻 mcp-agent — фреймворк для создания интеллектуальных агентов с Model Context Protocol.

Этот проект реализует идеи Anthropic по стандартизации взаимодействия ИИ-ассистентов с внешними сервисами. Вместо того чтобы писать сложные интеграции, вы можете подключать агентов к MCP-серверам и использовать готовые шаблоны для построения рабочих процессов.

Фреймворк поддерживает все паттерны из Building Effective Agents, включая параллельное выполнение задач, маршрутизацию запросов и swarm-оркестрацию агентов. При этом он остается легковесным и позволяет комбинировать разные подходы.

🤖 GitHub

@bigdatai

🚀 Cosmos-Predict2 — новая открытая видео-модель для Physical AI от NVIDIA!

Cosmos-Predict2 — ключевая часть экосистемы World Foundation Models (WFMs), созданная для Physical AI. Модель умеет предсказывать будущее состояние визуального мира, используя текст и видео. Cosmos разработан для ускорения обучения моделей, которые понимают физику, среду и действия — от автономных автомобилей до роботов. Выглядит очень интересно.

Это самое мощное поколение моделей в экосистеме Cosmos. Модель заметно улучшена по сравнению с Predict1:

🎯 лучшее качество видео
🧠 точнее соответствует текстовому описанию
🎥 более реалистичная динамика движения

📊 Cosmos-Predict2 превосходит другие open-source видео foundation-модели.

▪ Веса
▪ Полный код для инференса и обучения (с туториалами)

@ai_machinelearning_big_data


#Cosmos #NVIDIA

🚀 NVIDIA ежегодно обновляет инфраструктуру для ИИ, выводя производительность инференса на новый уровень — от чипов до систем и программного обеспечения.

NVIDIA Blackwell — передовая AI-платформа на рынке:
• Лидерство в скорости инференса и точности
• Поддержка популярных моделей: DeepSeek-R1, Llama 3.1 405B, Llama 3.3 70B и другие
• Второе поколение Transformer Engine с поддержкой FP4
• TensorRT Model Optimizer для квантования моделей в FP4

С помощью NVFP4 и TensorRT Model Optimizer Blackwell способен запускать самые сложные open-source модели с выдающейся точностью.

Именно это делает Blackwell самой мощной платформой для инференса, созданной на сегодняшний день. 🙌

📄 Dolphin — новая OCR модель ByteDance для понимания сложных документов в виде изображений

Dolphin — это мультимодальная модель, которая умеет разбирать сканы и фотографии документов, включая текст, таблицы, формулы и графики.

Подойдет для автоматизации чтения и структурирования PDF-файлов, отсканированных отчётов и научных статей.

Как работает модель:
1️⃣ Анализ страницы — модель определяет порядок элементов доцентов так, как читает человек
2️⃣ Разбор содержимого — параллельно обрабатываются абзацы, таблицы, формулы и другие элементы, используя специальные встроенные промпты

Архитектура:
• Визуальный энкодер — Swin Transformer
• Текстовый декодер — MBart
• Управление через промпты

📌 Возможности:
• Постраничная обработка документа
• Точечный парсинг отдельных элементов (например, таблиц)
• Высокая точность и скорость работы модели
• Открытая MIT-лицензия

Установка:
git clone https://github.com/ByteDance/Dolphin.git
cd Dolphin

• Github
• HF
• Demo

@ai_machinelearning_big_data


#ocr #ByteDance

🐈 Cheshire Cat — фреймворк для создания AI-агентов как микросервисов. Этот проект предлагает необычный подход к интеграции ИИ в приложения — через API и WebSocket. В отличие от многих решений, здесь сразу заложена поддержка RAG, мультипользовательского доступа и системы плагинов.

Разработчики сделали ставку на модульность: к фреймворку можно подключить любую языковую модель через LangChain, а админ-панель позволяет гибко настраивать агента. Для тестирования достаточно Docker-образа, что упрощает первый запуск.

🤖 GitHub

@bigdatai

🖼️ Генерация изображений от ChatGPT теперь доступна прямо в WhatsApp!

OpenAI запустила поддержку картинок через номер:
📲 1‑800‑ChatGPT (https://wa.me/18002428478)

Теперь любой пользователь WhatsApp может:

• Отправить текстовый запрос
• Получить сгенерированное изображение от ChatGPT
• Общаться с ИИ в удобном мессенджере

🎨 Поддерживается и текст, и картинки — доступно для всех без ограничений.

Попробуй прямо сейчас: https://wa.me/18002428478

#ChatGPT #WhatsApp #AIimages #OpenAI #нейросети

🌐 V-JEPA 2: как ИИ обучается понимать физический мир.

Разработчики представили новую версию своей "модели мира" — V-JEPA 2, которая учится предсказывать развитие событий, анализируя видео. Система уже обработала более 1 миллиона часов видеозаписей, чтобы понимать базовые физические законы вроде гравитации или причинно-следственных связей.

Подход отличается от традиционного машинного обучения, ведь модель не просто запоминает данные, а пытается выстроить внутреннее представление о том, как устроен мир. Разработчики утверждают, что V-JEPA 2 в 30 раз быстрее аналога от Nvidia, но пока неясно, как именно сравнивались производительность.

🔗 Ссылка - *клик*

Что делает Яндекс с базами данных после ухода западных решений? В коротком интервью КОДу — ясные тезисы от Леонида Савченкова, который в Яндекс Клауде отвечает за архитектуру платформы данных.

Фокус — надёжность и масштабируемость. Для Postgres делают собственное шардирование (pg-sharding.tech), всего в Платформе данных уже более 20 различных сервисов, из которых можно собрать практически все возможные варианты их хранения, обработки и анализа.

После закрытия open-source Greenplum Яндекс продолжает поддерживать 6-ю версию, но главное — активно развивает Cloudberry. Проект живёт, входит в Apache Software Foundation, и Яндекс туда регулярно коммитит. По функциональности Cloudberry уже догнал Greenplum 7.

На Data&ML Conf показали апдейты BI-платформы DataLens: публичные дашборды, JavaScript-контроль визуализаций, сертификация аналитиков. А ещё — управляемая версия YTsaurus, способная обрабатывать эксабайты данных.

Интервью — по делу. Без витрин и маркетинга.

🎓 MCP for Beginners — курс для старта с MCP с нуля

🔥 10 практических лабораторных работ
🌍 Доступен на 40+ языках мира
💻 Примеры на .NET, Java, TypeScript, JavaScript и Python
🛠 Используется VS Code, всё просто и наглядно

Идеально для новичков, чтобы быстро разобраться в основах MCP.

🔗 Начни сейчас: https://github.com/microsoft/mcp-for-beginners/