Telegram Group & Telegram Channel
🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0

Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.

Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости.

🔥 Что нового:


💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов
🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками
⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах
📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др.
🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам
🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций

📌 Подробности и тесты:
https://www.databricks.com/blog/introducing-apache-spark-40

@data_analysis_ml



group-telegram.com/ai_machinelearning_big_data/7652
Create:
Last Update:

🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0

Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.

Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости.

🔥 Что нового:


💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов
🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками
⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах
📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др.
🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам
🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций

📌 Подробности и тесты:
https://www.databricks.com/blog/introducing-apache-spark-40

@data_analysis_ml

BY Machinelearning




Share with your friend now:
group-telegram.com/ai_machinelearning_big_data/7652

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Individual messages can be fully encrypted. But the user has to turn on that function. It's not automatic, as it is on Signal and WhatsApp. It is unclear who runs the account, although Russia's official Ministry of Foreign Affairs Twitter account promoted the Telegram channel on Saturday and claimed it was operated by "a group of experts & journalists." Now safely in France with his spouse and three of his children, Kliuchnikov scrolls through Telegram to learn about the devastation happening in his home country. Additionally, investors are often instructed to deposit monies into personal bank accounts of individuals who claim to represent a legitimate entity, and/or into an unrelated corporate account. To lend credence and to lure unsuspecting victims, perpetrators usually claim that their entity and/or the investment schemes are approved by financial authorities. "Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added.
from in


Telegram Machinelearning
FROM American