🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0
Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.
Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости. 🔥 Что нового:
• 💡Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов • 🧠Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками • ⚙️Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах • 📦Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др. • 🌐Поддержка нового Shuffle-движка и улучшенное распределение по кластерам • 🧪Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций
🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0
Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.
Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости. 🔥 Что нового:
• 💡Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов • 🧠Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками • ⚙️Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах • 📦Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др. • 🌐Поддержка нового Shuffle-движка и улучшенное распределение по кластерам • 🧪Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций
The company maintains that it cannot act against individual or group chats, which are “private amongst their participants,” but it will respond to requests in relation to sticker sets, channels and bots which are publicly available. During the invasion of Ukraine, Pavel Durov has wrestled with this issue a lot more prominently than he has before. Channels like Donbass Insider and Bellum Acta, as reported by Foreign Policy, started pumping out pro-Russian propaganda as the invasion began. So much so that the Ukrainian National Security and Defense Council issued a statement labeling which accounts are Russian-backed. Ukrainian officials, in potential violation of the Geneva Convention, have shared imagery of dead and captured Russian soldiers on the platform. Founder Pavel Durov says tech is meant to set you free "Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added. "Someone posing as a Ukrainian citizen just joins the chat and starts spreading misinformation, or gathers data, like the location of shelters," Tsekhanovska said, noting how false messages have urged Ukrainians to turn off their phones at a specific time of night, citing cybersafety.
from ye
