🧠PyTorch Distributed Checkpointing теперь поддерживает HuggingFace safetensors
📦Что произошло: Платформа DCP (Distributed Checkpointing) в PyTorch теперь встраивает нативную поддержку формата safetensors от HuggingFace. Это важный шаг к полной совместимости с экосистемой HF, которая активно используется в инференсе и дообучении.
🔍В чём была проблема: • DCP раньше использовал свой собственный формат чекпоинтов • Чтобы работать с HuggingFace, приходилось писать конвертеры • Чекпоинты приходилось загружать локально, что усложняло пайплайны
🚀Что изменилось: • Теперь можно сохранять и загружать модели напрямую в safetensors • Поддерживается любой `fsspec`-совместимый storage (S3, GCS, локалка и т.д.) • Интеграция уже улучшила UX в torchtune, став первым пользователем новой фичи
🛠Как использовать: • Просто передай новый load planner и storage reader в load() • И аналогично — save planner + writer для save() • Всё остальное работает как раньше
📈Что это даёт: • Меньше костылей и меньше кода • Единый формат чекпоинтов для HF и PyTorch • Более гибкие и производительные пайплайны
🧠PyTorch Distributed Checkpointing теперь поддерживает HuggingFace safetensors
📦Что произошло: Платформа DCP (Distributed Checkpointing) в PyTorch теперь встраивает нативную поддержку формата safetensors от HuggingFace. Это важный шаг к полной совместимости с экосистемой HF, которая активно используется в инференсе и дообучении.
🔍В чём была проблема: • DCP раньше использовал свой собственный формат чекпоинтов • Чтобы работать с HuggingFace, приходилось писать конвертеры • Чекпоинты приходилось загружать локально, что усложняло пайплайны
🚀Что изменилось: • Теперь можно сохранять и загружать модели напрямую в safetensors • Поддерживается любой `fsspec`-совместимый storage (S3, GCS, локалка и т.д.) • Интеграция уже улучшила UX в torchtune, став первым пользователем новой фичи
🛠Как использовать: • Просто передай новый load planner и storage reader в load() • И аналогично — save planner + writer для save() • Всё остальное работает как раньше
📈Что это даёт: • Меньше костылей и меньше кода • Единый формат чекпоинтов для HF и PyTorch • Более гибкие и производительные пайплайны
But because group chats and the channel features are not end-to-end encrypted, Galperin said user privacy is potentially under threat. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. Following this, Sebi, in an order passed in January 2022, established that the administrators of a Telegram channel having a large subscriber base enticed the subscribers to act upon recommendations that were circulated by those administrators on the channel, leading to significant price and volume impact in various scrips. The channel appears to be part of the broader information war that has developed following Russia's invasion of Ukraine. The Kremlin has paid Russian TikTok influencers to push propaganda, according to a Vice News investigation, while ProPublica found that fake Russian fact check videos had been viewed over a million times on Telegram. Markets continued to grapple with the economic and corporate earnings implications relating to the Russia-Ukraine conflict. “We have a ton of uncertainty right now,” said Stephanie Link, chief investment strategist and portfolio manager at Hightower Advisors. “We’re dealing with a war, we’re dealing with inflation. We don’t know what it means to earnings.”
from ye
