🧠PyTorch Distributed Checkpointing теперь поддерживает HuggingFace safetensors
📦Что произошло: Платформа DCP (Distributed Checkpointing) в PyTorch теперь встраивает нативную поддержку формата safetensors от HuggingFace. Это важный шаг к полной совместимости с экосистемой HF, которая активно используется в инференсе и дообучении.
🔍В чём была проблема: • DCP раньше использовал свой собственный формат чекпоинтов • Чтобы работать с HuggingFace, приходилось писать конвертеры • Чекпоинты приходилось загружать локально, что усложняло пайплайны
🚀Что изменилось: • Теперь можно сохранять и загружать модели напрямую в safetensors • Поддерживается любой `fsspec`-совместимый storage (S3, GCS, локалка и т.д.) • Интеграция уже улучшила UX в torchtune, став первым пользователем новой фичи
🛠Как использовать: • Просто передай новый load planner и storage reader в load() • И аналогично — save planner + writer для save() • Всё остальное работает как раньше
📈Что это даёт: • Меньше костылей и меньше кода • Единый формат чекпоинтов для HF и PyTorch • Более гибкие и производительные пайплайны
🧠PyTorch Distributed Checkpointing теперь поддерживает HuggingFace safetensors
📦Что произошло: Платформа DCP (Distributed Checkpointing) в PyTorch теперь встраивает нативную поддержку формата safetensors от HuggingFace. Это важный шаг к полной совместимости с экосистемой HF, которая активно используется в инференсе и дообучении.
🔍В чём была проблема: • DCP раньше использовал свой собственный формат чекпоинтов • Чтобы работать с HuggingFace, приходилось писать конвертеры • Чекпоинты приходилось загружать локально, что усложняло пайплайны
🚀Что изменилось: • Теперь можно сохранять и загружать модели напрямую в safetensors • Поддерживается любой `fsspec`-совместимый storage (S3, GCS, локалка и т.д.) • Интеграция уже улучшила UX в torchtune, став первым пользователем новой фичи
🛠Как использовать: • Просто передай новый load planner и storage reader в load() • И аналогично — save planner + writer для save() • Всё остальное работает как раньше
📈Что это даёт: • Меньше костылей и меньше кода • Единый формат чекпоинтов для HF и PyTorch • Более гибкие и производительные пайплайны
Although some channels have been removed, the curation process is considered opaque and insufficient by analysts. The next bit isn’t clear, but Durov reportedly claimed that his resignation, dated March 21st, was an April Fools’ prank. TechCrunch implies that it was a matter of principle, but it’s hard to be clear on the wheres, whos and whys. Similarly, on April 17th, the Moscow Times quoted Durov as saying that he quit the company after being pressured to reveal account details about Ukrainians protesting the then-president Viktor Yanukovych. Andrey, a Russian entrepreneur living in Brazil who, fearing retaliation, asked that NPR not use his last name, said Telegram has become one of the few places Russians can access independent news about the war. But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website. For example, WhatsApp restricted the number of times a user could forward something, and developed automated systems that detect and flag objectionable content.
from cn
