🧠 DataTune — простой способ оптимизировать датасеты для ИИ
Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.
Что делает DataTune: ▪ Автоматически находит и удаляет дубликаты ▪ Фильтрует нерелевантные, шумные и некачественные примеры ▪ Сортирует данные по «ценности» — оставляя то, что реально важно ▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)
🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для: • Fine-tuning LLM • Подготовки eval-наборов • Фильтрации перед RAG
🧠 DataTune — простой способ оптимизировать датасеты для ИИ
Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.
Что делает DataTune: ▪ Автоматически находит и удаляет дубликаты ▪ Фильтрует нерелевантные, шумные и некачественные примеры ▪ Сортирует данные по «ценности» — оставляя то, что реально важно ▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)
🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для: • Fine-tuning LLM • Подготовки eval-наборов • Фильтрации перед RAG
Groups are also not fully encrypted, end-to-end. This includes private groups. Private groups cannot be seen by other Telegram users, but Telegram itself can see the groups and all of the communications that you have in them. All of the same risks and warnings about channels can be applied to groups. DFR Lab sent the image through Microsoft Azure's Face Verification program and found that it was "highly unlikely" that the person in the second photo was the same as the first woman. The fact-checker Logically AI also found the claim to be false. The woman, Olena Kurilo, was also captured in a video after the airstrike and shown to have the injuries. Right now the digital security needs of Russians and Ukrainians are very different, and they lead to very different caveats about how to mitigate the risks associated with using Telegram. For Ukrainians in Ukraine, whose physical safety is at risk because they are in a war zone, digital security is probably not their highest priority. They may value access to news and communication with their loved ones over making sure that all of their communications are encrypted in such a manner that they are indecipherable to Telegram, its employees, or governments with court orders. "There are several million Russians who can lift their head up from propaganda and try to look for other sources, and I'd say that most look for it on Telegram," he said. But because group chats and the channel features are not end-to-end encrypted, Galperin said user privacy is potentially under threat.
from us
