🧠 DataTune — простой способ оптимизировать датасеты для ИИ
Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.
Что делает DataTune: ▪ Автоматически находит и удаляет дубликаты ▪ Фильтрует нерелевантные, шумные и некачественные примеры ▪ Сортирует данные по «ценности» — оставляя то, что реально важно ▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)
🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для: • Fine-tuning LLM • Подготовки eval-наборов • Фильтрации перед RAG
🧠 DataTune — простой способ оптимизировать датасеты для ИИ
Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.
Что делает DataTune: ▪ Автоматически находит и удаляет дубликаты ▪ Фильтрует нерелевантные, шумные и некачественные примеры ▪ Сортирует данные по «ценности» — оставляя то, что реально важно ▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)
🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для: • Fine-tuning LLM • Подготовки eval-наборов • Фильтрации перед RAG
Some people used the platform to organize ahead of the storming of the U.S. Capitol in January 2021, and last month Senator Mark Warner sent a letter to Durov urging him to curb Russian information operations on Telegram. Anastasia Vlasova/Getty Images If you initiate a Secret Chat, however, then these communications are end-to-end encrypted and are tied to the device you are using. That means it’s less convenient to access them across multiple platforms, but you are at far less risk of snooping. Back in the day, Secret Chats received some praise from the EFF, but the fact that its standard system isn’t as secure earned it some criticism. If you’re looking for something that is considered more reliable by privacy advocates, then Signal is the EFF’s preferred platform, although that too is not without some caveats. And indeed, volatility has been a hallmark of the market environment so far in 2022, with the S&P 500 still down more than 10% for the year-to-date after first sliding into a correction last month. The CBOE Volatility Index, or VIX, has held at a lofty level of more than 30. Additionally, investors are often instructed to deposit monies into personal bank accounts of individuals who claim to represent a legitimate entity, and/or into an unrelated corporate account. To lend credence and to lure unsuspecting victims, perpetrators usually claim that their entity and/or the investment schemes are approved by financial authorities.
from id
