Machinelearning

Исследователи Яндекса выложили в опенсорс датасет для RecSys почти на 5 млрд событий — YaMBDa

YaMBDa содержит 4,79 млрд событий – обезличенных взаимодействий пользователей в Яндекс Музыке и «Моей Волне». К ним относятся прослушивания, лайки/дизлайки, временные метки и некоторые характеристики треков. Важно, что все данные анонимизированы, датасет включает в себя только числовые идентификаторы. При этом датасет предназначен для тестирования алгоритмов для разных областей, а не только для стримингов.

Алгоритмы рекомендаций какое-то время оставались на плато, в том числе из-за ограниченного доступа к большим, реалистичным датасетам. Даже с появлением LLM и ускорением обучения иногда может все еще не хватать качественных публичных данных, особенно приближенных к продакшн-нагрузкам. Известные LFM-1B, LFM-2B и Music Listening Histories Dataset (27B) со временем стали недоступны из-за лицензионных ограничений. А рекорд по числу взаимодействий сейчас держит рекламный датасет от Criteo — около 4 млрд событий.

⚙️ Что внутри YaMBDa:
– 3 объёма данных: 50M, 500M и полный сет на 4,79B событий
– Эмбеддинги треков из аудио, полученные через CNN
– Метка is_organic: отличает органические действия в датасете от рекомендованных
– Формат Parquet с поддержкой Pandas, Polars (альтернатива Pandas) и Spark

🔗Доступно на HuggingFace

@ai_machinelearning_big_data

#dataset

www.group-telegram.com/in/ai_machinelearning_big_data.com/7643

17.2K viewsedited  May 28 at 11:53

Исследователи Яндекса выложили в опенсорс датасет для RecSys почти на 5 млрд событий — YaMBDa

YaMBDa содержит 4,79 млрд событий – обезличенных взаимодействий пользователей в Яндекс Музыке и «Моей Волне». К ним относятся прослушивания, лайки/дизлайки, временные метки и некоторые характеристики треков. Важно, что все данные анонимизированы, датасет включает в себя только числовые идентификаторы. При этом датасет предназначен для тестирования алгоритмов для разных областей, а не только для стримингов.

Алгоритмы рекомендаций какое-то время оставались на плато, в том числе из-за ограниченного доступа к большим, реалистичным датасетам. Даже с появлением LLM и ускорением обучения иногда может все еще не хватать качественных публичных данных, особенно приближенных к продакшн-нагрузкам. Известные LFM-1B, LFM-2B и Music Listening Histories Dataset (27B) со временем стали недоступны из-за лицензионных ограничений. А рекорд по числу взаимодействий сейчас держит рекламный датасет от Criteo — около 4 млрд событий.

⚙️ Что внутри YaMBDa:
– 3 объёма данных: 50M, 500M и полный сет на 4,79B событий
– Эмбеддинги треков из аудио, полученные через CNN
– Метка is_organic: отличает органические действия в датасете от рекомендованных
– Формат Parquet с поддержкой Pandas, Polars (альтернатива Pandas) и Spark

🔗Доступно на HuggingFace

@ai_machinelearning_big_data

#dataset

BY Machinelearning