group-telegram.com/wait_shmulev/51
Last Update:
Задача со звездочкой
Недавно попалась супер сложная задача — помочь клиенту (сервис графического дизайна, аналог Canva) разработать алгоритм для улучшения дизайна документа (это может быть слайд, инфографика, изображение карточки товара и т.д.). Над подобной задачей трудятся несколько отделов в Сбере, Adobe, Microsoft, пару десятков старт-апов и теперь … мы
Чего хочется: чтобы алгоритм на входе получал текущий пользовательский док и по кнопке AI Magic
Из огромных плюсов: есть довольно большая база (неск. десятков тысяч) документов, созданных дизайнерами.
Сложности:
- нечеткая постановка бизнес-задачи (а точно нужно работать с контентом? можно ли не заниматься добавлением картинок?)
- непонятно, какими метриками определять “красивый” дизайн
- как вообще построить дизайн ML эксперимента (что это?! классификация / генерация / оптимизация?)
- несколько месяцев клиент экспериментировал, но без особого успеха и результатов — сети не учатся, лосс не сходится 😟
Спустя месяц работ, где мы сейчас:
- сформулировали гипотезу
- придумали пару дизайнов ML решения (пишите идеи в комменты, знатоки
- смогли таки почистить данные (хитрая кластеризация тех самых профессиональных дизайнов)
- научились рендерить выходы от моделей
- получили первые baseline модели, которые уже сходятся (!) и даже генерируют осмысленные выходы (!!) (пример на фото)
- модель довольно умело расставляет основные изображения и заголовки, но все еще “слепляет” остальные элементы
Далее в планах очередной цикл переосмысления бизнес-задачи (вводные от бизнеса / продукта), генерация новых идей и куча новых экспериментов, как иначе
____
Кстати сегодня в 20:00 мск стрим со Славой, 19-летним MLE.
Подключайтесь
