group-telegram.com/pro_brain_mind/970
Last Update:
А вот это интересно
Ученые из Университета Иллинойса, MIT и Сингапурского университета управления опубликовали исследование, как обучение языковых моделей LLM на легком и быстром контенте влияет на их качество.
ИИ-моделям несколько недель скармливали всё самое мусорное из интернета (короткие видео, популярные посты в твиттере, мемы, новости из разряда все и т.д.).
В результате нейронки сильно деградировали:
И чем больше была доля мусорных данных, тем сильнее проявлялась деградация.
Главная поломка оказалась не в знаниях, а в мышлении 🧠🫣
Модели начали чаще пропускать мысль, отвечать без плана, обрывать рассуждения и терять логическую цепочку. Одновременно возрастала токсичность и агрессивность ответов, а по поведенческим метрикам усиливались "темные черты" — нарциссизм, макиавеллизм и психопатия.
После деградации пробовали дообучить модели уже на хороших данных, но эффект был минимальным — модели так и не восстановили первоначальные показатели эффективности и следы деградации остались
«Учёные отметили, что всё это очень похоже на то, как быстрый контент влияет на людей»
Цифровая гигиена и детокс заиграли новыми красками))
