یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.

فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه‌ یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.

اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)

حالا Discrete Language Diffusion Models چیه؟

مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).

حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی
@silicon_brain | از هوش مصنوعی عقب نمانید