یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
"Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added. Following this, Sebi, in an order passed in January 2022, established that the administrators of a Telegram channel having a large subscriber base enticed the subscribers to act upon recommendations that were circulated by those administrators on the channel, leading to significant price and volume impact in various scrips. The gold standard of encryption, known as end-to-end encryption, where only the sender and person who receives the message are able to see it, is available on Telegram only when the Secret Chat function is enabled. Voice and video calls are also completely encrypted. In 2014, Pavel Durov fled the country after allies of the Kremlin took control of the social networking site most know just as VK. Russia's intelligence agency had asked Durov to turn over the data of anti-Kremlin protesters. Durov refused to do so. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred."
from tw
