یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
Russians and Ukrainians are both prolific users of Telegram. They rely on the app for channels that act as newsfeeds, group chats (both public and private), and one-to-one communication. Since the Russian invasion of Ukraine, Telegram has remained an important lifeline for both Russians and Ukrainians, as a way of staying aware of the latest news and keeping in touch with loved ones. So, uh, whenever I hear about Telegram, it’s always in relation to something bad. What gives? Ukrainian forces successfully attacked Russian vehicles in the capital city of Kyiv thanks to a public tip made through the encrypted messaging app Telegram, Ukraine's top law-enforcement agency said on Tuesday. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. "Like the bombing of the maternity ward in Mariupol," he said, "Even before it hits the news, you see the videos on the Telegram channels."
from us
