یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
For tech stocks, “the main thing is yields,” Essaye said. The channel appears to be part of the broader information war that has developed following Russia's invasion of Ukraine. The Kremlin has paid Russian TikTok influencers to push propaganda, according to a Vice News investigation, while ProPublica found that fake Russian fact check videos had been viewed over a million times on Telegram. The Russian invasion of Ukraine has been a driving force in markets for the past few weeks. Telegram was co-founded by Pavel and Nikolai Durov, the brothers who had previously created VKontakte. VK is Russia’s equivalent of Facebook, a social network used for public and private messaging, audio and video sharing as well as online gaming. In January, SimpleWeb reported that VK was Russia’s fourth most-visited website, after Yandex, YouTube and Google’s Russian-language homepage. In 2016, Forbes’ Michael Solomon described Pavel Durov (pictured, below) as the “Mark Zuckerberg of Russia.” "There is a significant risk of insider threat or hacking of Telegram systems that could expose all of these chats to the Russian government," said Eva Galperin with the Electronic Frontier Foundation, which has called for Telegram to improve its privacy practices.
from hk
