یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
یه مدت پیش، تیم Google DeepMind یه مدل جدید به اسم Gemini Diffusion معرفی کرد.
فرقش با مدل‌های کلاسیک مثل GPT اینه که GPT یه کلمه یه کلمه متن می‌سازه، ولی Gemini Diffusion کل یه تیکه متن رو با یه فرآیند تدریجی از نویز تصادفی درست می‌کنه و مرحله‌به‌مرحله اصلاحش می‌کنه.
اگر مقاله Large Language Diffusion Models رو بخونید متوجه میشن که Discrete Language Diffusion در واقع یه حالت کلی‌تر از همون MLM هست (همونی که از سال ۲۰۱۸ داریم انجامش می‌دیم)
حالا Discrete Language Diffusion Models چیه؟
مدل‌های Diffusion اول تو دنیای تصویر معروف شدن. توی تصویرسازی، مدل‌های Diffusion کم‌کم نویز Gaussian به عکس اضافه می‌کنن (Forward Process) و بعد یه شبکه‌ی عصبی آموزش می‌بینن که اون نویز رو مرحله‌به‌مرحله حذف کنه (Reverse Process).
حالا ایده جدید برای ساخت مدل زبانی اینه که اگه بخوای ایده Diffusion رو به Language اعمال کنی، باید یه راهی برای «اضافه کردن نویز به متن» پیدا کنی که مثل تصویر با برطرف کردن نویز به صورت تصادفی در کل متن (نه مثل إBERT که فقط کلمه بعدی رو میگه) عمل کنی @silicon_brain | از هوش مصنوعی عقب نمانید
Despite Telegram's origins, its approach to users' security has privacy advocates worried. Channels are not fully encrypted, end-to-end. All communications on a Telegram channel can be seen by anyone on the channel and are also visible to Telegram. Telegram may be asked by a government to hand over the communications from a channel. Telegram has a history of standing up to Russian government requests for data, but how comfortable you are relying on that history to predict future behavior is up to you. Because Telegram has this data, it may also be stolen by hackers or leaked by an internal employee. Friday’s performance was part of a larger shift. For the week, the Dow, S&P 500 and Nasdaq fell 2%, 2.9%, and 3.5%, respectively. You may recall that, back when Facebook started changing WhatsApp’s terms of service, a number of news outlets reported on, and even recommended, switching to Telegram. Pavel Durov even said that users should delete WhatsApp “unless you are cool with all of your photos and messages becoming public one day.” But Telegram can’t be described as a more-secure version of WhatsApp. The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981.
from us
