DevTwitter | توییت برنامه نویسی

تقریباً همه‌ی تیم‌های ML این مشکل رو دارن:
۱- مدلی واسه خودت آموزش بدی/ (fine tune کنی) یا ۲- از API یه مدل بزرگ استفاده کنی؟
و خوب خیلی ها هم نه داده دارن، نه وقت، نه بودجه!
اما یک راه حل سومی هم هست: می‌تونی یه مدل دقیق در حد GPT بسازی — با کمتر از ۳ دلار هزینه.
این راه جدید بهترین‌های هر دو رو با هم ترکیب می‌کنه: از یه مدل اپن سورس برای تولید داده‌ی مصنوعی (synthetic) استفاده کن، بعد یه مدل کوچیک، سریع و ارزون‌تر رو با اون آموزش بده. چون:
- اکثر پروژه‌های واقعی داده‌ی آماده ندارن.
- مدل‌هایی مثل GPT-4 خیلی خوبن ولی هزینه‌بر، کند و نیاز به فرستادن اطلاعات حساس به یه شرکت دیگه دارن.
- حالا با داده‌ی مصنوعی باکیفیت از مدل‌های اوپن‌سورس (مثل Mixtral)، دیگه لازم نیست بری سراغ لیبل زدن دستی.
مدل بزرگ ("معلم") داده‌ها رو برات برچسب می‌زنه، بعدش یه مدل کوچیک‌تر ("دانش‌آموز") رو باهاش آموزش می‌دی.

مثال: مطالعه‌ی موردی: تحلیل احساسات (sentiment analysis) اخبار مالی

- دقت: GPT-4 و RoBERTa هر دو ۹۴٪

هزینه:
- GPT-4: $3061
- RoBERTa: $2.70

زمان پاسخ:
- GPT-4 چند ثانیه
- RoBERTa = ۰.۱۳ ثانیه

مصرف کربن:
- GPT-4 = ~۱۰۰۰ kg
- RoBERTa = ۰.۱۲ kg

اگه میخواهید کامل بدونید این بلاگ را حتما بخونید.
Blog: https://huggingface.co/blog/synthetic-data-save-costs

@DevTwitter | <Mehdi Allahyari/>

👍46❤6🔥3

www.group-telegram.com/us/devtwitter.com/9205

9.33K viewsMay 20 at 04:38

تقریباً همه‌ی تیم‌های ML این مشکل رو دارن:
۱- مدلی واسه خودت آموزش بدی/ (fine tune کنی) یا ۲- از API یه مدل بزرگ استفاده کنی؟
و خوب خیلی ها هم نه داده دارن، نه وقت، نه بودجه!
اما یک راه حل سومی هم هست: می‌تونی یه مدل دقیق در حد GPT بسازی — با کمتر از ۳ دلار هزینه.
این راه جدید بهترین‌های هر دو رو با هم ترکیب می‌کنه: از یه مدل اپن سورس برای تولید داده‌ی مصنوعی (synthetic) استفاده کن، بعد یه مدل کوچیک، سریع و ارزون‌تر رو با اون آموزش بده. چون:
- اکثر پروژه‌های واقعی داده‌ی آماده ندارن.
- مدل‌هایی مثل GPT-4 خیلی خوبن ولی هزینه‌بر، کند و نیاز به فرستادن اطلاعات حساس به یه شرکت دیگه دارن.
- حالا با داده‌ی مصنوعی باکیفیت از مدل‌های اوپن‌سورس (مثل Mixtral)، دیگه لازم نیست بری سراغ لیبل زدن دستی.
مدل بزرگ ("معلم") داده‌ها رو برات برچسب می‌زنه، بعدش یه مدل کوچیک‌تر ("دانش‌آموز") رو باهاش آموزش می‌دی.

مثال: مطالعه‌ی موردی: تحلیل احساسات (sentiment analysis) اخبار مالی

- دقت: GPT-4 و RoBERTa هر دو ۹۴٪

هزینه:
- GPT-4: $3061
- RoBERTa: $2.70

زمان پاسخ:
- GPT-4 چند ثانیه
- RoBERTa = ۰.۱۳ ثانیه

مصرف کربن:
- GPT-4 = ~۱۰۰۰ kg
- RoBERTa = ۰.۱۲ kg

اگه میخواهید کامل بدونید این بلاگ را حتما بخونید.
Blog: https://huggingface.co/blog/synthetic-data-save-costs

@DevTwitter | <Mehdi Allahyari/>

BY DevTwitter | توییت برنامه نویسی