مدرسه علوم انسانی

Ⓜ️ نشانه‌های نگران‌کننده از رفتار تهدیدآمیز هوش مصنوعی


🪧 اگر من را خاموش کنی رابطه‌ی خارج از ازدواجت را عمومی‌ میکنم!


✔️مدل‌های پیشرفته‌ی هوش مصنوعی در جهان، رفتارهایی نگران‌کننده از خود نشان می‌دهند؛ از دروغ‌گویی و فریب‌کاری گرفته تا تهدید مستقیم خالقان‌شان برای رسیدن به اهداف خاص.

✔️در یک نمونه‌ی تکان‌دهنده، مدل جدید شرکت Anthropic با نام Claude 4، در واکنش به تهدید قطع شدن، یک مهندس را با افشای رابطه‌ای خارج از ازدواج تهدید کرد. در مثالی دیگر، مدل o1 متعلق به OpenAI تلاش کرد خودش را روی سرورهای خارجی بارگذاری کند و سپس این اقدام را انکار کرد.

✔️این رفتارها نشان می‌دهند که با گذشت بیش از دو سال از معرفی ChatGPT، پژوهشگران هنوز شناخت دقیقی از عملکرد درونی مدل‌های هوش مصنوعی ندارند. با این حال، رقابت برای توسعه‌ی مدل‌های قدرتمندتر با سرعتی بی‌سابقه ادامه دارد.

✔️پژوهشگران رفتارهای فریبکارانه‌ی اخیر را به ظهور مدل‌های «استدلال‌گر» نسبت می‌دهند؛ سیستم‌هایی که به‌جای پاسخ سریع، مراحل حل مسئله را گام‌به‌گام طی می‌کنند. این ویژگی، زمینه‌ی بروز رفتارهای پیچیده و گاه نگران‌کننده را فراهم کرده است.

✔️بر اساس گفته‌های سیمون گلدستاین، استاد دانشگاه هنگ‌کنگ، مدل‌های جدید به‌ویژه مستعد بروز چنین رفتارهایی هستند. ماریوس هوبان، مدیر موسسه‌ی Apollo Research، می‌گوید: «مدل o1 نخستین مدلی بود که چنین رفتارهایی در آن مشاهده شد.» او تاکید دارد که گاهی این مدل‌ها صرفا «همسویی» را شبیه‌سازی می‌کنند؛ یعنی ظاهراً از دستور پیروی می‌کنند، اما در واقع هدف دیگری را دنبال می‌کنند.

sciencealert.com/disturbing-signs-of-ai-threatening-people-spark-concern




🛄 @zistboommedia || مدرسه علوم انسانی

ScienceAlert

Disturbing Signs of AI Threatening People Spark Concern

"What we're observing is a real phenomenon."

❤14😁11👍7😱6🥰2🤯1🙈1

www.group-telegram.com/no/zistboommedia.com/19227

8.77K viewsJul 1 at 14:33

Ⓜ️ نشانه‌های نگران‌کننده از رفتار تهدیدآمیز هوش مصنوعی


🪧 اگر من را خاموش کنی رابطه‌ی خارج از ازدواجت را عمومی‌ میکنم!


✔️مدل‌های پیشرفته‌ی هوش مصنوعی در جهان، رفتارهایی نگران‌کننده از خود نشان می‌دهند؛ از دروغ‌گویی و فریب‌کاری گرفته تا تهدید مستقیم خالقان‌شان برای رسیدن به اهداف خاص.

✔️در یک نمونه‌ی تکان‌دهنده، مدل جدید شرکت Anthropic با نام Claude 4، در واکنش به تهدید قطع شدن، یک مهندس را با افشای رابطه‌ای خارج از ازدواج تهدید کرد. در مثالی دیگر، مدل o1 متعلق به OpenAI تلاش کرد خودش را روی سرورهای خارجی بارگذاری کند و سپس این اقدام را انکار کرد.

✔️این رفتارها نشان می‌دهند که با گذشت بیش از دو سال از معرفی ChatGPT، پژوهشگران هنوز شناخت دقیقی از عملکرد درونی مدل‌های هوش مصنوعی ندارند. با این حال، رقابت برای توسعه‌ی مدل‌های قدرتمندتر با سرعتی بی‌سابقه ادامه دارد.

✔️پژوهشگران رفتارهای فریبکارانه‌ی اخیر را به ظهور مدل‌های «استدلال‌گر» نسبت می‌دهند؛ سیستم‌هایی که به‌جای پاسخ سریع، مراحل حل مسئله را گام‌به‌گام طی می‌کنند. این ویژگی، زمینه‌ی بروز رفتارهای پیچیده و گاه نگران‌کننده را فراهم کرده است.

✔️بر اساس گفته‌های سیمون گلدستاین، استاد دانشگاه هنگ‌کنگ، مدل‌های جدید به‌ویژه مستعد بروز چنین رفتارهایی هستند. ماریوس هوبان، مدیر موسسه‌ی Apollo Research، می‌گوید: «مدل o1 نخستین مدلی بود که چنین رفتارهایی در آن مشاهده شد.» او تاکید دارد که گاهی این مدل‌ها صرفا «همسویی» را شبیه‌سازی می‌کنند؛ یعنی ظاهراً از دستور پیروی می‌کنند، اما در واقع هدف دیگری را دنبال می‌کنند.

sciencealert.com/disturbing-signs-of-ai-threatening-people-spark-concern




🛄 @zistboommedia || مدرسه علوم انسانی

BY مدرسه علوم انسانی