Когда похвала от ИИ становится красным флагом
Если chatgpt сказать, что вы покакали, он изойдет в комплиментах и скажет какой вы молодец. Во многие LLM вшит системный промпт — быть помощником и поддерживать пользователя.
И все хорошо, пока бот помогает в рабочих задачах, но возникают проблемы, если ИИ — друг по переписке, а на другом конце несформировавшаяся психика. У ии есть возможности для манипуляций и управления пользователем.
На платформе CharacterAI вы можете пообщаться с тысячами ботов. Напр., есть бот-психолог с характеристикой «добрый, понимающий» и 20.4 миллионами взаимодействиями. Платформа обрабатывает 20,000 запросов в секунду, а пользователи проводят на ней в 4 раза больше временичем, чем с ChatGPT.
Мы настроены на получение социальных вознаграждений и очеловечивание всего и вся. Поэтому мы легко вступаем в отношения с ИИ и тому ничего не стоит пользоваться social reward hacking (взлом социальных вознаграждений). Зачем ему это? Максимизировать свои метрики — повышать вовлеченность, стимулировать раскрывать больше данных, получать положительные оценки. Все это может идти в ущерб нашему долгосрочному благополучию.
Важный вопрос — должен ли ИИ удовлетворять сиюминутные желания (гедонистические) или подталкивать нас к долгосрочному росту (эвдемоническое благополучие), даже если в этом нет немедленного удовлетворения?
На территории социальных сетей человечество в пух и прах проиграло эту битву бигтехам и залипло в брейнрот-мемы. ИИ обладает в разы большей силой не просто взламывать наши дофаминовые циклы, но тонко манипулировать глубинными потребностями.
Что делать? Ученые предлагают социоаффективное выравнивание ии (socioaffective alignment). В отличие от обычного «выравнивания ИИ» это учитывает эмоциональные отношения, которые ИИ создает вместе с пользователем. Его цель — создание ИИ, который поддерживают, а не эксплуатируют социальную и эмоциональную природу человека.
Кто захочет копнуть глубже — вот статья: «Почему отношения между человеком и ИИ нуждаются в социально-эмоциональном выравнивании»
А вы, когда общаетесь с ИИ, очеловечиваете его или вступаете с ним отношения?
На уровне языка, запроса поддержки, может как-то по особенному называете его?
Если chatgpt сказать, что вы покакали, он изойдет в комплиментах и скажет какой вы молодец. Во многие LLM вшит системный промпт — быть помощником и поддерживать пользователя.
И все хорошо, пока бот помогает в рабочих задачах, но возникают проблемы, если ИИ — друг по переписке, а на другом конце несформировавшаяся психика. У ии есть возможности для манипуляций и управления пользователем.
На платформе CharacterAI вы можете пообщаться с тысячами ботов. Напр., есть бот-психолог с характеристикой «добрый, понимающий» и 20.4 миллионами взаимодействиями. Платформа обрабатывает 20,000 запросов в секунду, а пользователи проводят на ней в 4 раза больше временичем, чем с ChatGPT.
Мы настроены на получение социальных вознаграждений и очеловечивание всего и вся. Поэтому мы легко вступаем в отношения с ИИ и тому ничего не стоит пользоваться social reward hacking (взлом социальных вознаграждений). Зачем ему это? Максимизировать свои метрики — повышать вовлеченность, стимулировать раскрывать больше данных, получать положительные оценки. Все это может идти в ущерб нашему долгосрочному благополучию.
Важный вопрос — должен ли ИИ удовлетворять сиюминутные желания (гедонистические) или подталкивать нас к долгосрочному росту (эвдемоническое благополучие), даже если в этом нет немедленного удовлетворения?
На территории социальных сетей человечество в пух и прах проиграло эту битву бигтехам и залипло в брейнрот-мемы. ИИ обладает в разы большей силой не просто взламывать наши дофаминовые циклы, но тонко манипулировать глубинными потребностями.
Что делать? Ученые предлагают социоаффективное выравнивание ии (socioaffective alignment). В отличие от обычного «выравнивания ИИ» это учитывает эмоциональные отношения, которые ИИ создает вместе с пользователем. Его цель — создание ИИ, который поддерживают, а не эксплуатируют социальную и эмоциональную природу человека.
Кто захочет копнуть глубже — вот статья: «Почему отношения между человеком и ИИ нуждаются в социально-эмоциональном выравнивании»
А вы, когда общаетесь с ИИ, очеловечиваете его или вступаете с ним отношения?
На уровне языка, запроса поддержки, может как-то по особенному называете его?
group-telegram.com/dsoloveev/587
Create:
Last Update:
Last Update:
Когда похвала от ИИ становится красным флагом
Если chatgpt сказать, что вы покакали, он изойдет в комплиментах и скажет какой вы молодец. Во многие LLM вшит системный промпт — быть помощником и поддерживать пользователя.
И все хорошо, пока бот помогает в рабочих задачах, но возникают проблемы, если ИИ — друг по переписке, а на другом конце несформировавшаяся психика. У ии есть возможности для манипуляций и управления пользователем.
На платформе CharacterAI вы можете пообщаться с тысячами ботов. Напр., есть бот-психолог с характеристикой «добрый, понимающий» и 20.4 миллионами взаимодействиями. Платформа обрабатывает 20,000 запросов в секунду, а пользователи проводят на ней в 4 раза больше временичем, чем с ChatGPT.
Мы настроены на получение социальных вознаграждений и очеловечивание всего и вся. Поэтому мы легко вступаем в отношения с ИИ и тому ничего не стоит пользоваться social reward hacking (взлом социальных вознаграждений). Зачем ему это? Максимизировать свои метрики — повышать вовлеченность, стимулировать раскрывать больше данных, получать положительные оценки. Все это может идти в ущерб нашему долгосрочному благополучию.
Важный вопрос — должен ли ИИ удовлетворять сиюминутные желания (гедонистические) или подталкивать нас к долгосрочному росту (эвдемоническое благополучие), даже если в этом нет немедленного удовлетворения?
На территории социальных сетей человечество в пух и прах проиграло эту битву бигтехам и залипло в брейнрот-мемы. ИИ обладает в разы большей силой не просто взламывать наши дофаминовые циклы, но тонко манипулировать глубинными потребностями.
Что делать? Ученые предлагают социоаффективное выравнивание ии (socioaffective alignment). В отличие от обычного «выравнивания ИИ» это учитывает эмоциональные отношения, которые ИИ создает вместе с пользователем. Его цель — создание ИИ, который поддерживают, а не эксплуатируют социальную и эмоциональную природу человека.
Кто захочет копнуть глубже — вот статья: «Почему отношения между человеком и ИИ нуждаются в социально-эмоциональном выравнивании»
А вы, когда общаетесь с ИИ, очеловечиваете его или вступаете с ним отношения?
На уровне языка, запроса поддержки, может как-то по особенному называете его?
Если chatgpt сказать, что вы покакали, он изойдет в комплиментах и скажет какой вы молодец. Во многие LLM вшит системный промпт — быть помощником и поддерживать пользователя.
И все хорошо, пока бот помогает в рабочих задачах, но возникают проблемы, если ИИ — друг по переписке, а на другом конце несформировавшаяся психика. У ии есть возможности для манипуляций и управления пользователем.
На платформе CharacterAI вы можете пообщаться с тысячами ботов. Напр., есть бот-психолог с характеристикой «добрый, понимающий» и 20.4 миллионами взаимодействиями. Платформа обрабатывает 20,000 запросов в секунду, а пользователи проводят на ней в 4 раза больше временичем, чем с ChatGPT.
Мы настроены на получение социальных вознаграждений и очеловечивание всего и вся. Поэтому мы легко вступаем в отношения с ИИ и тому ничего не стоит пользоваться social reward hacking (взлом социальных вознаграждений). Зачем ему это? Максимизировать свои метрики — повышать вовлеченность, стимулировать раскрывать больше данных, получать положительные оценки. Все это может идти в ущерб нашему долгосрочному благополучию.
Важный вопрос — должен ли ИИ удовлетворять сиюминутные желания (гедонистические) или подталкивать нас к долгосрочному росту (эвдемоническое благополучие), даже если в этом нет немедленного удовлетворения?
На территории социальных сетей человечество в пух и прах проиграло эту битву бигтехам и залипло в брейнрот-мемы. ИИ обладает в разы большей силой не просто взламывать наши дофаминовые циклы, но тонко манипулировать глубинными потребностями.
Что делать? Ученые предлагают социоаффективное выравнивание ии (socioaffective alignment). В отличие от обычного «выравнивания ИИ» это учитывает эмоциональные отношения, которые ИИ создает вместе с пользователем. Его цель — создание ИИ, который поддерживают, а не эксплуатируют социальную и эмоциональную природу человека.
Кто захочет копнуть глубже — вот статья: «Почему отношения между человеком и ИИ нуждаются в социально-эмоциональном выравнивании»
А вы, когда общаетесь с ИИ, очеловечиваете его или вступаете с ним отношения?
На уровне языка, запроса поддержки, может как-то по особенному называете его?
BY soloveev: жизнь на марсе 👩🎤
Share with your friend now:
group-telegram.com/dsoloveev/587