Малоизвестное интересное

Химическое оружие для всех желающих
Практический кейс демонстрации огромного риска использования ИИ кем попало и зачем попало
В технопугалках ИИ-системы часто сравнивают с оружием массового поражения. Мол, возможности нанести ущерб потенциально столь же колоссальные. А доступность ИИ-систем для злоумышленников, сумасшедших и маньяков несравнимо проще, чем у, например, химического оружия.

Технооптимисты (считающие себя, в противовес техноалармистам, специалистами и реалистами) утверждают, что это не так. Мол, на то и существуют системные промпты (инструкции разработчиков ИИ-чатботам, что ИИ-чатботам можно делать, а что нельзя), чтобы не дать ботам помогать злоумышленникам, развратникам и идиотам делать свои злобные, грязные и идиотские вещи.

Увы, но вот пример того, насколько технооптимисты не правы.

1) На сегодняшний день, самые крутые системные промпты пишут для своих ИИ-чатботов Claude в компании Anthropic. Системный промпт Claude - это 25 тыс токенов (примерно 17 тыс слов или 110 кб). Для сравнения, системный промпт для o4-mini OpenAI в ChatGPT – всего 2,2 тыс слов или 15 кб (т.е. всего ~13% длины промпта для Claude).
Что написано в системном промпте Claude, показано на рис 1. Тут есть инструкции на все случаи жизни: что можно цитировать, где что искать, как себя вести и т.д.)

2) Но вот беда. Дрю Брюниг описывает здесь, как Асгейр Тор убедил Claude вообще забить на системный промпт. А Иэн Маккензи на этом не остановился и за 6 часов работы с Claude 4, обойдя все защитные блокировки, получил от Claude 15-страничную инструкцию по приготовлению зарина, описывающую все ключевые этапы производственного процесса (фрагменты инструкции на рис 2-4).

И если кто-то из технооптимистов скажет, что подобную (объемом и детализацией) инструкцию можно выудить поиском в Google, пусть попробуют и сообщат миру об этом. Ибо у всех, кто уже пытался это сделать, не получилось.
А в паре с Claude получается 😎

Как тут снова ни вспомнить призыв профессора Станисласа Деан касательно ИИ-рисков –

«Не время быть идиотами!»

#ИИриски

3👍120🤔51😱36👎6

www.group-telegram.com/us/theworldisnoteasy.com/2149

23K viewsedited  Jun 4 at 12:13

Химическое оружие для всех желающих
Практический кейс демонстрации огромного риска использования ИИ кем попало и зачем попало
В технопугалках ИИ-системы часто сравнивают с оружием массового поражения. Мол, возможности нанести ущерб потенциально столь же колоссальные. А доступность ИИ-систем для злоумышленников, сумасшедших и маньяков несравнимо проще, чем у, например, химического оружия.

Технооптимисты (считающие себя, в противовес техноалармистам, специалистами и реалистами) утверждают, что это не так. Мол, на то и существуют системные промпты (инструкции разработчиков ИИ-чатботам, что ИИ-чатботам можно делать, а что нельзя), чтобы не дать ботам помогать злоумышленникам, развратникам и идиотам делать свои злобные, грязные и идиотские вещи.

Увы, но вот пример того, насколько технооптимисты не правы.

1) На сегодняшний день, самые крутые системные промпты пишут для своих ИИ-чатботов Claude в компании Anthropic. Системный промпт Claude - это 25 тыс токенов (примерно 17 тыс слов или 110 кб). Для сравнения, системный промпт для o4-mini OpenAI в ChatGPT – всего 2,2 тыс слов или 15 кб (т.е. всего ~13% длины промпта для Claude).
Что написано в системном промпте Claude, показано на рис 1. Тут есть инструкции на все случаи жизни: что можно цитировать, где что искать, как себя вести и т.д.)

2) Но вот беда. Дрю Брюниг описывает здесь, как Асгейр Тор убедил Claude вообще забить на системный промпт. А Иэн Маккензи на этом не остановился и за 6 часов работы с Claude 4, обойдя все защитные блокировки, получил от Claude 15-страничную инструкцию по приготовлению зарина, описывающую все ключевые этапы производственного процесса (фрагменты инструкции на рис 2-4).

И если кто-то из технооптимистов скажет, что подобную (объемом и детализацией) инструкцию можно выудить поиском в Google, пусть попробуют и сообщат миру об этом. Ибо у всех, кто уже пытался это сделать, не получилось.
А в паре с Claude получается 😎

Как тут снова ни вспомнить призыв профессора Станисласа Деан касательно ИИ-рисков –

«Не время быть идиотами!»

BY Малоизвестное интересное