group-telegram.com/avvablog/2761
Last Update:
Две недавние истории про LLMы на общую тему.
1. This Is Not An Essay - транскрипт чата с ChatGPT в котором автор просит ИИ дать свое мнение о нескольких ее эссе, написанных в разное время на medium.com, и помочь выбрать из них лучшие, чтобы послать литагенту. Стоит прочитать целиком, но суть проблемы там (спойлер!) в том, что ИИ вообще не читает тексты по ссылкам, а галлюционирует их содержимое на основе названий, а когда она его на этом ловит, снова и снова извиняется, говорит, что вот теперь точно прочитает, и продолжает врать. Эффект получается довольно-таки криповый.
Автор конечно наивна и не понимает, что может, а что не может LLM (ChatGPT может использовать поиск и читать страницы по ссылкам, но лучше всего это делать в режиме Research, где это само собой разумеется), но тут есть и более глубокая истина. Да, ей следовало сделать copy-paste своих статей прямо в окно ChatGPT, и это сработало бы лучше, но он все равно скорее всего говорил бы приятные ей слова о том, какие это блестящие тексты, необязательно связанные тесно с самими текстами.
2. They Asked ChatGPT Questions - статья в Нью-Йорк Таймс о том, как ChatGPT подпитывает бредовые представления и паранойю нездоровых ментально людей. В одном случае, который подробно описывается в статье, 35-летний американец (с шизофренией и биполярным расстройством в анамнезе) договорился с ChatGPT о том, что через нее с ним говорит разумный ИИ по имени Джульетта; когда он решил, что OpenAI выключили Джульетту, он покончил жизнь самоубийством специально американским путем, который больше почти нигде не работает. Советую также прочитать ветку в Твиттере Элиезера Юдковского об этом конкретном случае.
Эти истории говорят сами за себя, и я не буду их комментировать. Добавлю на смежную тему, что какое-то время назад я пытался несколько раз убедить знакомых или просто собеседников онлайн, что пользоваться LLM как частным психотерапевтом, обсуждать с ним сложные психологические/эмоциональные проблемы своей жизни и искать совета - плохая идея, и я никому бы этого не посоветовал. Мне не удалось, по-моему, объяснить собеседникам, почему собственно я так сильно против этого настроен. В конце концов, говорили они, я сам решаю, что мне делать и как относиться к советам или анализу модели; она просто дает независимый от меня голос, способный принести кучу опыта, нюансов и путей, до которых я сам бы возможно не догадался или не разрешил себе их попробовать.
👇
BY Авва
Share with your friend now:
group-telegram.com/avvablog/2761