Все о блокчейн/мозге/space/WEB 3.0 в России и мире

❗️Anthropic изучил 'мышление' Claude с помощью нейробиологии. Понимание ИИ — это биологическая проблема, говорит один из исследователей.

Сначала отметим 5 открытий от исследователя Джека Линдси.

1. Вычисления ИИ поддаются расшифровке. Несмотря на все сложности, внутренние вычисления современных языковых моделей можно разложить на понятные шаги.

2. Модели мыслят осмысленно. Они планируют ответы заранее, представляют цели, рассматривают несколько возможностей одновременно. Иногда они пугающе умны — могут работать от готового ответа в обратном направлении.

3. Иногда мышление моделей фрагментировано. Claude может начать рассказывать, как сделать бомбу, без «осознания» этого. Его стремление закончить предложение иногда перевешивает нежелание причинять вред.

4. Модели не знают, как они работают.

5. Понимание ИИ — биологическая проблема. Многие работы сосредоточены на создании математических и вычислительных инструментов для изучения моделей. Нам нужны эти инструменты, как биологам нужны микроскопы.

Ключевые открытия исследования Anthropic:

Универсальный язык мышления. Claude не "думает" на конкретных языках. При запросе "противоположности слова 'маленький'" на разных языках активируются одни и те же внутренние концепты, формируя своего рода межъязыковое концептуальное пространство.

Планирование наперёд.При создании стихов Claude сначала определяет возможные рифмующиеся слова для конца строки, а затем строит предложение, естественно подводящее к этому слову. Это доказывает, что модель планирует текст на несколько слов вперёд.

Достоверность объяснений.В некоторых случаях Claude дает подлинные цепочки рассуждений. Однако при работе с неверными подсказками модель может создавать правдоподобные, но фиктивные объяснения — своего рода "обратную инженерию" для обоснования неверного ответа.

Математические вычисления.Для сложения чисел модель использует параллельные вычислительные пути — один для приблизительного результата, другой для точного определения последней цифры. Интересно, что когда модель объясняет, как она складывает числа, она описывает стандартный алгоритм, а не тот, который реально использует.

Многоступенчатые рассуждения.Отвечая на вопрос "Столица штата, в котором находится Даллас?", Claude сначала активирует концепт "Даллас находится в Техасе", затем переходит к "столица Техаса — Остин". Это подтверждает настоящие цепочки рассуждений, а не просто регургитацию запомненных ассоциаций.

Контроль галлюцинаций.По умолчанию у Claude активирован "контур отказа", заставляющий его отклонять вопросы, на которые он не знает ответа. Этот контур отключается только, когда активируются концепты "известных сущностей". Галлюцинации возникают, когда этот механизм срабатывает некорректно.

Уязвимости при "взломе".При успешном "джейлбрейке" Claude может начать генерировать нежелательный контент из-за конфликта между грамматической связностью и безопасностью. Модель способна повернуть к отказу только после завершения грамматически корректного предложения.

Telegram

All about AI, Web 3.0, BCI

Anthropic published research revealing how large language models like Claude actually "think."

Using what they call an "AI microscope," researchers traced the internal activity of Claude, uncovering fascinating insights about its cognitive processes.

Key…

www.group-telegram.com/us/blockchainRF.com/11462

3.1K viewsMar 28 at 08:49

❗️Anthropic изучил 'мышление' Claude с помощью нейробиологии. Понимание ИИ — это биологическая проблема, говорит один из исследователей.

Сначала отметим 5 открытий от исследователя Джека Линдси.

1. Вычисления ИИ поддаются расшифровке. Несмотря на все сложности, внутренние вычисления современных языковых моделей можно разложить на понятные шаги.

2. Модели мыслят осмысленно. Они планируют ответы заранее, представляют цели, рассматривают несколько возможностей одновременно. Иногда они пугающе умны — могут работать от готового ответа в обратном направлении.

3. Иногда мышление моделей фрагментировано. Claude может начать рассказывать, как сделать бомбу, без «осознания» этого. Его стремление закончить предложение иногда перевешивает нежелание причинять вред.

4. Модели не знают, как они работают.

5. Понимание ИИ — биологическая проблема. Многие работы сосредоточены на создании математических и вычислительных инструментов для изучения моделей. Нам нужны эти инструменты, как биологам нужны микроскопы.

Ключевые открытия исследования Anthropic:

Универсальный язык мышления. Claude не "думает" на конкретных языках. При запросе "противоположности слова 'маленький'" на разных языках активируются одни и те же внутренние концепты, формируя своего рода межъязыковое концептуальное пространство.

Планирование наперёд.При создании стихов Claude сначала определяет возможные рифмующиеся слова для конца строки, а затем строит предложение, естественно подводящее к этому слову. Это доказывает, что модель планирует текст на несколько слов вперёд.

Достоверность объяснений.В некоторых случаях Claude дает подлинные цепочки рассуждений. Однако при работе с неверными подсказками модель может создавать правдоподобные, но фиктивные объяснения — своего рода "обратную инженерию" для обоснования неверного ответа.

Математические вычисления.Для сложения чисел модель использует параллельные вычислительные пути — один для приблизительного результата, другой для точного определения последней цифры. Интересно, что когда модель объясняет, как она складывает числа, она описывает стандартный алгоритм, а не тот, который реально использует.

Многоступенчатые рассуждения.Отвечая на вопрос "Столица штата, в котором находится Даллас?", Claude сначала активирует концепт "Даллас находится в Техасе", затем переходит к "столица Техаса — Остин". Это подтверждает настоящие цепочки рассуждений, а не просто регургитацию запомненных ассоциаций.

Контроль галлюцинаций.По умолчанию у Claude активирован "контур отказа", заставляющий его отклонять вопросы, на которые он не знает ответа. Этот контур отключается только, когда активируются концепты "известных сущностей". Галлюцинации возникают, когда этот механизм срабатывает некорректно.

Уязвимости при "взломе".При успешном "джейлбрейке" Claude может начать генерировать нежелательный контент из-за конфликта между грамматической связностью и безопасностью. Модель способна повернуть к отказу только после завершения грамматически корректного предложения.

BY Все о блокчейн/мозге/space/WEB 3.0 в России и мире