Мысли вслух

О том, что мы можем сильно ошибаться в наших прогнозах про AI

Николас Карлини — исследователь Anthropic, бывший учёный Google DeepMind, один из авторов знаменитой атаки Carlini & Wagner на нейросети и эксперт по безопасности LLM.

В своей недавней статье утверждает: диапазон будущего языковых моделей настолько широк, что попытка «угадать одну-единственную траекторию» обречена.

Мне понравился ход его рассуждений и вот варианты:

1. Ожидание — как стратегия:

Карлини публично признаёт прошлые ошибки и призывает записывать собственные «красные линии», за которыми мы согласимся, что были неправы. Держать портфель гипотез, а не единственный прогноз — безопаснее для бизнеса и науки.

2. Автокатализ ИИ:

Он рассматривает сценарий, где LLM‑ы ускоряют своё развитие: пишут код и сами себя улучшают. Недавние примеры моделей, которые оптимизируют собственные ядра WASM, показывают, что цикл self‑improvement уже стартовал.

3. Опасность плато:

Другая крайность — «эффект NASA после Луны»: данные иссякнут, бюджеты схлопнутся, и экспонента превратится в полку. Пока тема горячая, прототипы нужно срочно превращать в выручку — иначе вентиль перекроют раньше, чем технология дозреет.

4. Опровергай себя сам:

Я записал несколько чек‑пойнтов для себя на 2026 год, по которым «съем шляпу», если они станут нормой:
• ИИ‑контент на основе наших знаний внутри компании и любой свежей новости по теме: без правок — публикуется и собирает бурю реакций и репостов;
• LLM‑инженер: за 24 часа пишет и деплоит фичи из произвольно выбранного проекта Customertimes на Apex + Lightning‑функцию, проходит ревью наших архитекторов без дополнений и ошибок и сразу доставляется клиенту.

5. Полезность > понимание:

Карлини вспоминает Stockfish: нам всё равно, «понимает» ли движок шахматы — главное, что он выигрывает. С LLM та же логика: метрика — результат, а не философия.

Что делать прямо сейчас:
• Считайте юнит‑ и вообще экономику любого AI‑эксперимента так же жёстко, как обычного продукта/проекта;
• Приручайте скепсис: запишите чёткие метрики, при которых готовы «съесть шляпу» и переписать план.

Мир ускоряется, а наша сила — менять мнение быстрее, чем стареет парадигма. Наступила эра, где мечтатели и воображение снова востребованы.

@maxvotek

🔥28👍14❤6

www.group-telegram.com/us/maxvotek.com/171

1.75K viewsedited  Apr 22 at 11:02

О том, что мы можем сильно ошибаться в наших прогнозах про AI

Николас Карлини — исследователь Anthropic, бывший учёный Google DeepMind, один из авторов знаменитой атаки Carlini & Wagner на нейросети и эксперт по безопасности LLM.

В своей недавней статье утверждает: диапазон будущего языковых моделей настолько широк, что попытка «угадать одну-единственную траекторию» обречена.

Мне понравился ход его рассуждений и вот варианты:

1. Ожидание — как стратегия:

Карлини публично признаёт прошлые ошибки и призывает записывать собственные «красные линии», за которыми мы согласимся, что были неправы. Держать портфель гипотез, а не единственный прогноз — безопаснее для бизнеса и науки.

2. Автокатализ ИИ:

Он рассматривает сценарий, где LLM‑ы ускоряют своё развитие: пишут код и сами себя улучшают. Недавние примеры моделей, которые оптимизируют собственные ядра WASM, показывают, что цикл self‑improvement уже стартовал.

3. Опасность плато:

Другая крайность — «эффект NASA после Луны»: данные иссякнут, бюджеты схлопнутся, и экспонента превратится в полку. Пока тема горячая, прототипы нужно срочно превращать в выручку — иначе вентиль перекроют раньше, чем технология дозреет.

4. Опровергай себя сам:

Я записал несколько чек‑пойнтов для себя на 2026 год, по которым «съем шляпу», если они станут нормой:
• ИИ‑контент на основе наших знаний внутри компании и любой свежей новости по теме: без правок — публикуется и собирает бурю реакций и репостов;
• LLM‑инженер: за 24 часа пишет и деплоит фичи из произвольно выбранного проекта Customertimes на Apex + Lightning‑функцию, проходит ревью наших архитекторов без дополнений и ошибок и сразу доставляется клиенту.

5. Полезность > понимание:

Карлини вспоминает Stockfish: нам всё равно, «понимает» ли движок шахматы — главное, что он выигрывает. С LLM та же логика: метрика — результат, а не философия.

Что делать прямо сейчас:
• Считайте юнит‑ и вообще экономику любого AI‑эксперимента так же жёстко, как обычного продукта/проекта;
• Приручайте скепсис: запишите чёткие метрики, при которых готовы «съесть шляпу» и переписать план.

Мир ускоряется, а наша сила — менять мнение быстрее, чем стареет парадигма. Наступила эра, где мечтатели и воображение снова востребованы.

@maxvotek

BY Мысли вслух