group-telegram.com/experiment_ai/20
Last Update:
Интерактивный отчет ИИ-2027: машины захватят землю и уничтожат людей к 2030?
Часть 1
Публикую первую часть заметок на основе интерактивного отчета ИИ-2027, написанного Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean. Авторы провели огромную методологическую работу, подробнее про их подходы и оценки можно почитать на этой странице. Отдельно хочется отметить эстетичность и красоту оформления работы!
2025
У моделей OpenAI активно развиваются навыки кодинга и исследований, именно они позволят в будущем максимально ускорить прогресс компании.
Появляются первые ИИ-агенты, но они не стабильны, да и никто пока толком не знает, что же понимать под ИИ-агентом!
При этом компании по всему миру активно ищут возможности для эффективного внедрения ИИ в бизнес, проводят много экспериментов, инвестируют в эту область, чтобы не остаться "за бортом".
Пример сервиса по внедрению ИИ в бизнес: https://www.glean.com/
OpenAI строит самый большой в мире распределенный датацентр для обучения своих моделей, по мощности эквивалентный 2.5 млн GPU H100s.
Главная цель – прогресс моделей и систем на их основе в ИИ-исследованиях. Ведь это позволит компании ускорять собственные исследования, вместо найма тысяч исследователей запускать десятки тысяч своих агентов на GPU, которые не только умные, но и трудолюбивые, работают 24 / 7!
🤔Однако остро стоит вопрос безопасности моделей и их alignment! Непонятно, как узнать, настоящие ли внутренние установки и цели модели? Откуда мы знаем, что модель просто не подстраивается под то, что от нее ожидают? Вдруг честность – это просто инструмент для модели, и она только притворяется такой? Пока что непонятно! Увы, методы интерпретируемости еще недостаточно развиты для этого.
Интересные кейсы, когда модели вели себя совсем не дружелюбно к своим пользователям: раз, два.
2026
Авторы считают, что к началу 2026-го ставка OpenAI на использование ИИ для ускорения исследований начнет приносить плоды – они ускорят свой алгоритмический прогресс на 50% за счет внедренных ИИ-агентов!
❗️Отсюда следует неочевидный вывод – вопросы безопасности выходят на новый уровень! Ведь раньше в худшем сценарии условные китайские шпионы могли украсть алгоритмические секреты, а сейчас утечка весов последних моделей может ускорить алгоритмический прогресс конкурентов на 50%!
Продолжение следует!
