Все о блокчейн/мозге/space/WEB 3.0 в России и мире

❗️OpenAI и FrontierMath: Большой скандал о прозрачности в ИИ, на который нужно обратить внимание

Разгорелся серьезный скандал вокруг одного из ключевых инструментов оценки математических способностей языковых моделей - бенчмарка FrontierMath.

Выяснилось, что OpenAI тайно финансировала его разработку и имела эксклюзивный доступ к данным.

Компания Epoch AI, создатель бенчмарка FrontierMath, признала, что была связана соглашением о неразглашении с OpenAI, которое запрещало раскрывать информацию об их партнерстве до запуска модели GPT-4 Turbo (o3). При этом математики, создававшие задачи для бенчмарка, не знали об участии OpenAI в проекте.

Epoch AI публично признала ошибку в обеспечении прозрачности и пообещал в будущем:
- Предоставлять более четкую информацию о источниках финансирования
- Обеспечивать прозрачность в отношении доступа к данным
- Сделать прозрачность обязательным условием подобных партнерств.

Почему это важно?

1. Конфликт интересов. OpenAI получила привилегированный доступ к тестовому набору, который должен был независимо оценивать возможности ИИ-моделей, включая их собственные.

2. Эксклюзивность доступа. Другие ИИ-компании не могут получить доступ к FrontierMath из-за контрактных обязательств Epoch перед OpenAI.

3. Достоверность результатов. Недавно заявленные результаты GPT-4 Turbo (25% производительность на FrontierMath) теперь вызывают вопросы, учитывая доступ компании к тестовым данным.

Существует несколько сценариев того, как OpenAI могла использовать полученные данные:
- Прямое включение тестовых данных в тренировочный набор
- Создание похожих тренировочных примеров
- Использование материалов для улучшения архитектуры модели

Эксперты индустрии считают, что доступ к подобным бенчмаркам должен быть либо закрыт для всех ИИ-компаний, либо равномерно открыт. Высказываются опасения, что подобная практика может привести к искусственному завышению результатов тестирования и отсутствию реальной оценки возможностей моделей.

Этот случай поднимает важные вопросы о необходимости большей прозрачности в ИИ, особенно когда речь идет об инструментах оценки и тестирования. Он также демонстрирует растущую потребность в действительно независимых бенчмарках, свободных от влияния крупных ИИ-компаний.

Lesswrong

Some lessons from the OpenAI-FrontierMath debacle — LessWrong

Recently, OpenAI announced their newest model, o3, achieving massive improvements over state-of-the-art on reasoning and math. The highlight of the a…

www.group-telegram.com/sg/blockchainRF.com/11141

3.1K viewsJan 20 at 12:26

❗️OpenAI и FrontierMath: Большой скандал о прозрачности в ИИ, на который нужно обратить внимание

Разгорелся серьезный скандал вокруг одного из ключевых инструментов оценки математических способностей языковых моделей - бенчмарка FrontierMath.

Выяснилось, что OpenAI тайно финансировала его разработку и имела эксклюзивный доступ к данным.

Компания Epoch AI, создатель бенчмарка FrontierMath, признала, что была связана соглашением о неразглашении с OpenAI, которое запрещало раскрывать информацию об их партнерстве до запуска модели GPT-4 Turbo (o3). При этом математики, создававшие задачи для бенчмарка, не знали об участии OpenAI в проекте.

Epoch AI публично признала ошибку в обеспечении прозрачности и пообещал в будущем:
- Предоставлять более четкую информацию о источниках финансирования
- Обеспечивать прозрачность в отношении доступа к данным
- Сделать прозрачность обязательным условием подобных партнерств.

Почему это важно?

1. Конфликт интересов. OpenAI получила привилегированный доступ к тестовому набору, который должен был независимо оценивать возможности ИИ-моделей, включая их собственные.

2. Эксклюзивность доступа. Другие ИИ-компании не могут получить доступ к FrontierMath из-за контрактных обязательств Epoch перед OpenAI.

3. Достоверность результатов. Недавно заявленные результаты GPT-4 Turbo (25% производительность на FrontierMath) теперь вызывают вопросы, учитывая доступ компании к тестовым данным.

Существует несколько сценариев того, как OpenAI могла использовать полученные данные:
- Прямое включение тестовых данных в тренировочный набор
- Создание похожих тренировочных примеров
- Использование материалов для улучшения архитектуры модели

Эксперты индустрии считают, что доступ к подобным бенчмаркам должен быть либо закрыт для всех ИИ-компаний, либо равномерно открыт. Высказываются опасения, что подобная практика может привести к искусственному завышению результатов тестирования и отсутствию реальной оценки возможностей моделей.

Этот случай поднимает важные вопросы о необходимости большей прозрачности в ИИ, особенно когда речь идет об инструментах оценки и тестирования. Он также демонстрирует растущую потребность в действительно независимых бенчмарках, свободных от влияния крупных ИИ-компаний.

BY Все о блокчейн/мозге/space/WEB 3.0 в России и мире