group-telegram.com/netlenkanet/25061
Last Update:
The Wall Street Journal: Тактика DeepSeek заключалась в сокращении обработки данных, необходимой для обучения моделей, с использованием некоторых собственных изобретений и методов, принятых аналогичными ограниченными китайскими компаниями, занимающимися ИИ.
Представьте себе ранние версии ChatGPT как библиотекаря, который прочитал все книги в библиотеке, сказал Леннарт Хайм, который исследует ИИ в аналитическом центре Rand. Когда ему задают вопрос, он дает ответ, основанный на множестве прочитанных им книг. Этот процесс требует много времени и денег. Для чтения этих книг требуются компьютерные чипы, потребляющие много электроэнергии. DeepSeek применил другой подход. Его библиотекарь не прочитал все книги, но обучен искать нужную книгу для ответа после того, как ему зададут вопрос.
На этом этапе есть еще один метод, который называется «смешивание экспертов». Вместо того, чтобы искать библиотекаря, который может справиться с вопросами по любой теме, DeepSeek и некоторые другие разработчики ИИ делают что-то вроде делегирования вопросов списку экспертов в определенных областях, таких как художественная литература, периодические издания и кулинария. Каждому эксперту требуется меньше обучения, что снижает спрос на чипы, чтобы делать все одновременно.
Подход DeepSeek требует меньше времени и мощности, прежде чем будет задан вопрос, но использует больше времени и мощности при ответе. Учитывая все обстоятельства, сказал Хайм, сокращения DeepSeek помогают ему обучать ИИ за часть стоимости конкурирующих моделей. «Инженерное дело — это работа с ограничениями», — написал бывший генеральный директор Intel Пэт Гелсингер в X. «У китайских инженеров были ограниченные ресурсы, и им приходилось искать креативные решения».
@netlenkanet
BY Нетленка
Share with your friend now:
group-telegram.com/netlenkanet/25061