Миша пишет код

Дошли руки посмотреть Microsoft Ignite. Много всего сказали про интеграцию моделей в повседневную рутину - интеграция copilot с приложениями в винде выглядит невероятно. (Неужели Microsoft сразу прыгнет от самого худшего в мире приложения почты и календаря к самому лучшему и удобному?)

Больше всего мне было интересно, что компания представила новый чип, разработанный специально для LLM - Maia 100.

Процессоры, оптимизированные под задачи машинного обучения и нейронок уже существуют давно, например, гугловские TPU. Однако, тут больше удивляет, что Майкрософт выпустила чип заточенный не просто под DL задачи, а под конкретную модель. Разработать процессор - недешевое и долгое развлечение, а значит компания делает очень большие ставки на языковые модели и на ChatGPT в частности.

Интересно было бы узнать, какие именно LLM-специфичные оптимизации были сделаны. Хотя стоит отметить, что процессор называют LLM-optimized только в общей презентации, посвященной всем технологиям. В более детальной презентации о датацентрах и серверах, а также в соответствующей статье процессор называют уже AI-optimized. Так что не удивлюсь, если часть про LLM - просто маркетинг. Тем более разработка процессора занимает не один год и есть сомнения, что они бросились разрабатывать собственный процессор сразу после выхода первых статей про LLM (GPT1.0 - 2018, GPT2.0 - 2019).

Забавно наблюдать, как человечество прошло полный круг от single-purpose процессоров (ENIAC , Harvard Mark 1, IBM 1401) созданных для решения одной конкретной задачи к general-purpose процессорам, которые могут решать широкий круг задач и обратно к узкоспециализированным чипам.

www.group-telegram.com/hk/misha_writes_code.com/142

432 viewsMisha и точка, edited  Nov 19, 2023 at 18:46

Дошли руки посмотреть Microsoft Ignite. Много всего сказали про интеграцию моделей в повседневную рутину - интеграция copilot с приложениями в винде выглядит невероятно. (Неужели Microsoft сразу прыгнет от самого худшего в мире приложения почты и календаря к самому лучшему и удобному?)

Больше всего мне было интересно, что компания представила новый чип, разработанный специально для LLM - Maia 100.

Процессоры, оптимизированные под задачи машинного обучения и нейронок уже существуют давно, например, гугловские TPU. Однако, тут больше удивляет, что Майкрософт выпустила чип заточенный не просто под DL задачи, а под конкретную модель. Разработать процессор - недешевое и долгое развлечение, а значит компания делает очень большие ставки на языковые модели и на ChatGPT в частности.

Интересно было бы узнать, какие именно LLM-специфичные оптимизации были сделаны. Хотя стоит отметить, что процессор называют LLM-optimized только в общей презентации, посвященной всем технологиям. В более детальной презентации о датацентрах и серверах, а также в соответствующей статье процессор называют уже AI-optimized. Так что не удивлюсь, если часть про LLM - просто маркетинг. Тем более разработка процессора занимает не один год и есть сомнения, что они бросились разрабатывать собственный процессор сразу после выхода первых статей про LLM (GPT1.0 - 2018, GPT2.0 - 2019).

Забавно наблюдать, как человечество прошло полный круг от single-purpose процессоров (ENIAC , Harvard Mark 1, IBM 1401) созданных для решения одной конкретной задачи к general-purpose процессорам, которые могут решать широкий круг задач и обратно к узкоспециализированным чипам.

BY Миша пишет код