Pavel Zloi

Под утреннюю чашечку кофе решил полистать Хабр и наткнулся на публикацию с заманчивым названием "Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2".

Пошёл смотреть и был просто поражён тем, что в ней описывается, а описывается ровно то, что указанно в названии, автор демонстрирует как он смог запустить gpt2 через свою библиотеку, которую он реализовал на чистом numpy.

Но самое интересное в том, что это одна из серии публикаций на указанную тему, вот полный список:
- "Пишем свой PyTorch на NumPy. Часть 1" - в первой статье было продемонстрировано, как реализовать базовые классы для описания и обучения простенького классификатора изображений
- "Пишем свой PyTorch на NumPy. Часть 2. Добавляем новые слои" - далее авптор добавляет в библиотеку дополнительные классы слоёв, оптимизаторы и загрузчик данных
- "Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений" - в третьей статье был реализован граф вычислений, который позволяет автоматизировать расчет градиентов
- "Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2"- в финале имея всё необходимое на руках производится запуск модели gpt2 через созданную библиотеку

В целом мне цикл очень понравился, теперь есть шпаргалка к которой можно будет обращаться, чтобы взять ту или иную реализацию формулы в коде.

В общем, рекомендую к прочтению всем, кто обитает в теме нейросетей или только начинает свой путь, очень хороший цикл.

PS. Из занятных мыслей, которые пришли в процессе - попробовать сделать аналог, пусть даже сильно упрощённый, на PHP, ведь когда я только начинал изучать нейронки три года назад пхп был моим основным языком программирования и переключиться на Python было очень не просто.

PPS. Лично я пролайкал все эти посты на Хабр и карму автора тоже, пусть пишет ещё :)

Хабр

Пишем свой PyTorch на NumPy. Финал. Запускаем GPT-2

PyTorch  — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим...

👍15🔥7❤1

www.group-telegram.com/us/evilfreelancer.com/1169

2.08K viewsedited  Dec 28, 2024 at 08:59

Под утреннюю чашечку кофе решил полистать Хабр и наткнулся на публикацию с заманчивым названием "Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2".

Пошёл смотреть и был просто поражён тем, что в ней описывается, а описывается ровно то, что указанно в названии, автор демонстрирует как он смог запустить gpt2 через свою библиотеку, которую он реализовал на чистом numpy.

Но самое интересное в том, что это одна из серии публикаций на указанную тему, вот полный список:
- "Пишем свой PyTorch на NumPy. Часть 1" - в первой статье было продемонстрировано, как реализовать базовые классы для описания и обучения простенького классификатора изображений
- "Пишем свой PyTorch на NumPy. Часть 2. Добавляем новые слои" - далее авптор добавляет в библиотеку дополнительные классы слоёв, оптимизаторы и загрузчик данных
- "Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений" - в третьей статье был реализован граф вычислений, который позволяет автоматизировать расчет градиентов
- "Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2"- в финале имея всё необходимое на руках производится запуск модели gpt2 через созданную библиотеку

В целом мне цикл очень понравился, теперь есть шпаргалка к которой можно будет обращаться, чтобы взять ту или иную реализацию формулы в коде.

В общем, рекомендую к прочтению всем, кто обитает в теме нейросетей или только начинает свой путь, очень хороший цикл.

PS. Из занятных мыслей, которые пришли в процессе - попробовать сделать аналог, пусть даже сильно упрощённый, на PHP, ведь когда я только начинал изучать нейронки три года назад пхп был моим основным языком программирования и переключиться на Python было очень не просто.

PPS. Лично я пролайкал все эти посты на Хабр и карму автора тоже, пусть пишет ещё :)

BY Pavel Zloi