group-telegram.com/evilfreelancer/1169
Last Update:
Под утреннюю чашечку кофе решил полистать Хабр и наткнулся на публикацию с заманчивым названием "Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2".
Пошёл смотреть и был просто поражён тем, что в ней описывается, а описывается ровно то, что указанно в названии, автор демонстрирует как он смог запустить gpt2 через свою библиотеку, которую он реализовал на чистом numpy.
Но самое интересное в том, что это одна из серии публикаций на указанную тему, вот полный список:
- "Пишем свой PyTorch на NumPy. Часть 1" - в первой статье было продемонстрировано, как реализовать базовые классы для описания и обучения простенького классификатора изображений
- "Пишем свой PyTorch на NumPy. Часть 2. Добавляем новые слои" - далее авптор добавляет в библиотеку дополнительные классы слоёв, оптимизаторы и загрузчик данных
- "Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений" - в третьей статье был реализован граф вычислений, который позволяет автоматизировать расчет градиентов
- "Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2"- в финале имея всё необходимое на руках производится запуск модели gpt2 через созданную библиотеку
В целом мне цикл очень понравился, теперь есть шпаргалка к которой можно будет обращаться, чтобы взять ту или иную реализацию формулы в коде.
В общем, рекомендую к прочтению всем, кто обитает в теме нейросетей или только начинает свой путь, очень хороший цикл.
PS. Из занятных мыслей, которые пришли в процессе - попробовать сделать аналог, пусть даже сильно упрощённый, на PHP, ведь когда я только начинал изучать нейронки три года назад пхп был моим основным языком программирования и переключиться на Python было очень не просто.
PPS. Лично я пролайкал все эти посты на Хабр и карму автора тоже, пусть пишет ещё :)
BY Pavel Zloi
Share with your friend now:
group-telegram.com/evilfreelancer/1169