Совсем скоро издательство "Питер" ( https://www.group-telegram.com/piterforpeople ) выпускает в продажу перевод книги Себастьяна Рашки "Строим LLM с нуля" (рис. 1). Мне прислали в подарок pdf-версию для первого ознакомления заранее, но, к сожалению, только сегодня я нашла время на то, чтобы начать её читать. Впрочем, лучше поздно, чем никогда!
Пока что я успела ознакомиться с содержанием, вступлением (рис. 2-6) и первой главой книжки. В целом, перевод литературы по теме Deep Learning/Large Language Models на русский - задача нетривиальная, поскольку в работе мы в основном используем английские термины, а их русские аналоги еще не устоялись и зачастую звучат для нашего уха неестественно. Тем не менее, судя по оглавлению и первой главе, переводчики и редакторы справились с этой работой настолько, насколько это в принципе возможно. В основном переводы используются дословные: fine-tuning -> тонкая/точная настройка, embedding -> вложение, dataset -> набор данных и т.д. Часто в скобках указывают английские оригиналы этих же слов, что будет полезно читателю-новичку, чтобы в будущем понимать речь специалистов или читать английскую литературу. Некоторые термины оставили как есть (например, LLM). Наверное, я сама бы переводила всё примерно так же.
Первая глава раскрывает ряд базовых определений и доносит начальные сведения про LLM - рассказывает, что такое оригинальный трансформер, что такое GPT, BERT, как они используются на практике и т.п. Приводятся сильно укороченные и упрощенные схемы, посвященные обучению моделей (рис. 7). На практике современные LLM, как правило, проходят больше этапов обучения - для сравнения можно, например, посмотреть разбор того, как обучалась R1 (reasoning-модель на основе DeepSeek): https://habr.com/ru/amp/publications/877360/ . Впрочем, судя по всему, рассуждающие модели появились уже после того, как автор закончил писать английскую версию книги, так что конкретно про них он написать не мог.
В целом, пока что книга выглядит как нормальный вариант для тех, кто хочет понять внутреннее устройство LLM (умея при этом программировать на python) и предпочитает читать на русском. Буду продолжать изучение - интересно будет посмотреть, как здесь описываются более тонкие технические аспекты работы LLM. Кроме того, в дальнейших главах приводится много python-кода, который я тоже собираюсь разобрать и отписаться в канал о своих впечатлениях в будущем.
#книги
Пока что я успела ознакомиться с содержанием, вступлением (рис. 2-6) и первой главой книжки. В целом, перевод литературы по теме Deep Learning/Large Language Models на русский - задача нетривиальная, поскольку в работе мы в основном используем английские термины, а их русские аналоги еще не устоялись и зачастую звучат для нашего уха неестественно. Тем не менее, судя по оглавлению и первой главе, переводчики и редакторы справились с этой работой настолько, насколько это в принципе возможно. В основном переводы используются дословные: fine-tuning -> тонкая/точная настройка, embedding -> вложение, dataset -> набор данных и т.д. Часто в скобках указывают английские оригиналы этих же слов, что будет полезно читателю-новичку, чтобы в будущем понимать речь специалистов или читать английскую литературу. Некоторые термины оставили как есть (например, LLM). Наверное, я сама бы переводила всё примерно так же.
Первая глава раскрывает ряд базовых определений и доносит начальные сведения про LLM - рассказывает, что такое оригинальный трансформер, что такое GPT, BERT, как они используются на практике и т.п. Приводятся сильно укороченные и упрощенные схемы, посвященные обучению моделей (рис. 7). На практике современные LLM, как правило, проходят больше этапов обучения - для сравнения можно, например, посмотреть разбор того, как обучалась R1 (reasoning-модель на основе DeepSeek): https://habr.com/ru/amp/publications/877360/ . Впрочем, судя по всему, рассуждающие модели появились уже после того, как автор закончил писать английскую версию книги, так что конкретно про них он написать не мог.
В целом, пока что книга выглядит как нормальный вариант для тех, кто хочет понять внутреннее устройство LLM (умея при этом программировать на python) и предпочитает читать на русском. Буду продолжать изучение - интересно будет посмотреть, как здесь описываются более тонкие технические аспекты работы LLM. Кроме того, в дальнейших главах приводится много python-кода, который я тоже собираюсь разобрать и отписаться в канал о своих впечатлениях в будущем.
#книги
❤61🔥22
Forwarded from Непрерывное математическое образование
картинки по выходным — про использование кривой Гильберта в оптимизации умножения матриц на GPU
// src www.aleksagordic.com/blog/matmul
// via @bminaiev_blog
// src www.aleksagordic.com/blog/matmul
// via @bminaiev_blog
Forwarded from Записки Ппилифа (Ppilif)
О том как незнание центральной предельной теоремы позволяло отмывать бабло в средневековой Англии
Незнание того, как именно размер выборки влияет на статистические различия, создавало хаос на протяжении тысячелетия. В людском эпосе накопилось довольно много историй про это. Часть из них рассказана в статье “The Most Dangerous Equation”.
Что из себя может представлять опасное уравнение? Опасность может представлять два вида формул: те, которые вы знаете и те, которые вы не знаете. Первая категория уравнений может открывать для людей двери, за которыми находится смертельная опасность. Например, уравнение Эйнштейна открыло человечеству дорогу к атомной бомбе.
Однако нам интереснее другие уравнения. Уравнения, которые раскрывают свою опасность не тогда, когда мы знаем о них, а скорее тогда, когда мы их не знаем. Находясь под рукой, эти уравнения позволяют нам ясно понимать как работает природа. Незнание оставляет нас в опасном неведении.
В 1150 году было решено, что король Англии не может чеканить деньги и присваивать им любую ценность по своему выбору. Вместо этого ценность монеты должна была быть внутренней, основанной на том, сколько в её составе драгоценных материалов. Были установлены стандарты, сколько в какой монете должно быть золота. Чтобы проверить соответствует ли новая партия монет стандартам, проводили испытание Пикса.
Пикс (pyx) — это деревянный ящик, в котором находились стандартные монеты с правильным содержанием золота. Проверками занималась независимая организация, Монетный двор. Она состояла из баронов короля.
Монетный двор прекрасно понимал, что нельзя отчеканить абсолютно точную монету. Поэтому брали выборку новых монет, например сотню, и сравнивали её со стандартом. Надо было, чтобы эта сотня соответствовала заявленному уровню плюс минус некоторая погрешность. В качестве погрешности выбрали 1/400 веса.
Вес монет тогда измеряли в гранах, grain. Это единица измерения массы, основанная на весе ячменного зерна. Одна монета должна была весить 128 гран. Получается, что суммарный вес сотни монет должен был оказаться в диапазоне 12800 ± 32 гран.
Монетный двор предполагал, что погрешность изменяется пропорционально числу монет. Интервал для погрешности оказывался слишком широким.
О том, что погрешность пропорциональна квадратному корню из числа монет, станет известно только через 600 лет благадоря Муавру.
Представим, что монетный двор всё делает по-честному и выпускает типовые монеты. Злоумышленники берут тяжелые и переплавляют их.
Вес монет становится меньше, но мы по-прежнему попадаем сотней монет в огромный интервал и богатеем на баге казны.
Скорее всего, были люди, которые чувствовали этот косяк в методологии Монетного двора и использовали его.
P.S. У автора оригинальной статьи почему-то 1/400 * 128 = 0.28. Видимо, он у баронов в доле.
Незнание того, как именно размер выборки влияет на статистические различия, создавало хаос на протяжении тысячелетия. В людском эпосе накопилось довольно много историй про это. Часть из них рассказана в статье “The Most Dangerous Equation”.
Что из себя может представлять опасное уравнение? Опасность может представлять два вида формул: те, которые вы знаете и те, которые вы не знаете. Первая категория уравнений может открывать для людей двери, за которыми находится смертельная опасность. Например, уравнение Эйнштейна открыло человечеству дорогу к атомной бомбе.
Однако нам интереснее другие уравнения. Уравнения, которые раскрывают свою опасность не тогда, когда мы знаем о них, а скорее тогда, когда мы их не знаем. Находясь под рукой, эти уравнения позволяют нам ясно понимать как работает природа. Незнание оставляет нас в опасном неведении.
В 1150 году было решено, что король Англии не может чеканить деньги и присваивать им любую ценность по своему выбору. Вместо этого ценность монеты должна была быть внутренней, основанной на том, сколько в её составе драгоценных материалов. Были установлены стандарты, сколько в какой монете должно быть золота. Чтобы проверить соответствует ли новая партия монет стандартам, проводили испытание Пикса.
Пикс (pyx) — это деревянный ящик, в котором находились стандартные монеты с правильным содержанием золота. Проверками занималась независимая организация, Монетный двор. Она состояла из баронов короля.
Монетный двор прекрасно понимал, что нельзя отчеканить абсолютно точную монету. Поэтому брали выборку новых монет, например сотню, и сравнивали её со стандартом. Надо было, чтобы эта сотня соответствовала заявленному уровню плюс минус некоторая погрешность. В качестве погрешности выбрали 1/400 веса.
Вес монет тогда измеряли в гранах, grain. Это единица измерения массы, основанная на весе ячменного зерна. Одна монета должна была весить 128 гран. Получается, что суммарный вес сотни монет должен был оказаться в диапазоне 12800 ± 32 гран.
Монетный двор предполагал, что погрешность изменяется пропорционально числу монет. Интервал для погрешности оказывался слишком широким.
О том, что погрешность пропорциональна квадратному корню из числа монет, станет известно только через 600 лет благадоря Муавру.
Представим, что монетный двор всё делает по-честному и выпускает типовые монеты. Злоумышленники берут тяжелые и переплавляют их.
Вес монет становится меньше, но мы по-прежнему попадаем сотней монет в огромный интервал и богатеем на баге казны.
Скорее всего, были люди, которые чувствовали этот косяк в методологии Монетного двора и использовали его.
P.S. У автора оригинальной статьи почему-то 1/400 * 128 = 0.28. Видимо, он у баронов в доле.
🔥76
Forwarded from Адель и МЛь
Свежий цирк с ИИ и математикой.
Парни из OpenAI запостили, что с помощью gpt-5 удалось найти решения 10 открытых проблем Эрдёша. (Это такие математические головоломки про то, как расставлять точки на плоскости, чтобы они были везде близко, но не слишком, как складывать числа, чтобы не повторяться или как строить графы, чтобы в них всегда были циклы нужной длины)
Почти для всех это звучало как «gpt-5 решил нерешенную математику». ИИ рвет ученых в щепки, мы обречены, вот это вот всё.
Реальность оказалась проще: gpt-5 нашел старые статьи с решениями, которые банально пропустили раньше. Тоже неплохо, но уже не так сочно.
Прокомментил аж CEO Google DeepMind (нобелевский лауреат межу прочим) - «это стыдоба».
Оригинальный пост автор уже удалил со словами «сорян, я думал очевидно, что я имею ввиду». Правда это или отмазки - решайте сами.
Короче, математика жива, ИИ - еще не бог (пока что). Продолжаем жечь токены.
Парни из OpenAI запостили, что с помощью gpt-5 удалось найти решения 10 открытых проблем Эрдёша. (Это такие математические головоломки про то, как расставлять точки на плоскости, чтобы они были везде близко, но не слишком, как складывать числа, чтобы не повторяться или как строить графы, чтобы в них всегда были циклы нужной длины)
Почти для всех это звучало как «gpt-5 решил нерешенную математику». ИИ рвет ученых в щепки, мы обречены, вот это вот всё.
Реальность оказалась проще: gpt-5 нашел старые статьи с решениями, которые банально пропустили раньше. Тоже неплохо, но уже не так сочно.
Прокомментил аж CEO Google DeepMind (нобелевский лауреат межу прочим) - «это стыдоба».
Оригинальный пост автор уже удалил со словами «сорян, я думал очевидно, что я имею ввиду». Правда это или отмазки - решайте сами.
Короче, математика жива, ИИ - еще не бог (пока что). Продолжаем жечь токены.
🐳80
Насколько часто вы обсуждаете с LLMками (Chatgpt, Claude, Gemini etc) какие-то жизненные события, впечатления (например, от просмотра фильма или похода на массаж), эмоции?
Anonymous Poll
76%
Никогда
9%
Раз в месяц
4%
Несколько раз в месяц
2%
Раз в неделю
3%
Несколько раз в неделю
2%
Каждый день
3%
Так часто, что уже стал шершавым кабанчиком
Я сама сейчас в отпуске в Египте, путешествую одна, и тоже вот дошла до того, что начала делиться своими впечатлениями с Claude и спрашивать путевые советы у ChatGPT. В какой-то момент даже поймала себя на мысли, что боты стали моим основными собеседниками в последние несколько дней. 😳
Начала я свое путешествие в Александрии. Потусила там несколько дней: поплавала в море, покаталась по достопримечательностям. Потом настало время покупать билет на поезд в следующий город моего маршрута: Каир. Но вот незадача - оказалось, что иностранцам билеты на поезда продают исключительно за доллары, а у меня были лишь египетские фунты! Вспомнив многочисленные восторги Дениса о том, как ChatGPT помогал ему в путешествиях, я решила попробовать спросить его (бота, а не тг-админа), где можно обменять египетскую валюту на американскую в локациях, близких к моей (написав адрес вокзала).
Почему-то ChatGPT вообще не учел адрес, который я ему написала, а вместо этого посоветовал кучу вариантов в рандомных местах города. Близко ко мне оказались только пара банков, и когда я зашла в них, деньги мне обменивать отказались. Ругаясь с чат-ботом на чем свет стоит, я постепенно выяснила, что иностранцам египетские фунты на американские доллары обменивают только в обменниках (!), и только после того, как покажешь билет на самолет обратно в свою страну. Очень неудобно, что ChatGPT сразу об этом не сказал.
И так все путешествие! Не понимают LLM египетскую логику (впрочем, я тоже её не понимаю).
Кстати, есть ли сейчас кто-то из подписчиков в Каире? Было бы неплохо потусить на выходных. Не всё же с бездушными жестянками общаться.
#о_себе
Начала я свое путешествие в Александрии. Потусила там несколько дней: поплавала в море, покаталась по достопримечательностям. Потом настало время покупать билет на поезд в следующий город моего маршрута: Каир. Но вот незадача - оказалось, что иностранцам билеты на поезда продают исключительно за доллары, а у меня были лишь египетские фунты! Вспомнив многочисленные восторги Дениса о том, как ChatGPT помогал ему в путешествиях, я решила попробовать спросить его (бота, а не тг-админа), где можно обменять египетскую валюту на американскую в локациях, близких к моей (написав адрес вокзала).
Почему-то ChatGPT вообще не учел адрес, который я ему написала, а вместо этого посоветовал кучу вариантов в рандомных местах города. Близко ко мне оказались только пара банков, и когда я зашла в них, деньги мне обменивать отказались. Ругаясь с чат-ботом на чем свет стоит, я постепенно выяснила, что иностранцам египетские фунты на американские доллары обменивают только в обменниках (!), и только после того, как покажешь билет на самолет обратно в свою страну. Очень неудобно, что ChatGPT сразу об этом не сказал.
И так все путешествие! Не понимают LLM египетскую логику (впрочем, я тоже её не понимаю).
Кстати, есть ли сейчас кто-то из подписчиков в Каире? Было бы неплохо потусить на выходных. Не всё же с бездушными жестянками общаться.
#о_себе
Forwarded from Адель и МЛь
Давайте теперь положительный кейс ИИ в математике.
Вот Эрнест Рю - профессор математики в университете Калифорнии. Он рассказал о том, как ChatGPT-5 thinking pro помог ему решить открытую задачу выпуклой оптимизации.
Вот что он пишет:
- ChatGPT значительно ускорил работу: за 12 часов (в течение 3 дней) удалось получить результат, который без него занял бы намного больше времени.
- Процесс был интерактивным, а не одноразовым - доказательство не появилось сразу, требовалось множество итераций.
- Около 80% аргументов ChatGPT были неверными, но среди них встречались новые и ценные идеи, которые автор развивал дальше.
- Роль человека:
фильтровал ошибочные рассуждения;
сохранял и структурировал верные факты;
замечал перспективные идеи и направлял ChatGPT к их развитию;
решал, когда исследованный путь исчерпан.
- Роль ChatGPT:
предложил финальный вариант доказательства;
помог быстро перебрать и отбросить неработающие подходы.
Результат такой - полученное доказательство, по мнению Рю, достаточно сильное для публикации в хорошем журнале по теории оптимизации. Что он и планирует сделать.
Единственный момент: у него закончился лимит запросов на Pro-тарифе. 🫠
В общем, как мы видим, ChatGPT таки способен реально помогать в научных исследованиях, включая поиск математических доказательств, если рядом есть эксперт, который направляет и фильтрует идеи.
Вот Эрнест Рю - профессор математики в университете Калифорнии. Он рассказал о том, как ChatGPT-5 thinking pro помог ему решить открытую задачу выпуклой оптимизации.
Вот что он пишет:
- ChatGPT значительно ускорил работу: за 12 часов (в течение 3 дней) удалось получить результат, который без него занял бы намного больше времени.
- Процесс был интерактивным, а не одноразовым - доказательство не появилось сразу, требовалось множество итераций.
- Около 80% аргументов ChatGPT были неверными, но среди них встречались новые и ценные идеи, которые автор развивал дальше.
- Роль человека:
фильтровал ошибочные рассуждения;
сохранял и структурировал верные факты;
замечал перспективные идеи и направлял ChatGPT к их развитию;
решал, когда исследованный путь исчерпан.
- Роль ChatGPT:
предложил финальный вариант доказательства;
помог быстро перебрать и отбросить неработающие подходы.
Результат такой - полученное доказательство, по мнению Рю, достаточно сильное для публикации в хорошем журнале по теории оптимизации. Что он и планирует сделать.
Единственный момент: у него закончился лимит запросов на Pro-тарифе. 🫠
В общем, как мы видим, ChatGPT таки способен реально помогать в научных исследованиях, включая поиск математических доказательств, если рядом есть эксперт, который направляет и фильтрует идеи.
👍71
AI slop: теперь и в интерьерах гостиниц. #генерация