roguelike theory

Несмотря на весь мой абстрактный интерес к этой теме, я полностью пропустил Machine Learning последней декады, для меня это были чистые игры капитала, соревнования в количествах видеокарт и нашпионенных данных (только не надо мне слать высосанные из пальца контрпримеры). Чисто на уровне селезенки это было не моё. Поэтому я обходил стороной, потому что в "символическом" программировании для меня было куда больше пространства для всякого кулибинства, хотя в какой-то момент и оно стало совсем ограничено - не столько своими внутренними ограничениями, сколько в силу того, что капитал ставил везде заборы и не давал апишки.

То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.

А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".

С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.

С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.

(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)

Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).

А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.

www.group-telegram.com/cn/roguelike_theory.com/638

3.8K viewsedited  May 12, 2023 at 16:48

Несмотря на весь мой абстрактный интерес к этой теме, я полностью пропустил Machine Learning последней декады, для меня это были чистые игры капитала, соревнования в количествах видеокарт и нашпионенных данных (только не надо мне слать высосанные из пальца контрпримеры). Чисто на уровне селезенки это было не моё. Поэтому я обходил стороной, потому что в "символическом" программировании для меня было куда больше пространства для всякого кулибинства, хотя в какой-то момент и оно стало совсем ограничено - не столько своими внутренними ограничениями, сколько в силу того, что капитал ставил везде заборы и не давал апишки.

То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.

А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".

С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.

С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.

(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)

Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).

А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.

BY roguelike theory