Оценка качества корпоративного кредитования в России и тенденции в кредитовании
При общем ухудшении макроэкономического фона логично ожидать ухудшение качества кредитного портфеля.
Наибольший по объему портфель плохих кредитов (красная и проблемная зоны) сосредоточен в строительной и нефтегазовой отраслях, но остается стабильным – это старые проблемные кредиты. Рост плохих кредитов в 2-3кв25 наблюдался у металлургических (+4 п.п) и транспортных (+2 п.п) компаний.
Наибольший объем реструктуризаций пришелся на компании из угольной отрасли, обрабатывающей промышленности, строительства и торговли.
В апреле-сентябре 2025 российские банки одобрили реструктуризацию кредитов для крупных компаний на сумму 8.32 трлн руб, для средних компаний – 1.98 трлн руб, а для малых и микропредприятий – 0.37 трлн руб.
Банк России не приводит статистику реструктуризаций в 2024 году и ранее, но в сопоставлении краткосрочной тенденции, реструктуризация средних и крупных компаний волатильна, но плюс-минус стабильна последние полгода, тогда как по микропредприятиям и малым компаниям рост вдвое за последние 2 месяца в сравнении с апрелем-маем.
Интегрально по всем юрлицам, за последние 2 месяца реструктуризируется 1.64% от кредитного портфеля в месячном выражении vs 2.1% в 2кв25 за исключением отдельных крупных реструктуризаций (снижение – это эффект крупных компаний).
Банк России способствует реструктуризации проблемных кредитов ИП и малого бизнеса.
Зона риска – весь малый и средний бизнес России, где идет интенсивное ухудшение качества кредитного портфеля, выраженного в виде уровня дефолтности субъектов МСП по предоставленным кредитам по 12м.
• Микропредприятия: 9.9% проблемных кредитов в сен.25, за 9м25 – 9.3%, 2024 – 6%, 2023 – 4.6%, 2022 – 3.8%
• Малые компании: 4.7% в сен.25, за 9м25 – 4.1%, 2024 – 3.1%, 2023 – 2.7%, 2022 – 2.3%
• Средние компании: 3.6% в сен.25, за 9м25 – 3.3%, 2024 – 2.6%, 2023 – 2.5%. 2022 – 2.1%.
По крупным компаниям данные не могут быть показательны из-за специфики обслуживания кредитного портфеля, как сам признается Банк России:
Эту особенности я подмечал еще в 2023-2024, когда через реструктуризацию «ретушируется» качество кредитного портфеля – это делается по крупным кредитным лотам, тогда как МСП не задействуют этот «схематоз» и там взрывное ухудшение.
Также крупные компании под воздействием специфичных льготных кредитов или под госгарантии (особенно среди ВПК и системообразующих отраслей), т.е. там сложно оценить качества кредитного портфеля.
По валютным кредитам. Особого смещения доли валютного фондирования нет, хотя наблюдается тенденция роста спроса на валютные кредиты последние 3 месяца.
Текущая доля валютных кредитов и облигаций с исключением валютной переоценки составляет 12.6%, за 9м25 – 12.4%, в 2024 – 15%, в 2023 – 17.5%, в 2022 – 23.5%, а в 2021 – 28.2%.
Однако, интенсивно растет фондирование в валютных облигациях – 1 трлн руб с начала года на сен.25, где весь прирост был с мая по сентябрь, что вдвое выше, чем в 2024 и на порядок выше, чем в 2023.
Зона риска сейчас - малый и средний бизнес, + отдельные компании среди крупных (уголь, девелоперы).
При общем ухудшении макроэкономического фона логично ожидать ухудшение качества кредитного портфеля.
Наибольший по объему портфель плохих кредитов (красная и проблемная зоны) сосредоточен в строительной и нефтегазовой отраслях, но остается стабильным – это старые проблемные кредиты. Рост плохих кредитов в 2-3кв25 наблюдался у металлургических (+4 п.п) и транспортных (+2 п.п) компаний.
Наибольший объем реструктуризаций пришелся на компании из угольной отрасли, обрабатывающей промышленности, строительства и торговли.
В апреле-сентябре 2025 российские банки одобрили реструктуризацию кредитов для крупных компаний на сумму 8.32 трлн руб, для средних компаний – 1.98 трлн руб, а для малых и микропредприятий – 0.37 трлн руб.
Банк России не приводит статистику реструктуризаций в 2024 году и ранее, но в сопоставлении краткосрочной тенденции, реструктуризация средних и крупных компаний волатильна, но плюс-минус стабильна последние полгода, тогда как по микропредприятиям и малым компаниям рост вдвое за последние 2 месяца в сравнении с апрелем-маем.
Интегрально по всем юрлицам, за последние 2 месяца реструктуризируется 1.64% от кредитного портфеля в месячном выражении vs 2.1% в 2кв25 за исключением отдельных крупных реструктуризаций (снижение – это эффект крупных компаний).
Банк России способствует реструктуризации проблемных кредитов ИП и малого бизнеса.
Для поддержки заемщиков – юридических лиц и индивидуальных предпринимателей, столкнувшихся с временными трудностями по обслуживанию долга, Банк России в мае 2025 рекомендовал банкам удовлетворять заявления о реструктуризации долга таких заемщиков. Для того чтобы банки охотнее шли навстречу заемщикам, регулятор временно смягчил требования к резервам по реструктурированным ссудам заемщиков, по которым есть высокая вероятность восстановления их финансового положения.
Зона риска – весь малый и средний бизнес России, где идет интенсивное ухудшение качества кредитного портфеля, выраженного в виде уровня дефолтности субъектов МСП по предоставленным кредитам по 12м.
• Микропредприятия: 9.9% проблемных кредитов в сен.25, за 9м25 – 9.3%, 2024 – 6%, 2023 – 4.6%, 2022 – 3.8%
• Малые компании: 4.7% в сен.25, за 9м25 – 4.1%, 2024 – 3.1%, 2023 – 2.7%, 2022 – 2.3%
• Средние компании: 3.6% в сен.25, за 9м25 – 3.3%, 2024 – 2.6%, 2023 – 2.5%. 2022 – 2.1%.
По крупным компаниям данные не могут быть показательны из-за специфики обслуживания кредитного портфеля, как сам признается Банк России:
Доля кредитов IV–V категорий качества (плохих и очень плохих) в сегменте крупного бизнеса с апреля по сентябрь 2025 почти не изменилась за счет вновь предоставляемых крупных кредитов, а также за счет возможности не ухудшать категорию качества по реструктурируемым кредитам заемщикам, если банки ожидают улучшения их финансового положения в среднесрочной перспективе. Плохие кредиты достаточно покрыты резервами: в среднем за последние 10 лет уровень покрытия составлял 68%, в 2025 – 72%.
Эту особенности я подмечал еще в 2023-2024, когда через реструктуризацию «ретушируется» качество кредитного портфеля – это делается по крупным кредитным лотам, тогда как МСП не задействуют этот «схематоз» и там взрывное ухудшение.
Также крупные компании под воздействием специфичных льготных кредитов или под госгарантии (особенно среди ВПК и системообразующих отраслей), т.е. там сложно оценить качества кредитного портфеля.
По валютным кредитам. Особого смещения доли валютного фондирования нет, хотя наблюдается тенденция роста спроса на валютные кредиты последние 3 месяца.
Текущая доля валютных кредитов и облигаций с исключением валютной переоценки составляет 12.6%, за 9м25 – 12.4%, в 2024 – 15%, в 2023 – 17.5%, в 2022 – 23.5%, а в 2021 – 28.2%.
Однако, интенсивно растет фондирование в валютных облигациях – 1 трлн руб с начала года на сен.25, где весь прирост был с мая по сентябрь, что вдвое выше, чем в 2024 и на порядок выше, чем в 2023.
Зона риска сейчас - малый и средний бизнес, + отдельные компании среди крупных (уголь, девелоперы).
2🤔107❤46👍32😢7🤯6🙏6😱4🤬4💯3👌1🤡1
Оценка качества кредитного портфеля физлиц в России
По необеспеченным потребительским кредитам фиксируется взрывное ухудшение качества кредитов, сопоставимое с кризисом 2009 и 2015-2016.
Идет 13 месяц непрерывного ухудшения качества кредитов, достигая 12.9% на сен.25 vs 7.9% в сен.24, за 9м25 в среднем 11.5%, в 2024 – 8%, 2023 – 8.4%, 2021 – 8.4%, а в кризис 2015-2016 на максимуме было 16.7% в моменте, а в среднем 15.5% за 2015-2016, тогда как в кризис 2009 было зафиксировано 12.9%.
Объем реструктуризаций достигает 3.6% (максимум с 2015) от портфеля по средней за 6м vs 1.7% в 2024, 1.4% в 2023 и всего 1.3% в 2022.
Аномально высокая доля «трудноизвлекаемых» кредитов с просрочкой более 80 дней – 3.9% в 3кв25, за последние 6м – 4.3%, тогда как нормальный показатель составляет 0.4% до 2022, а до цикла ужесточения в 2023 было 0.8% и около 2% в 2023-2024 до эскалации ужесточения в конце 2024.
Ужесточение стандартов выдачи и обслуживания необеспеченных кредитов и стандартных лимитов по кредитным картам приводит к тому, что население перемещается в микрозаймы, плюс на этом фоне растут микрозаймы у маркетплейсов и у многих банков в рамках льготных программ с беспроцентным периодом. Банки наращивают долю в МФО до 41.1% vs 33.3% годом ранее.
Объем микрозаймов вырос на 40% за год, достигая 4.6% в совокупном портфеле необеспеченных кредитов.
Для ограничения рисков регуляторного арбитража и снижения рисков перетока Банк России устанавливает для банков и МФО единые ограничения в рамках МПЛ + корректировки отсечения по доходам заемщика.
Банк России последовательно с 2023 года ужесточал нормативы и требования по выдачи кредитов, что привело к радикальному (в несколько раз) снижению доли кредитов, выданных заемщикам с высокой долговой нагрузкой. Например, если в 2020-2022 почти треть кредитов выдавалась заемщикам с ПДН 80+, теперь таких только 2%, а доля кредитов для перегруженных долгами заемщиков снизилась с 38% на пике в 2022 до 10% сейчас.
Эти меры позволили избежать неконтролируемой эскалации невозвратов на фоне ухудшения ситуации с денежными потоками у населения при высокой стоимости обслуживания долга.
Благодаря действию макропруденциальных надбавок на сен.25 был сформирован значительный макропруденциальный буфер капитала – 7.1% (в начале 2023 было около 1%, а размер макропруденциального буфера вырос в 8 раз с 100 млрд в начале 2023 до 800 млрд за последние 12м) от портфеля необеспеченных потребительских кредитов за вычетом резервов на возможные потери.
Достаточность капитала находится на высоком уровне – 12.9% при относительно высокой прибыли, чем удается абсорбировать кредитные потери без ущерба для кредитования экономики.
Любопытно, что при всем этом коэффициент обслуживания долга по кредитам физлиц по расчетам Банка России, снизился до 9.4% - минимум с начала 2019 года, а максимум был в 1кв22 на уровне 12.1%
В структуре коэффициент автокредиты – 1% (максимум за все время), ипотека – 2% vs 2.5% на пике в 1кв22, кредитные карты – 2.9% vs 3.1% на пике в 1кв25, кредиты наличными – 3.5% vs 6.3% на максимуме.
Этот индикатор отражает, какую часть своих совокупных доходов граждане в среднем тратят на платежи по кредитам. Снижение связано с сильнейшим замедлением кредитования за 10 лет на фоне интенсивного роста номинальных доходов.
В целом, ситуация контролируема, несмотря на рост просрочек по необеспеченным кредитам, за счет накопленного буфера устойчивости.
По необеспеченным потребительским кредитам фиксируется взрывное ухудшение качества кредитов, сопоставимое с кризисом 2009 и 2015-2016.
Идет 13 месяц непрерывного ухудшения качества кредитов, достигая 12.9% на сен.25 vs 7.9% в сен.24, за 9м25 в среднем 11.5%, в 2024 – 8%, 2023 – 8.4%, 2021 – 8.4%, а в кризис 2015-2016 на максимуме было 16.7% в моменте, а в среднем 15.5% за 2015-2016, тогда как в кризис 2009 было зафиксировано 12.9%.
Объем реструктуризаций достигает 3.6% (максимум с 2015) от портфеля по средней за 6м vs 1.7% в 2024, 1.4% в 2023 и всего 1.3% в 2022.
Аномально высокая доля «трудноизвлекаемых» кредитов с просрочкой более 80 дней – 3.9% в 3кв25, за последние 6м – 4.3%, тогда как нормальный показатель составляет 0.4% до 2022, а до цикла ужесточения в 2023 было 0.8% и около 2% в 2023-2024 до эскалации ужесточения в конце 2024.
Ужесточение стандартов выдачи и обслуживания необеспеченных кредитов и стандартных лимитов по кредитным картам приводит к тому, что население перемещается в микрозаймы, плюс на этом фоне растут микрозаймы у маркетплейсов и у многих банков в рамках льготных программ с беспроцентным периодом. Банки наращивают долю в МФО до 41.1% vs 33.3% годом ранее.
Объем микрозаймов вырос на 40% за год, достигая 4.6% в совокупном портфеле необеспеченных кредитов.
Для ограничения рисков регуляторного арбитража и снижения рисков перетока Банк России устанавливает для банков и МФО единые ограничения в рамках МПЛ + корректировки отсечения по доходам заемщика.
Банк России последовательно с 2023 года ужесточал нормативы и требования по выдачи кредитов, что привело к радикальному (в несколько раз) снижению доли кредитов, выданных заемщикам с высокой долговой нагрузкой. Например, если в 2020-2022 почти треть кредитов выдавалась заемщикам с ПДН 80+, теперь таких только 2%, а доля кредитов для перегруженных долгами заемщиков снизилась с 38% на пике в 2022 до 10% сейчас.
Эти меры позволили избежать неконтролируемой эскалации невозвратов на фоне ухудшения ситуации с денежными потоками у населения при высокой стоимости обслуживания долга.
Благодаря действию макропруденциальных надбавок на сен.25 был сформирован значительный макропруденциальный буфер капитала – 7.1% (в начале 2023 было около 1%, а размер макропруденциального буфера вырос в 8 раз с 100 млрд в начале 2023 до 800 млрд за последние 12м) от портфеля необеспеченных потребительских кредитов за вычетом резервов на возможные потери.
Достаточность капитала находится на высоком уровне – 12.9% при относительно высокой прибыли, чем удается абсорбировать кредитные потери без ущерба для кредитования экономики.
Любопытно, что при всем этом коэффициент обслуживания долга по кредитам физлиц по расчетам Банка России, снизился до 9.4% - минимум с начала 2019 года, а максимум был в 1кв22 на уровне 12.1%
В структуре коэффициент автокредиты – 1% (максимум за все время), ипотека – 2% vs 2.5% на пике в 1кв22, кредитные карты – 2.9% vs 3.1% на пике в 1кв25, кредиты наличными – 3.5% vs 6.3% на максимуме.
Этот индикатор отражает, какую часть своих совокупных доходов граждане в среднем тратят на платежи по кредитам. Снижение связано с сильнейшим замедлением кредитования за 10 лет на фоне интенсивного роста номинальных доходов.
В целом, ситуация контролируема, несмотря на рост просрочек по необеспеченным кредитам, за счет накопленного буфера устойчивости.
1👍125🤔70❤49🙏6🔥4👎3😁3🤬3💯3🤯1🤡1
Ухудшение качества обслуживания ипотеки в России
Устойчивость ипотечного рынка в России обуславливается исключительно действиями государства в разрезе субсидируемой ипотеки.
В 2025 году средняя доля льготного ИЖК составила рекордные 84% в структуре выдачи ипотеки vs 73% в 2024, 62% в 2023, 48% в 2022, 29% в 2020-2021 и всего 5% в 2019 до введения программ льготного ИЖК.
Льготная ипотека по факту искажает ценообразование, приводя к снижению доступности жилья.
С 2017 по 2019, когда не было льготной ипотеки отношение средних цен в новостройках к вторичному жилью составило 1.09 по Росстату и 1.2 по Сбериндексу, в 2020-2021, когда начали интегрировать льготную ИЖК, но не так агрессивно с 2023, первичка «разъехалась» в ценах с вторичкой до 1.22 по Росстату и 1.31 по Сбериндексу.
В 2022-2023 расширение спреда продолжилось до 1.34 и 1.47 соответственно, а с 2024 уже 1.57 и 1.51, тогда как в 3кв25 – 1.61 и 1.51 соответственно.
Таким образом, на конец 2025 в сравнении с 2017-2019 дифференциал цен вырос в 1.48 раза по Росстату и 1.26 раза по Сбериндексу.
По индексу доступности по первичному рынку в 2017-2019 коэффициент был 34.1, а по вторичному рынку – 33.1, а на сен.25 коэффициент снизился до 16.5 по ипотеке для первичного рынка и 19.6 для вторичного рынка. Здесь двойной удар в виде роста цен выше темпов роста доходов при рекордно высоких ставках по ипотеке.
В отчете Банка России были интересные данные, что продажи строящегося жилья за 10 месяцев 2025 в стоимостном выражении составили 3.8 трлн руб и сопоставимы с показателями предыдущих 2 лет, когда наблюдался ажиотажный спрос (3.8–3.9 трлн за 10 месяцев в 2023–2024), т.е. в годом выражении продажи первички доходят до 4.7-5 трлн руб.
Ухудшается платежная дисциплина по ипотеке. Общее количество ипотечных кредитов с просрочкой более 90 дней впервые достигла 1% в 3кв25 vs 0.86% в 2кв25 и 0.7% в 1кв25, в 2024 – в среднем 0.38% с тенденцией на ежеквартальное увеличение, а в 2023 – 0.17%.
По льготной массовой ипотеке просрочки выше (1.76% - максимум с 2022) по сравнению с рыночной ипотекой (1.43% - также максимум с 2022).
Ухудшается обслуживание кредитов, выданных в период ажиотажного спроса перед закрытием массовой льготной программы, когда стандарты выдачи были ослаблены.
Ухудшение ситуации с рыночной ипотекой. Заемщики, взявшие кредиты в период пиковых ставок, испытывают повышенную долговую нагрузку.
Банк России с 2023 года также, как и для необеспеченного кредитования, ужесточает нормативные требования для ипотеки.
• Доля кредитов с ПДН более 80% в сегменте строящегося жилья (ДДУ) в 3кв25 снизилась до 3% против 6% годом ранее (в 2023 г. – порядка 46%).
• В сегменте готового жилья доля таких кредитов составила 9% (в 2023 – около 48%).
• Выдачи с низким первоначальным взносом (менее 20%) с начала 2025 в сегменте строящегося жилья составляли менее 2% (в 2023 – более 60%), а в сегменте готового жилья – менее 13% (в 2023 – свыше 45%).
Действие МПН позволило банкам сформировать макропруденциальный буфер по ипотеке в размере 1.5% от портфеля за вычетом резервов на возможные потери на 01.10.2025, но с начала 2025 трижды смягчал требования в связи с наличие буфера капитала и снижения доли рисковых кредитов в выдачи.
В отличие от потребительских кредитов, где идет взрывное ухудшение качества кредитов, сопоставимое с кризисом 2009, по ИЖК все относительно стабильно, но ползучее ухудшение присутствует.
Объем начала строительства жилья составил 4.11 млн кв.м за месяц в окт.25 (максимум с дек.24, тогда как минимум был в июл.25 - 3.09 млн кв.м), за 10м25 - 33.8 млн кв.м vs 42.4 млн кв.м за 10м24, 38.9 млн кв.м за 10м23, 36 млн кв.м за 10м22.
Устойчивость ипотечного рынка в России обуславливается исключительно действиями государства в разрезе субсидируемой ипотеки.
В 2025 году средняя доля льготного ИЖК составила рекордные 84% в структуре выдачи ипотеки vs 73% в 2024, 62% в 2023, 48% в 2022, 29% в 2020-2021 и всего 5% в 2019 до введения программ льготного ИЖК.
Льготная ипотека по факту искажает ценообразование, приводя к снижению доступности жилья.
С 2017 по 2019, когда не было льготной ипотеки отношение средних цен в новостройках к вторичному жилью составило 1.09 по Росстату и 1.2 по Сбериндексу, в 2020-2021, когда начали интегрировать льготную ИЖК, но не так агрессивно с 2023, первичка «разъехалась» в ценах с вторичкой до 1.22 по Росстату и 1.31 по Сбериндексу.
В 2022-2023 расширение спреда продолжилось до 1.34 и 1.47 соответственно, а с 2024 уже 1.57 и 1.51, тогда как в 3кв25 – 1.61 и 1.51 соответственно.
Таким образом, на конец 2025 в сравнении с 2017-2019 дифференциал цен вырос в 1.48 раза по Росстату и 1.26 раза по Сбериндексу.
По индексу доступности по первичному рынку в 2017-2019 коэффициент был 34.1, а по вторичному рынку – 33.1, а на сен.25 коэффициент снизился до 16.5 по ипотеке для первичного рынка и 19.6 для вторичного рынка. Здесь двойной удар в виде роста цен выше темпов роста доходов при рекордно высоких ставках по ипотеке.
В отчете Банка России были интересные данные, что продажи строящегося жилья за 10 месяцев 2025 в стоимостном выражении составили 3.8 трлн руб и сопоставимы с показателями предыдущих 2 лет, когда наблюдался ажиотажный спрос (3.8–3.9 трлн за 10 месяцев в 2023–2024), т.е. в годом выражении продажи первички доходят до 4.7-5 трлн руб.
Ухудшается платежная дисциплина по ипотеке. Общее количество ипотечных кредитов с просрочкой более 90 дней впервые достигла 1% в 3кв25 vs 0.86% в 2кв25 и 0.7% в 1кв25, в 2024 – в среднем 0.38% с тенденцией на ежеквартальное увеличение, а в 2023 – 0.17%.
По льготной массовой ипотеке просрочки выше (1.76% - максимум с 2022) по сравнению с рыночной ипотекой (1.43% - также максимум с 2022).
Ухудшается обслуживание кредитов, выданных в период ажиотажного спроса перед закрытием массовой льготной программы, когда стандарты выдачи были ослаблены.
Ухудшение ситуации с рыночной ипотекой. Заемщики, взявшие кредиты в период пиковых ставок, испытывают повышенную долговую нагрузку.
Банк России с 2023 года также, как и для необеспеченного кредитования, ужесточает нормативные требования для ипотеки.
• Доля кредитов с ПДН более 80% в сегменте строящегося жилья (ДДУ) в 3кв25 снизилась до 3% против 6% годом ранее (в 2023 г. – порядка 46%).
• В сегменте готового жилья доля таких кредитов составила 9% (в 2023 – около 48%).
• Выдачи с низким первоначальным взносом (менее 20%) с начала 2025 в сегменте строящегося жилья составляли менее 2% (в 2023 – более 60%), а в сегменте готового жилья – менее 13% (в 2023 – свыше 45%).
Действие МПН позволило банкам сформировать макропруденциальный буфер по ипотеке в размере 1.5% от портфеля за вычетом резервов на возможные потери на 01.10.2025, но с начала 2025 трижды смягчал требования в связи с наличие буфера капитала и снижения доли рисковых кредитов в выдачи.
В отличие от потребительских кредитов, где идет взрывное ухудшение качества кредитов, сопоставимое с кризисом 2009, по ИЖК все относительно стабильно, но ползучее ухудшение присутствует.
Объем начала строительства жилья составил 4.11 млн кв.м за месяц в окт.25 (максимум с дек.24, тогда как минимум был в июл.25 - 3.09 млн кв.м), за 10м25 - 33.8 млн кв.м vs 42.4 млн кв.м за 10м24, 38.9 млн кв.м за 10м23, 36 млн кв.м за 10м22.
2👍108🤔72❤36🔥11😁7😢7🤬4👎2🤯2😱2🙏2
Мало кто представляет, что на самом деле ждет Россию и мир в 2026...
Решения, которые тянулись годами — будут приняты в ближайшие недели. И снова многие будут очень удивлены.
Чтобы не быть в их числе — лучше читать источники, проверенные временем. Хороший пример — канал Мультипликатор.
Его автор уже давно рассказал про план Трампа, точно предсказал начало и логику переговоров, стабильно давал верные прогнозы по доллару и реакции элит.
А сейчас он объясняет, какие события ждут россиян уже к Новому году и какие сценарии обсуждаются в кулуарах...
Подпишитесь на этот ценный канал, чтобы тоже знать об этом и быть готовым заранее!
Решения, которые тянулись годами — будут приняты в ближайшие недели. И снова многие будут очень удивлены.
Чтобы не быть в их числе — лучше читать источники, проверенные временем. Хороший пример — канал Мультипликатор.
Его автор уже давно рассказал про план Трампа, точно предсказал начало и логику переговоров, стабильно давал верные прогнозы по доллару и реакции элит.
А сейчас он объясняет, какие события ждут россиян уже к Новому году и какие сценарии обсуждаются в кулуарах...
Подпишитесь на этот ценный канал, чтобы тоже знать об этом и быть готовым заранее!
1🤡149👍77🤣21👎13❤8🔥4🤬4❤🔥3👌3🥱2😢1
Фундаментальные ограничения современных LLMs
Интересное интервью Ильи Суцкевера (бывшего главного инженера OpenAI, а ныне основателя Safe Superintelligence). Это его первое публичное выступление с декабря 2024, но учитывая, что он является архитектором современного ядра LLM, его взгляд ценен.
Идеи Ильи практически полностью пересекаются с моими концепциями, высказанными в нескольких циклах материалов по ИИ в этом году, поэтому перескажу, по сути, собственные идеи словами Ильи, но с более научным обрамлением.
Главный тезис Ильи заключается в том, что период с 2012 по 2020 годы был «эпохой исследований», которая сменилась «эпохой масштабирования» (2020–2025), когда доминировал простой рецепт: больше данных + больше вычислений = лучше результат.
Дополню от себя: это выражается в экспоненциальном росте капитальных расходов, достигающих 400 млрд в 2025 среди бигтехов США и зеркалировании выручки у производителей оборудования для развертывания ИИ.
• Предел данных: предварительное обучение (pre-training) упирается в конечность доступных данных. Простое увеличение масштаба модели больше не дает прежнего качественного скачка.
• Смена парадигмы: если раньше вопрос «на каких данных учить?» не стоял (ответ был «на всех»), то теперь, особенно в RL (обучении с подкреплением), отбор данных и создание среды становятся критическими задачами.
• Возврат к исследованиям: индустрия снова входит в фазу, где прогресс зависит не столько от размера кластера, сколько от новых идей и алгоритмов.
Чрезвычайно неэффективное использование вычислительных мощностей:
🔘 Современная архитектура трансформеров (Илья входил в число ключевых инженеров, которые преобразовали прототип архитектуры в текущую конфигурацию LLMs) была создана в 2017 на всего двух чипах в эквиваленте Blackwell, сейчас ИИ фабрики требуют миллионов чипов.
🔘 Современные модели, несмотря на огромные объемы обучения, обобщают знания значительно хуже людей – им требуются миллионы и миллиарды примеров, чтобы совершать элементарные операции, где у людей уходят часы (10 часов практики, чтобы научиться водить машину у человека на базовом уровни и десятки тысяч часов обучающих видео у моделей).
🔘 Pre-training – это статистическая проекция мира, созданная людьми. Модель не учится на реальности, она учится на текстовой проекции реальности, созданной людьми. Pre-training дает широту знаний, но не дает глубины физического понимания причинно-следственных связей. Поэтому модели галлюцинируют – у них нет «заземления» в реальности, только в статистике слов.
🔘 Чрезвычайная узконаправленность – LLMs демонстрируют выдающиеся результаты в формализованных и натреннированных задачах, но небольшое отклонение в сторону – модель сразу рассыпается, эффективность снижается (человек способен обеспечивать более эффективный трансфер опыта из одной дисциплины в другую, а LLM – нет).
🔘 Имитация компетентности – компании «надрачивают» бенчмарки, чтобы казаться сильнее, создавая инфоповоды (подтверждает мои опасения), бенчмарки больше не показательны. Это создает иллюзию интеллекта, которая рассыпается при смене контекста. «Ум» в тестах не всегда транслируется в надежность в реальных задачах.
🔘 Нет функции ценности по интерпретации Ильи. Для LLMs нужно дойти до конца итерации, чтобы оценить результат, тогда как человек за счет интуиций и композиции эмоций может заранее понимать неправильный путь решения.
Например, чувство дискомфорта или неуверенности возникает до завершения задачи, позволяя корректировать путь.
Если модель думала 100 или 1000 шагов и в конце ошиблась, весь этот вычислительный путь часто отбрасывается или маркируется как негативный, где огромная энергия тратится впустую, а человек намного раньше (в процессе решения) понимает ошибочность пути.
LLM могут генерировать правдоподобный текст, но не обладают внутренней «интуицией» о правильности направления рассуждений, пока не получат внешний фидбек.
Основное концептуальное ядро в интервью – уже уперлись в потолок, дальнейшее масштабирование неэффективно, необходимо снова возвращаться к алгоритмам. Продолжение следует…
Интересное интервью Ильи Суцкевера (бывшего главного инженера OpenAI, а ныне основателя Safe Superintelligence). Это его первое публичное выступление с декабря 2024, но учитывая, что он является архитектором современного ядра LLM, его взгляд ценен.
Идеи Ильи практически полностью пересекаются с моими концепциями, высказанными в нескольких циклах материалов по ИИ в этом году, поэтому перескажу, по сути, собственные идеи словами Ильи, но с более научным обрамлением.
Главный тезис Ильи заключается в том, что период с 2012 по 2020 годы был «эпохой исследований», которая сменилась «эпохой масштабирования» (2020–2025), когда доминировал простой рецепт: больше данных + больше вычислений = лучше результат.
Дополню от себя: это выражается в экспоненциальном росте капитальных расходов, достигающих 400 млрд в 2025 среди бигтехов США и зеркалировании выручки у производителей оборудования для развертывания ИИ.
• Предел данных: предварительное обучение (pre-training) упирается в конечность доступных данных. Простое увеличение масштаба модели больше не дает прежнего качественного скачка.
• Смена парадигмы: если раньше вопрос «на каких данных учить?» не стоял (ответ был «на всех»), то теперь, особенно в RL (обучении с подкреплением), отбор данных и создание среды становятся критическими задачами.
• Возврат к исследованиям: индустрия снова входит в фазу, где прогресс зависит не столько от размера кластера, сколько от новых идей и алгоритмов.
Чрезвычайно неэффективное использование вычислительных мощностей:
Например, чувство дискомфорта или неуверенности возникает до завершения задачи, позволяя корректировать путь.
Если модель думала 100 или 1000 шагов и в конце ошиблась, весь этот вычислительный путь часто отбрасывается или маркируется как негативный, где огромная энергия тратится впустую, а человек намного раньше (в процессе решения) понимает ошибочность пути.
LLM могут генерировать правдоподобный текст, но не обладают внутренней «интуицией» о правильности направления рассуждений, пока не получат внешний фидбек.
Основное концептуальное ядро в интервью – уже уперлись в потолок, дальнейшее масштабирование неэффективно, необходимо снова возвращаться к алгоритмам. Продолжение следует…
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍264❤73💯33🤔25🔥10👌6🤡5🤬3👎1🥱1🐳1
Фундаментальные ограничения современных LLMs (продолжение)
В коллаборации с ведущими учеными в LLMs (Ян Лекун и Илья Суцкевер) и на основе собственных концептуальных прототипов (1 и 2).
🔘 Нынешний хайп вокруг «AGI - универсального интеллекта», который якобы возникнет сам собой из триллионов транзисторов - это маркетинговый миф. AGI не достигается методом масштабирования, нужна другая архитектура.
🔘 Качественные данные конечны. Стратегия «просто добавить больше данных» (Scaling Era – куда бигтехи инвестируют сотни миллиардов) уперлась в потолок доступного человеческого контента.
Модели выходят на плато по эффективности, дальше неизбежная деградация в связи с «заражением» моделей синтетическими данными, сгенерированными нейросетями (обучение на синтетических данных).
Обучение моделей на данных, сгенерированных другими моделями, приводит к потере «хвостов распределения» (редких, но важных знаний) и усреднению реальности. Это математически неизбежная деградация дисперсии, ведущая к «цифровому инцесту» и вшитыми в процесс обучения галлюцинациям.
🔘 Убывающая отдача инвестиций. Каждая следующая итерация (после экспоненциального роста в начале) требует несоизмеримо больше ресурсов ради минимального прироста качества. В 2026 году этот застой станет очевидным, кульминация в следующем году.
🔘 Дальнейший прогресс только через физический мир. Текст имеет низкую пропускную способность по сравнению с визуальным опытом. LLM изучают статистические корреляции в описаниях мира, а не динамические связи физической реальности.
🔘 Современные модели не являются ИИ в широком смысле, т.к. не обладают механизмом самообучения, критерием истинности и необходимым пулом характеристик, проявляющим наличие интеллекта (чисто формально, свыше 90% человеческой популяции также не обладают интеллектом).
🔘 Текущие LLM технически можно обвязать внешними «агентами», планировщиками, инструментами и заставить выглядеть более разумными. Но ядро остаётся тем же: статистический предсказатель последовательностей, а не миро-ориентированный разум.
🔘 Необходим переход от статических корреляций к казуальным и причинно-следственным связям в условиях динамического мира с неустойчивыми и противоречивыми связями, не поддающимися формализации (переход от статики с замороженными весами к непрерывному дообучению).
🔘 Необходима модификация алгоритмов с авторегрессии (генерации следующего токена) к абстрактной симуляции мира и от пассивного наблюдения к активному взаимодействую с окружающим пространством.
🔘 Проблема современный нейросетей в том, что нет динамического создания новых связей в ответ на опыт. Нет цикла «действие → мир → наблюдение → обновление».
Отсутствие цикла «действие → ошибка → самокоррекция весов» в реальном времени с бесконечным циклом повторов и коррекций ошибок делает текущие модели «умными идиотами», запертыми в статической вселенной своих обучающих данных.
🔘 Концепция ИИ агентов неработоспособна. Почему? Без умения эффективно дробить задачи на подмодули и удерживать иерархию приоритетов, без наличия критерия истинности и без функционала самокоррекции, любой автономный агент неизбежно уйдет по неверной траектории в процессе итерации последовательности шагов.
Необходимо помнить про фундаментальные ограничения памяти и контекстного окна у LLMs, проблема стабильности и качества выходных токенов при расширении контекстного окна (склонность к галлюцинациям при перегруженной памяти).
LLM-ядро обеспечивает мощную аппроксимацию распределений и извлечение закономерностей, но без внешнего контура проверки/памяти/действий оно не даёт устойчивых свойств агентности: долговременных целей, причинной идентификации, надёжной самокоррекции.
Все это ставит текущую концепцию развитии ИИ крайне уязвимой с точки зрения способности возврата денежного потока – непропорционально много ресурсов в слишком неустойчивое равновесие и низкий прирост производительности.
На самом деле, восторженная презентация последних моделей оказалась не настолько блестящей, как было показано на рекламных слайдах. Все актуальные проблемы остались, скачка интеллекта не произошло.
В коллаборации с ведущими учеными в LLMs (Ян Лекун и Илья Суцкевер) и на основе собственных концептуальных прототипов (1 и 2).
Модели выходят на плато по эффективности, дальше неизбежная деградация в связи с «заражением» моделей синтетическими данными, сгенерированными нейросетями (обучение на синтетических данных).
Обучение моделей на данных, сгенерированных другими моделями, приводит к потере «хвостов распределения» (редких, но важных знаний) и усреднению реальности. Это математически неизбежная деградация дисперсии, ведущая к «цифровому инцесту» и вшитыми в процесс обучения галлюцинациям.
Отсутствие цикла «действие → ошибка → самокоррекция весов» в реальном времени с бесконечным циклом повторов и коррекций ошибок делает текущие модели «умными идиотами», запертыми в статической вселенной своих обучающих данных.
Необходимо помнить про фундаментальные ограничения памяти и контекстного окна у LLMs, проблема стабильности и качества выходных токенов при расширении контекстного окна (склонность к галлюцинациям при перегруженной памяти).
LLM-ядро обеспечивает мощную аппроксимацию распределений и извлечение закономерностей, но без внешнего контура проверки/памяти/действий оно не даёт устойчивых свойств агентности: долговременных целей, причинной идентификации, надёжной самокоррекции.
Все это ставит текущую концепцию развитии ИИ крайне уязвимой с точки зрения способности возврата денежного потока – непропорционально много ресурсов в слишком неустойчивое равновесие и низкий прирост производительности.
На самом деле, восторженная презентация последних моделей оказалась не настолько блестящей, как было показано на рекламных слайдах. Все актуальные проблемы остались, скачка интеллекта не произошло.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Spydell_finance
Фундаментальные ограничения современных LLMs
Интересное интервью Ильи Суцкевера (бывшего главного инженера OpenAI, а ныне основателя Safe Superintelligence). Это его первое публичное выступление с декабря 2024, но учитывая, что он является архитектором современного…
Интересное интервью Ильи Суцкевера (бывшего главного инженера OpenAI, а ныне основателя Safe Superintelligence). Это его первое публичное выступление с декабря 2024, но учитывая, что он является архитектором современного…
13👍225❤78🤔40🔥13💯13🐳6👏4🤯3🤬3👌3🥰1
Критерий истинности в LLMs
Важнейшая тема, которую несколько раз затрагивал, но не раскрывал подробно, буду устранять пробел в повествовании.
LLM - генератор токенов на статистическом распределении, т.е. «критерием истинности» в LLM является наиболее вероятный вектор распределения, где истина для машины – это не более, чем статистически доминирующий паттерн.
Критерий истинности для LLMs и критерий истинности для людей – это две разные сущности, которые часто не совпадают, хотя в большинстве случаев коррелируют.
В каждый момент времени для генерации очередного токена архитектура нейросетей выстроена таким образом, что всегда ищется вектор распределения, который статистически наиболее ожидаем в данном контексте через динамическую балансировку вероятностями.
Это означает, что контекст имеет значение, а из этого вытекает, что изначально неверный, ошибочный путь (ранее сформированная последовательность токенов) непрерывно экстраполируется в будущем (но об этом в других материалах), наследуя ошибки из-за отсутствия встроенного механизма самокоррекции.
Говоря математически, «Истина» в LLM – это математический оптимум функции вероятности в конкретном локальном контексте.
Для нейросети «правильный» ответ – это не тот, который соответствует физической реальности, а тот, который обладает наименьшей перплексией (наименьший статистическим выбросом) и наибольшим весом в финальном векторе распределения.
LLM – это машина, оптимизирующая когерентность (связность), а не соответствие фактам. Связи с реальностью в этом нет, есть только связь с накопленной статистикой прошлых текстов.
Как перевести на человеческий язык?
Если набор токенов «Париж» имеет вероятность 0.99 после выражения «Столица Франции — ...», это для модели абсолютная истина, но, если модуль обучать на контексте средневековья, где Земля – плоская, Солнце вращается вокруг Земли и еще сотни примеров антинаучных заблуждений, для LLM – истиной будет то, что Земля – плоская.
Это означает, что для LLMs правдой будет то, что встречается чаще всего. Соответственно, любой популярный нарратив в сети воспринимается, как истина вне зависимости от степени достоверности.
Из этого напрямую вытекает, что LLM усредняет и обобщает нарративы, а не ищет истину. Понятие «истина» математически не вшито в архитектуру LLMs
Чтобы добавить вариативность ответов, имитируя творчество и креатив, в архитектуру LLMs встроен цифровой шум в виде параметра Temperature, создавая искусственный вектор распределения, но не меняя фундаментального принципа.
Архитектурно (почти все LLMs построены по единому принципу) LLMs оптимизированы генерировать текст, который выглядит правильным для человека, нравится человеку, пытаясь вызвать положительный фидбэк.
• Популярные заблуждения (мифы, городские легенды, упрощения) часто имеют очень стройную, повторяющуюся структуру повествования.
• Сложная научная истина часто контринтуитивна, редко встречается и требует специфической терминологии.
Для исправления встроенного бага в систему существует концепция постобучения в виде RLHF (Reinforcement Learning from Human Feedback), т.е. обучение с учителем/подкреплением.
Иногда в процессе RLHF инженеры вручную правят популярные заблуждения и теории заговора к контринтуитивной и неприятной истине (с человеческой точки зрения).
Однако, зачастую, RLHF не учит модель новым фактам, а учит модель скрывать или приоритизировать уже имеющиеся знания в зависимости от того, что считается «хорошим» ответом по версии разработчиков. LLMs – по сути, тонкая настройка (fine-tuning) уже сформированной нейронной структуры.
RLHF учит, что можно говорить, а что нельзя и главное – как говорить (тональность, структура повествования, форматирование ответа, глубина раскрытия и т.д.), где навешиваются фильтры безопасности, цензуры, полезности. Именно на этот этапе LLMs учат «угождать» клиентам и быть полезным в задачах.
В процессе RLHF модель часто учится, что «хороший ответ» — это тот, который подтверждает убеждения пользователя, а не тот, который является объективной истиной.
Важнейшая тема, которую несколько раз затрагивал, но не раскрывал подробно, буду устранять пробел в повествовании.
LLM - генератор токенов на статистическом распределении, т.е. «критерием истинности» в LLM является наиболее вероятный вектор распределения, где истина для машины – это не более, чем статистически доминирующий паттерн.
Критерий истинности для LLMs и критерий истинности для людей – это две разные сущности, которые часто не совпадают, хотя в большинстве случаев коррелируют.
В каждый момент времени для генерации очередного токена архитектура нейросетей выстроена таким образом, что всегда ищется вектор распределения, который статистически наиболее ожидаем в данном контексте через динамическую балансировку вероятностями.
Это означает, что контекст имеет значение, а из этого вытекает, что изначально неверный, ошибочный путь (ранее сформированная последовательность токенов) непрерывно экстраполируется в будущем (но об этом в других материалах), наследуя ошибки из-за отсутствия встроенного механизма самокоррекции.
Говоря математически, «Истина» в LLM – это математический оптимум функции вероятности в конкретном локальном контексте.
Для нейросети «правильный» ответ – это не тот, который соответствует физической реальности, а тот, который обладает наименьшей перплексией (наименьший статистическим выбросом) и наибольшим весом в финальном векторе распределения.
LLM – это машина, оптимизирующая когерентность (связность), а не соответствие фактам. Связи с реальностью в этом нет, есть только связь с накопленной статистикой прошлых текстов.
Как перевести на человеческий язык?
Если набор токенов «Париж» имеет вероятность 0.99 после выражения «Столица Франции — ...», это для модели абсолютная истина, но, если модуль обучать на контексте средневековья, где Земля – плоская, Солнце вращается вокруг Земли и еще сотни примеров антинаучных заблуждений, для LLM – истиной будет то, что Земля – плоская.
Это означает, что для LLMs правдой будет то, что встречается чаще всего. Соответственно, любой популярный нарратив в сети воспринимается, как истина вне зависимости от степени достоверности.
Из этого напрямую вытекает, что LLM усредняет и обобщает нарративы, а не ищет истину. Понятие «истина» математически не вшито в архитектуру LLMs
Чтобы добавить вариативность ответов, имитируя творчество и креатив, в архитектуру LLMs встроен цифровой шум в виде параметра Temperature, создавая искусственный вектор распределения, но не меняя фундаментального принципа.
Архитектурно (почти все LLMs построены по единому принципу) LLMs оптимизированы генерировать текст, который выглядит правильным для человека, нравится человеку, пытаясь вызвать положительный фидбэк.
• Популярные заблуждения (мифы, городские легенды, упрощения) часто имеют очень стройную, повторяющуюся структуру повествования.
• Сложная научная истина часто контринтуитивна, редко встречается и требует специфической терминологии.
Для исправления встроенного бага в систему существует концепция постобучения в виде RLHF (Reinforcement Learning from Human Feedback), т.е. обучение с учителем/подкреплением.
Иногда в процессе RLHF инженеры вручную правят популярные заблуждения и теории заговора к контринтуитивной и неприятной истине (с человеческой точки зрения).
Однако, зачастую, RLHF не учит модель новым фактам, а учит модель скрывать или приоритизировать уже имеющиеся знания в зависимости от того, что считается «хорошим» ответом по версии разработчиков. LLMs – по сути, тонкая настройка (fine-tuning) уже сформированной нейронной структуры.
RLHF учит, что можно говорить, а что нельзя и главное – как говорить (тональность, структура повествования, форматирование ответа, глубина раскрытия и т.д.), где навешиваются фильтры безопасности, цензуры, полезности. Именно на этот этапе LLMs учат «угождать» клиентам и быть полезным в задачах.
В процессе RLHF модель часто учится, что «хороший ответ» — это тот, который подтверждает убеждения пользователя, а не тот, который является объективной истиной.
17👍234🤔67❤52💯22🔥18😁6🤬4🙏3👌2🥰1👏1
Руководитель строительства — это не просто надсмотрщик на объекте. Это человек, от которого зависит, будет ли сдан дом в срок и не развалится ли он через год.
Кто сам руководил хотя бы одним объектом, знает: тут тебе и графики, и сметы, и подрядчики, и технадзор, и заказчик с претензиями. Ошибся в одном — встал весь процесс.
Чтобы держать проект под контролем, нужна система. И понимание, как все должно работать — от планирования до сдачи объекта.
Для этого есть курс «Директор по строительству» от Академии Eduson. Он помогает не вариться в хаосе, а управлять процессами с головой.
Кому подойдет:
— специалисту с опытом в строительстве или прорабу, который хочет двигаться вверх
— руководителю проекта, который тянет все на себе
— смежнику, который хочет перейти в сферу строительства
— собственнику, который хочет роста прибыли и прогнозируемый результат
— 291 урок и 23 реальных кейса
— шаблоны и чек-листы, которые удобно использовать в работе, чтобы экономить время
— преподаватели из ПИК, ГК «Самолет» и DNS Development
— 365 дней поддержки личного куратора, а не чаты на 1000 человек
Приятный бонус: курс лицензирован, можно вернуть 13% через налоговый вычет. А если курс не подойдет, его можно обменять на аналогичный по стоимости в течение полугода.
Оставьте заявку с промокодом SPYDELL — получите скидку 65% и второй курс в подарок. Если хотите роста прибыли и прогнозируемый результат — вам сюда.
Реклама. ООО "Эдюсон", ИНН 7729779476, erid:2W5zFJbQHQt
Кто сам руководил хотя бы одним объектом, знает: тут тебе и графики, и сметы, и подрядчики, и технадзор, и заказчик с претензиями. Ошибся в одном — встал весь процесс.
Чтобы держать проект под контролем, нужна система. И понимание, как все должно работать — от планирования до сдачи объекта.
Для этого есть курс «Директор по строительству» от Академии Eduson. Он помогает не вариться в хаосе, а управлять процессами с головой.
Кому подойдет:
— специалисту с опытом в строительстве или прорабу, который хочет двигаться вверх
— руководителю проекта, который тянет все на себе
— смежнику, который хочет перейти в сферу строительства
— собственнику, который хочет роста прибыли и прогнозируемый результат
— 291 урок и 23 реальных кейса
— шаблоны и чек-листы, которые удобно использовать в работе, чтобы экономить время
— преподаватели из ПИК, ГК «Самолет» и DNS Development
— 365 дней поддержки личного куратора, а не чаты на 1000 человек
Приятный бонус: курс лицензирован, можно вернуть 13% через налоговый вычет. А если курс не подойдет, его можно обменять на аналогичный по стоимости в течение полугода.
Оставьте заявку с промокодом SPYDELL — получите скидку 65% и второй курс в подарок. Если хотите роста прибыли и прогнозируемый результат — вам сюда.
Реклама. ООО "Эдюсон", ИНН 7729779476, erid:2W5zFJbQHQt
3👍163❤63🤡48🔥40👌9👎3🐳2🤬1🥱1
Почему неустранимы галлюцинации LLMs?
Галлюцинации в LLM неустранимы (в рамках текущей авторегрессионной архитектуры трансформеров), потому что они являются не «багом» (ошибкой), а неотъемлемой «фичей» (свойством) работы вероятностного генератора.
Галлюцинации – это фундаментальная, архитектурная основа LLMs, их можно снизить, но нельзя устранить.
Галлюцинация возникает тогда, когда неверная последовательность токенов имеет высокую статистическую вероятность (например, из-за похожести на другие тексты). Модель не может «остановиться и проверить», потому что у неё нет модуля верификации и самокоррекции, есть только модуль генерации.
В фазе предварительного обучения (pre-training) для LLMs формируется машинная «картина мира» через компрессию, сжатие экзабайт данных различной модальности в гигабайты или терабайты весов (параметров).
Невозможно восстановить исходный сигнал без потерь, если коэффициент сжатия составляет 100:1 или 1000:1.
Когда вы спрашиваете точный факт, модель не достает его из базы данных (её нет). Она пытается реконструировать (аппроксимировать) информацию из размытых слепков весов.
Галлюцинация - это артефакт реконструкции. Как JPEG добавляет «шум» на краях объектов, так и LLM добавляет вымышленные детали там, где информация в весах «размыта» или недостаточно представлена. Устранить это можно только отказавшись от сжатия, но тогда модель перестанет быть генеративной.
Механизм, позволяющий модели галлюцинировать, – это тот же самый механизм, который позволяет ей быть креативной и обобщать.
Если из LLMs изъять «механизм бредогенерации», LLMs превратится в справочное бюро без возможности контекстного развертывания.
Не существует лимита галлюцинаций, LLMs никогда не остановится в потоке бреда, т.к. нет механизма обратной связи. Человек проверяет или расщепляет свои галлюцинации и заблуждения об объективную реальность через обратную связь с окружающей действительностью, через органы чувств и физический опыт.
LLM не имеет выхода в реальность. Для неё «реальность» — это то, что статистически вероятно в тексте. У неё нет внешнего референса для заземления и верификатора, чтобы сверить свой прогноз.
Точность генерации LLMs тем выше, чем выше экспозиция данных в обучающей выборке. Другими словами, чем чаще представлен факт, процесс или событие в обучающих данных (популярные факты, которые повторяются миллиарды раз: «Небо чаще всего голубое, а не красное», «2+2=4» и т.д.)
Но как только запрос касается редких знаний (специфический научный факт, малоизвестные события, альтернативный взгляд на события, биографии малоизвестного человека и т.д.), плотность данных падает.
• В этой зоне модель начинает заполнять пробелы наиболее вероятными шаблонами.
• Поскольку архитектура требует выдать ответ (complete the sequence), она вынуждена выдумать правдоподобное завершение, вместо того чтобы сказать «я не знаю» (если её специально жестко не натренировали на отказ, что тоже не всегда работает).
В LLMs относительно достоверно то, что имеет наибольшее представление в обучающих данных, но по мере снижения плотности данных – растут галлюцинации.
🔘 Репликация мусора и конфликт распределения данных. Изначально LLMs обучались на человеческих данных, которые в своей основе далеки от концептуальной чистоты, нашпигованны заблуждениями, ложными утверждениями и идиотизмом, где сам человек часто не может определить реальность от вымысла.
🔘 Запрет на «отказ от ответа». Почти все модели в посткалибровке обучаются быть полезными, поэтому «отрицательный ответ или отказ от ответа» не вознаграждается, что приводит к генерации ответа даже там, где ответа быть не может (LLM не может эффективно отказывать, т.к «сама не знает, что она не знает»).
Снижение галлюцинаций происходит либо на этапе RLHF, где инженерами вручную и очень избирательно устанавливаются «правильные» веса и факты, либо в процессе обращения к внешним источникам (интернет, базы данных, внешние источники данных, внешние верификаторы).
Галлюцинации в LLM неустранимы (в рамках текущей авторегрессионной архитектуры трансформеров), потому что они являются не «багом» (ошибкой), а неотъемлемой «фичей» (свойством) работы вероятностного генератора.
Галлюцинации – это фундаментальная, архитектурная основа LLMs, их можно снизить, но нельзя устранить.
Галлюцинация возникает тогда, когда неверная последовательность токенов имеет высокую статистическую вероятность (например, из-за похожести на другие тексты). Модель не может «остановиться и проверить», потому что у неё нет модуля верификации и самокоррекции, есть только модуль генерации.
В фазе предварительного обучения (pre-training) для LLMs формируется машинная «картина мира» через компрессию, сжатие экзабайт данных различной модальности в гигабайты или терабайты весов (параметров).
Невозможно восстановить исходный сигнал без потерь, если коэффициент сжатия составляет 100:1 или 1000:1.
Когда вы спрашиваете точный факт, модель не достает его из базы данных (её нет). Она пытается реконструировать (аппроксимировать) информацию из размытых слепков весов.
Галлюцинация - это артефакт реконструкции. Как JPEG добавляет «шум» на краях объектов, так и LLM добавляет вымышленные детали там, где информация в весах «размыта» или недостаточно представлена. Устранить это можно только отказавшись от сжатия, но тогда модель перестанет быть генеративной.
Механизм, позволяющий модели галлюцинировать, – это тот же самый механизм, который позволяет ей быть креативной и обобщать.
Если из LLMs изъять «механизм бредогенерации», LLMs превратится в справочное бюро без возможности контекстного развертывания.
Не существует лимита галлюцинаций, LLMs никогда не остановится в потоке бреда, т.к. нет механизма обратной связи. Человек проверяет или расщепляет свои галлюцинации и заблуждения об объективную реальность через обратную связь с окружающей действительностью, через органы чувств и физический опыт.
LLM не имеет выхода в реальность. Для неё «реальность» — это то, что статистически вероятно в тексте. У неё нет внешнего референса для заземления и верификатора, чтобы сверить свой прогноз.
Точность генерации LLMs тем выше, чем выше экспозиция данных в обучающей выборке. Другими словами, чем чаще представлен факт, процесс или событие в обучающих данных (популярные факты, которые повторяются миллиарды раз: «Небо чаще всего голубое, а не красное», «2+2=4» и т.д.)
Но как только запрос касается редких знаний (специфический научный факт, малоизвестные события, альтернативный взгляд на события, биографии малоизвестного человека и т.д.), плотность данных падает.
• В этой зоне модель начинает заполнять пробелы наиболее вероятными шаблонами.
• Поскольку архитектура требует выдать ответ (complete the sequence), она вынуждена выдумать правдоподобное завершение, вместо того чтобы сказать «я не знаю» (если её специально жестко не натренировали на отказ, что тоже не всегда работает).
В LLMs относительно достоверно то, что имеет наибольшее представление в обучающих данных, но по мере снижения плотности данных – растут галлюцинации.
Снижение галлюцинаций происходит либо на этапе RLHF, где инженерами вручную и очень избирательно устанавливаются «правильные» веса и факты, либо в процессе обращения к внешним источникам (интернет, базы данных, внешние источники данных, внешние верификаторы).
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍153❤60🔥34💯30🤔23🤡5👏3🙏3🥱2🤬1👌1
Архитектурная уязвимость – как создаются и как «думают» нейросети?
Картина мира у нейросетей проявляется в весах и параметрах. Вес – это число с плавающей запятой, которое показывает силу связей в графе, а параметр – это одна ячейка памяти с числом.
Если модель имеет 70 млрд параметров, где каждый параметр занимает 2 байта памяти, соответственно, вес модели – около 140 гигабайт.
Картина мира - это совокупность весов (состояние модели), а архитектура - это алгоритм, который позволяет входным данным взаимодействовать с этими весами для получения результата.
На запрос пользователя «Подбери мне наилучший смартфон» система разбивает предложение на токены, далее на числовые идентификаторы, далее идентификатор, связанный со смартфоном, ассоциируется с начальным вектором этого слова, вшитым в память в момент обучения.
Модель заранее выучила, что вектор «смартфон» должен быть математически близок к вектору «телефон» и далек от вектора «банан».
Теперь вектор слова «смартфон» начинает путешествие через слои нейросети (через 32 или 96 слоев). На каждом слое происходит два главных процесса, где перемножаются веса. Вектор «смартфон» взаимодействует с вектором «наилучшие характеристики», поглощая в себя информацию с вектором, имеющим наибольшую вероятность.
Теперь этот обогащенный вектор идет в блок «памяти». Здесь происходит умножение матрицы на вектор. Каждая колонка матрицы – это детектор какого-то признака.
При умножении на веса активизируются те нейроны, которые связаны с флагманскими моделями в соответствии с запросами.
Теперь «обогащенный» вектор передается в последнюю матрицу (Unembedding Matrix), где в соответствии с конфигурацией «обогащенного» вектора выстраивается иерархия приоритетов для генерации токенов выходного ответа.
В чем уязвимость?
🔘 Веса статичны и никогда не меняются до момента нового цикла предварительного обучения.
🔘 Любая попытка дообучения ломает всю архитектуру модели – система в принципе не обучаемая на уровне архитектуры. Вместо накопления знаний, как у биологических организмов, происходит интерференция и замещение.
🔘 В нейросети знания хранятся в распределенном виде. Факт «Париж — столица Франции» не записан в одном конкретном нейроне. Он «размазан» тонким слоем по миллионам параметров. В модель нельзя ни добавить, ни изъять точечные знания в отличия от обычной СУБД на SQL.
🔘 Чудовищная неэффективность. На вопрос «2*2=?», чтобы сгенерировать всего один токен, вычислительное ядро должно активизировать все параметры в системе, включая квантовую физику, теорию струн и историю Древнего Рима и так каждый раз, создавая несоизмеримую нагрузку на все вычислительные блоки. Сейчас решается через MoE (смесь экспертов).
🔘 Отсутствие долгосрочной памяти и накопления опыта. Биологический мозг обладает синаптической пластичностью: связи меняются прямо в момент мыслительного процесса, у LLM долговременная память отсутствует и никакого накопления опыта не может быть на уровне архитектуры. Каждый раз с чистого листа.
🔘 Проклятие размерности. Когда модель интерполирует (строит векторный путь) от понятия А к понятию Б, этот путь может случайно пролечь через эту «пустоту», где нет обучающих примеров в пространстве 4096 измерений. В этой пустоте поведение модели математически не определено, создавая неизбежные галлюцинации.
🔘 Ошибки обучения – программирование связей между десятками миллиардов параметров практически всегда приводят к ошибкам интерпретации.
🔘 Накопление ошибки точности. Сигнал проходит через десятки и сотни слоев. На каждом слое происходит умножение матриц. Микроскопическая ошибка округления (шум) на 1-м слое, умноженная на веса, может усилиться к 50-му слою и полностью исказить смысл вектора к конечному слою.
🔘 Несовершенство алгоритмов компрессии информации. Десятки и сотни триллионов токенов сжимаются в десятки миллиардов параметров с компрессией 1:1000 и более. Уникальные факты, случайные числа, конкретные даты, цитаты, адреса. Это шум с точки зрения статистики, что приводит к несовершенству интерпретации.
Текущая архитектура LLM крайне уязвима, ресурснозатратна и неэффективна.
Картина мира у нейросетей проявляется в весах и параметрах. Вес – это число с плавающей запятой, которое показывает силу связей в графе, а параметр – это одна ячейка памяти с числом.
Если модель имеет 70 млрд параметров, где каждый параметр занимает 2 байта памяти, соответственно, вес модели – около 140 гигабайт.
Картина мира - это совокупность весов (состояние модели), а архитектура - это алгоритм, который позволяет входным данным взаимодействовать с этими весами для получения результата.
На запрос пользователя «Подбери мне наилучший смартфон» система разбивает предложение на токены, далее на числовые идентификаторы, далее идентификатор, связанный со смартфоном, ассоциируется с начальным вектором этого слова, вшитым в память в момент обучения.
Модель заранее выучила, что вектор «смартфон» должен быть математически близок к вектору «телефон» и далек от вектора «банан».
Теперь вектор слова «смартфон» начинает путешествие через слои нейросети (через 32 или 96 слоев). На каждом слое происходит два главных процесса, где перемножаются веса. Вектор «смартфон» взаимодействует с вектором «наилучшие характеристики», поглощая в себя информацию с вектором, имеющим наибольшую вероятность.
Теперь этот обогащенный вектор идет в блок «памяти». Здесь происходит умножение матрицы на вектор. Каждая колонка матрицы – это детектор какого-то признака.
При умножении на веса активизируются те нейроны, которые связаны с флагманскими моделями в соответствии с запросами.
Теперь «обогащенный» вектор передается в последнюю матрицу (Unembedding Matrix), где в соответствии с конфигурацией «обогащенного» вектора выстраивается иерархия приоритетов для генерации токенов выходного ответа.
В чем уязвимость?
Текущая архитектура LLM крайне уязвима, ресурснозатратна и неэффективна.
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥187👍89🤔62❤45💯17🥱4🐳4🤬3🤡3🤯2🙏2
7 месяцев непрерывного безумия
В ноябре американский рынок закрылся вновь в положительной области – формально всего +0.13% по закрытию месяца и +0.08% по среднемесячным значениям.
Далее буду рассматривать только среднемесячные значения, чтобы учитывать производительность на всем периоде с учетом всех циклов роста и падения, а не только под закрытие месяца.
С мая по ноябрь был завершен седьмой месяц непрерывного, оглушительного и ошеломляющего пампа – средняя производительность 3.29% в месяц по среднемесячным показателям. За всю историю сильнее было только три раза: в 2020 (3.67%), в 2009 (3.65%) и в 1980 (4.02%).
Сам по себе цикл из семи месяцев подряд роста – очень редкий (происходит 1 раз за 13 лет!), такое было в 2017 (с очень низкими темпами в 1.44%), в 2009 (3.65%), 1995 (2.54%), 1980 (4.04%), 1958 (3.13%) и 1954 (2.78%).
Соответственно, рост 7 месяцев с мая по ноябрь с производительностью выше 3.3% был только дважды в истории: в 2009 (восстановление после разгрома кризиса 2008 с обвалом на 55%) и 1980 (восстановление после 10-летия забвения с исключительно низкой базы исторически низких мультипликаторов).
В 2025 не было обвала, если не считать «шутку» в виде незначительной коррекции буквально за три дня (основной обвал был с 3 по 7 апреля за три торговых дня) в феврале-апреле после двух лет «адового пампа» в 2023-2024.
С точки зрения формальной и непредвзятой статистики, за всю историю существования рынка не было аналогичного пампа в относительном сравнении, изначально находясь на высокой базе (в 2009 и 1980 база под рост была низкой). Перед ростом в 2009 и 1980 был затяжной обвал на протяжении многих месяцев (2009) или лет (1980).
За последние 80 лет среднемесячный рост рынка более, чем на 2% был в условиях V-образного роста экономики и/или корпоративных прибылей (взаимосвязанные процессы), и/или при фискальном и монетарном стимулировании (профицит ликвидности), и/или при изначально низкой базе сравнения (после сильного предшествующего обвала).
Сейчас не выполняется ни одно из условий. Экономика, как и корпоративные финансы стагнируют (растут только избранные бигтехи по известным причинам и ранее показывал в цикле статей), избыточная ликвидность опустошена и денежные рынки уже трясет от локальных сквизов дефицита ликвидности (также ранее подробно показывал), а никакого обвала в начале 2025 не было (рост на изначально высокой базе).
В моменте в конце октября 2025 рынок превышал по капитализации 72 трлн vs 49.8 трлн на внутридневном дне 7 апреля, т.е. вздрючили более, чем на 22 трлн в моменте.
Для понимания пропорции. На пике пузыря доткомов вся совокупная капитализация рынка в моменте была около 15 трлн, что дает более 10 трлн (ближе к 11 трлн) за весь цикл роста с конца 1994 (или 5.5 лет).
За 7 месяцев сейчас создали 22 трлн vs менее 11 трлн в пузырь доткомов на протяжении 5.5 лет или в 19 раз (!!!) интенсивнее в расчете на месяц или в годовом выражении.
Да, цены изменились, инфляция и все такое (смотря как считать, от 2000 или от 1995-2000), но в сопоставимом сравнении разрыв на порядок будет.
По всем уровням и слоям мультипликаторов (корпоративные, денежные, макроэкономические, я на протяжении всего 2025 делал исчерпывающие обоснования перекупленности) сейчас перекупленность зашкаливает сильно выше самых агрессивных максимумов пузыря 2000 и 2021.
Интегральная текущая перекупленность рынка по комплексу индикаторов примерно в 1.7 раза относительно базы сравнения 2017-2019 и примерно вдвое от периода низких ставок 2010-2019.
Уровень вздрюченности рынка (собственный индикатор, объединяющий рыночный сентимент, волатильность, все слои мультипликаторов, технический, численный и семантический анализ) в ноябре составил 97 vs исторического максимума на уровне 100 в окт.25 (практический предел – 100), 90 в дек.24, 81 в дек.21 (пик предыдущего пузыря) и всего 72 на пике пузыря доткомов при норме 45 для растущего рынка.
На последней неделе ноября был установлен абсолютный рекорд в истории торгов по пампу с учетом уровня рынка (близости к хаям) и меры перекупленности.
В ноябре американский рынок закрылся вновь в положительной области – формально всего +0.13% по закрытию месяца и +0.08% по среднемесячным значениям.
Далее буду рассматривать только среднемесячные значения, чтобы учитывать производительность на всем периоде с учетом всех циклов роста и падения, а не только под закрытие месяца.
С мая по ноябрь был завершен седьмой месяц непрерывного, оглушительного и ошеломляющего пампа – средняя производительность 3.29% в месяц по среднемесячным показателям. За всю историю сильнее было только три раза: в 2020 (3.67%), в 2009 (3.65%) и в 1980 (4.02%).
Сам по себе цикл из семи месяцев подряд роста – очень редкий (происходит 1 раз за 13 лет!), такое было в 2017 (с очень низкими темпами в 1.44%), в 2009 (3.65%), 1995 (2.54%), 1980 (4.04%), 1958 (3.13%) и 1954 (2.78%).
Соответственно, рост 7 месяцев с мая по ноябрь с производительностью выше 3.3% был только дважды в истории: в 2009 (восстановление после разгрома кризиса 2008 с обвалом на 55%) и 1980 (восстановление после 10-летия забвения с исключительно низкой базы исторически низких мультипликаторов).
В 2025 не было обвала, если не считать «шутку» в виде незначительной коррекции буквально за три дня (основной обвал был с 3 по 7 апреля за три торговых дня) в феврале-апреле после двух лет «адового пампа» в 2023-2024.
С точки зрения формальной и непредвзятой статистики, за всю историю существования рынка не было аналогичного пампа в относительном сравнении, изначально находясь на высокой базе (в 2009 и 1980 база под рост была низкой). Перед ростом в 2009 и 1980 был затяжной обвал на протяжении многих месяцев (2009) или лет (1980).
За последние 80 лет среднемесячный рост рынка более, чем на 2% был в условиях V-образного роста экономики и/или корпоративных прибылей (взаимосвязанные процессы), и/или при фискальном и монетарном стимулировании (профицит ликвидности), и/или при изначально низкой базе сравнения (после сильного предшествующего обвала).
Сейчас не выполняется ни одно из условий. Экономика, как и корпоративные финансы стагнируют (растут только избранные бигтехи по известным причинам и ранее показывал в цикле статей), избыточная ликвидность опустошена и денежные рынки уже трясет от локальных сквизов дефицита ликвидности (также ранее подробно показывал), а никакого обвала в начале 2025 не было (рост на изначально высокой базе).
В моменте в конце октября 2025 рынок превышал по капитализации 72 трлн vs 49.8 трлн на внутридневном дне 7 апреля, т.е. вздрючили более, чем на 22 трлн в моменте.
Для понимания пропорции. На пике пузыря доткомов вся совокупная капитализация рынка в моменте была около 15 трлн, что дает более 10 трлн (ближе к 11 трлн) за весь цикл роста с конца 1994 (или 5.5 лет).
За 7 месяцев сейчас создали 22 трлн vs менее 11 трлн в пузырь доткомов на протяжении 5.5 лет или в 19 раз (!!!) интенсивнее в расчете на месяц или в годовом выражении.
Да, цены изменились, инфляция и все такое (смотря как считать, от 2000 или от 1995-2000), но в сопоставимом сравнении разрыв на порядок будет.
По всем уровням и слоям мультипликаторов (корпоративные, денежные, макроэкономические, я на протяжении всего 2025 делал исчерпывающие обоснования перекупленности) сейчас перекупленность зашкаливает сильно выше самых агрессивных максимумов пузыря 2000 и 2021.
Интегральная текущая перекупленность рынка по комплексу индикаторов примерно в 1.7 раза относительно базы сравнения 2017-2019 и примерно вдвое от периода низких ставок 2010-2019.
Уровень вздрюченности рынка (собственный индикатор, объединяющий рыночный сентимент, волатильность, все слои мультипликаторов, технический, численный и семантический анализ) в ноябре составил 97 vs исторического максимума на уровне 100 в окт.25 (практический предел – 100), 90 в дек.24, 81 в дек.21 (пик предыдущего пузыря) и всего 72 на пике пузыря доткомов при норме 45 для растущего рынка.
На последней неделе ноября был установлен абсолютный рекорд в истории торгов по пампу с учетом уровня рынка (близости к хаям) и меры перекупленности.
3👍176❤41🤔24🔥17😁16💯10🥱9🙏6🤬2🤡2🤣1
❗️СРОЧНЫЙ НАБОР НА ОБУЧЕНИЕ ТРЕЙДИНГУ НА БИРЖЕ
Можно годами наращивать капитал на вкладах или долгосрочных инвестициях, чтобы через 10–15 лет цифры на счёте хоть как-то приумножились.
А можно изучить правила биржевой торговли и заработать 50-100 тысяч в уже в этом месяце
И не важно, падает рынок или растет.
Диана Маркина - трейдер и инвестор с 8-летним опытом только за 2024 год заработала более 3,5 млн ₽ на бирже, а сейчас делится своей системой абсолютно бесплатно.
И это не про везение или удачу.
Это про системную работу с чёткими правилами, где можно начать даже с 5 000 рублей и постепенно наращивать капитал.
Лучше о ней расскажут результаты её учеников:
Виталий А. заработал 177.000₽ за 2 недели к вложенным 🚀
Галина С. за 3 месяца активной торговли увеличила свой депозит с 321 344р до 748960р на сделках по газу.
Мария В. с депозита 100.000₽ заработала 34.000₽ чистыми за неделю.
За 2 дня на её бесплатном обучении вы получите:
— пошаговый алгоритм открытия и закрытия сделки
— на что смотреть и как анализировать графики, рынки.
— как оценивать и контролировать риски
— как справляться с собственными эмоциями во время торговли.
ВСЁ ЧЁТКО, ПОНЯТНО И БЕЗ ЛИШНЕЙ ВОДЫ
И самое главное - вас ждет практика на уникальном тренажере, где можно отточить навыки торговли и протестировать свою стратегию на реальных сделках, не потратив при этом ни рубля
Мест всего 14, поэтому возьмут не всех
➡️Успейте записаться бесплатно
Можно годами наращивать капитал на вкладах или долгосрочных инвестициях, чтобы через 10–15 лет цифры на счёте хоть как-то приумножились.
А можно изучить правила биржевой торговли и заработать 50-100 тысяч в уже в этом месяце
И не важно, падает рынок или растет.
Диана Маркина - трейдер и инвестор с 8-летним опытом только за 2024 год заработала более 3,5 млн ₽ на бирже, а сейчас делится своей системой абсолютно бесплатно.
И это не про везение или удачу.
Это про системную работу с чёткими правилами, где можно начать даже с 5 000 рублей и постепенно наращивать капитал.
Лучше о ней расскажут результаты её учеников:
Виталий А. заработал 177.000₽ за 2 недели к вложенным 🚀
Галина С. за 3 месяца активной торговли увеличила свой депозит с 321 344р до 748960р на сделках по газу.
Мария В. с депозита 100.000₽ заработала 34.000₽ чистыми за неделю.
За 2 дня на её бесплатном обучении вы получите:
— пошаговый алгоритм открытия и закрытия сделки
— на что смотреть и как анализировать графики, рынки.
— как оценивать и контролировать риски
— как справляться с собственными эмоциями во время торговли.
ВСЁ ЧЁТКО, ПОНЯТНО И БЕЗ ЛИШНЕЙ ВОДЫ
И самое главное - вас ждет практика на уникальном тренажере, где можно отточить навыки торговли и протестировать свою стратегию на реальных сделках, не потратив при этом ни рубля
Мест всего 14, поэтому возьмут не всех
➡️Успейте записаться бесплатно
1🤡149👍60🤣22🤬11❤5👎3🔥2🤔2😁1😢1🥱1
Война на истощение - на кого поставить в битве ИИ?
Если среди американских производителей, я бы поставил на Google и объясню почему.
▪️ Ресурсы определяют долгосрочную устойчивость – Google имеет колоссальный операционный денежный поток в 150 млрд долларов в год, который может без потери стратегической устойчивости отгружать в «плантации ИИ фабрик», чего не может себе позволить OpenAI, Anthropic и xAI, сидящие на подсосе у венчурных инвесторов.
▪️ Мощнейшая инженерная школа DeepMind (практически все ведущие ученые в LLM являются выходцами из DeepMind). Работают медленнее и менее рисково, чем стартапы, но зато системно и последовательно.
▪️ Общемировая корпоративная и потребительская клиентская база в несколько миллиардов уникальных пользователей, удерживая через развитую сеть цифровых сервисов Google на всех уровнях (от развлекательных, поисковых, навигационных до бизнес сервисов) и слоях, платформах (мобильные, web, PC, серверные и IDE среды).
▪️ Full-stack платформа: собственное железо, которое выкупает само у себя по себестоимости (Google производит TPU Trillium / v6e) + имеет развитые облачные технологии Google Cloud Platform (GCP) + среда разработки Vertex AI и Google AI Studio с развитыми библиотеками и фреймфорками (Project IDX, Kotlin, Firebase Genkit и т.д.) + уникальный поисковый движок Google Search, платформу Youtube для сбора данных, дата-сетов и медиа трендов.
▪️ Индустриальный стандарт в WEB технологиях: архитектура Chromium, на котором базируются все современные веб браузеры и сам браузер Chrome с доминирующей рыночной долей, позволяющий отслеживать пользовательские предпочтения, вкусы, запросы и тренды во всех странах, всех возрастов и социальных групп (феноменальный дата сет).
▪️ Корпус данных и индексируемый набор данных последние 20 лет. Сейчас ни одна компания в мире не имеет настолько емкого и обширного доступа к текстовому и медиа контенту, как Google. Пока OpenAI третируют по судам из-за нелицензированного использованных данных многих веб-изданий, Google уже давно проиндексировали практически ВЕСЬ интернет и успешно кэшировали данные.
Практически все, что когда-либо было передано или написано в публичном пространстве – уже знает Google и хранит на специальных серверах. Теперь задача правильно все эти данные извлечь и разместить.
Эти уникальные характеристики и ресурсное обеспечение позволит Google доминировать (финансы, инженеры, платформа, датасеты, общемировая клиентская база и сквозная интеграция ИИ сервисов), здесь любой компании сложно перехватить лидерство.
Данные особо важны.
Gemini 3 обучалась, по моим оценкам (на основе данных обучения предыдущих моделей и аппроксимации с учетом расширенной мультимодальности), на 50-70 трлн токенов данных (большая часть видео-контент, где у Google абсолютное преимущество за счет Youtube) или почти 230 Терабайт чистого текста.
Какое количество качественных данных обучили в Gemini 3 – неизвестно, но сейчас вся мировая емкость интернета оценивается в следующей пропорции:
• Научная, техническая и специализированная литература всех дисциплин – 2 трлн токенов
• Научные статьи всех специальностей – 0.7 трлн токенов
• Мировая художественная литература всех жанров и времен – 3 трлн токенов
• Образовательная литература, методички – 1 трлн токенов
• Прочая литература, в том числе развлекательных – 3.5 трлн токенов среди относительно качественных
• Энциклопедии, справочники – 0.2 трлн токенов
• Код (в основном GitHub, StackOverflow с учетом техдокументации) – 2 трлн токенов среди относительно качественного кода
• Патенты, техническая документация, стандарты, законы – 2-2.5 трлн токенов.
Относительно качественный пласт данных оценивается около 15 трлн токенов за всю историю человечества, где качественных данных и источников не более 5-10%.
Цифровые новости, блоги и аналитические статьи около 40-45 трлн токенов, плюс еще 200-220 трлн емкость мировых соцсетей в публичной части, большая часть (свыше 99.8%) из которых скам, срач, копипасты, репосты, SEO-мусор.
Все это без медиа контента (графика, аудио, видео), только текст.
Если среди американских производителей, я бы поставил на Google и объясню почему.
▪️ Ресурсы определяют долгосрочную устойчивость – Google имеет колоссальный операционный денежный поток в 150 млрд долларов в год, который может без потери стратегической устойчивости отгружать в «плантации ИИ фабрик», чего не может себе позволить OpenAI, Anthropic и xAI, сидящие на подсосе у венчурных инвесторов.
▪️ Мощнейшая инженерная школа DeepMind (практически все ведущие ученые в LLM являются выходцами из DeepMind). Работают медленнее и менее рисково, чем стартапы, но зато системно и последовательно.
▪️ Общемировая корпоративная и потребительская клиентская база в несколько миллиардов уникальных пользователей, удерживая через развитую сеть цифровых сервисов Google на всех уровнях (от развлекательных, поисковых, навигационных до бизнес сервисов) и слоях, платформах (мобильные, web, PC, серверные и IDE среды).
▪️ Full-stack платформа: собственное железо, которое выкупает само у себя по себестоимости (Google производит TPU Trillium / v6e) + имеет развитые облачные технологии Google Cloud Platform (GCP) + среда разработки Vertex AI и Google AI Studio с развитыми библиотеками и фреймфорками (Project IDX, Kotlin, Firebase Genkit и т.д.) + уникальный поисковый движок Google Search, платформу Youtube для сбора данных, дата-сетов и медиа трендов.
▪️ Индустриальный стандарт в WEB технологиях: архитектура Chromium, на котором базируются все современные веб браузеры и сам браузер Chrome с доминирующей рыночной долей, позволяющий отслеживать пользовательские предпочтения, вкусы, запросы и тренды во всех странах, всех возрастов и социальных групп (феноменальный дата сет).
▪️ Корпус данных и индексируемый набор данных последние 20 лет. Сейчас ни одна компания в мире не имеет настолько емкого и обширного доступа к текстовому и медиа контенту, как Google. Пока OpenAI третируют по судам из-за нелицензированного использованных данных многих веб-изданий, Google уже давно проиндексировали практически ВЕСЬ интернет и успешно кэшировали данные.
Практически все, что когда-либо было передано или написано в публичном пространстве – уже знает Google и хранит на специальных серверах. Теперь задача правильно все эти данные извлечь и разместить.
Эти уникальные характеристики и ресурсное обеспечение позволит Google доминировать (финансы, инженеры, платформа, датасеты, общемировая клиентская база и сквозная интеграция ИИ сервисов), здесь любой компании сложно перехватить лидерство.
Данные особо важны.
Gemini 3 обучалась, по моим оценкам (на основе данных обучения предыдущих моделей и аппроксимации с учетом расширенной мультимодальности), на 50-70 трлн токенов данных (большая часть видео-контент, где у Google абсолютное преимущество за счет Youtube) или почти 230 Терабайт чистого текста.
Какое количество качественных данных обучили в Gemini 3 – неизвестно, но сейчас вся мировая емкость интернета оценивается в следующей пропорции:
• Научная, техническая и специализированная литература всех дисциплин – 2 трлн токенов
• Научные статьи всех специальностей – 0.7 трлн токенов
• Мировая художественная литература всех жанров и времен – 3 трлн токенов
• Образовательная литература, методички – 1 трлн токенов
• Прочая литература, в том числе развлекательных – 3.5 трлн токенов среди относительно качественных
• Энциклопедии, справочники – 0.2 трлн токенов
• Код (в основном GitHub, StackOverflow с учетом техдокументации) – 2 трлн токенов среди относительно качественного кода
• Патенты, техническая документация, стандарты, законы – 2-2.5 трлн токенов.
Относительно качественный пласт данных оценивается около 15 трлн токенов за всю историю человечества, где качественных данных и источников не более 5-10%.
Цифровые новости, блоги и аналитические статьи около 40-45 трлн токенов, плюс еще 200-220 трлн емкость мировых соцсетей в публичной части, большая часть (свыше 99.8%) из которых скам, срач, копипасты, репосты, SEO-мусор.
Все это без медиа контента (графика, аудио, видео), только текст.
3👍142🤔60❤36💯22🔥14🤯4👏3🥱3🐳3😱2🤬2
Понимание сильных и слабых сторон LLMs позволит не только использовать их более эффективно в личных и бизнес проектах, но и понимать уязвимость невероятного пузыря, не имеющего аналогов в истории человечества (около 52 избыточной мировой капитализации на ИИ хайпе и до 0.5 трлн инвестиций в год от мировых компаний в реальной экономике).
Оглушительный хайп вокруг ИИ во многом связан с попыткой проекцией сверхъестественных свойств, но эти LLMs имеют массу ограничений. Я выпустил очень много материалов, но даже в них рассмотрел лишь часть.
Начну с самого важного и принципиального.
▪️Фундаментальная неспособность к инновациям. Любая инновация (новая идея, альтернативная гипотеза, концептуальный или технологический прорыв) - это статистическая аномалия (выброс), а архитектура LLM в своем ядре заточена эти выбросы сглаживать и/или игнорировать (зависит от пресетов и настроек моделей).
LLM обучается минимизировать ошибку (Loss Function) на огромном массиве данных, она математически штрафуется за любые отклонения от «нормального» распределения. Веса модели - это усредненный слепок коллективного разума (и глупости).
LLM архитектурно не способна к инновациям, это семантический блендер. Если в обучающие данные положить стейк (научные факты), торт (художественную литературу) и гнилые овощи (форумный спам, интернет дебаты), на выходе вы получите однородную, легко усваиваемую питательную массу без вкуса и текстуры. В этом важно то, что выделить обратно стейк невозможно, из этого следует …
▪️Качество данных определяет все. Это не архитектурный баг, а обучающее несовершенство. В своей основе LLM выстраивают вектор распределения на статической интерполяции, где наиболее часто встречающиеся семантические конструкции имеют больший вес. Другими словами, чем чаше в обучении встречается некоторое утверждение, тем оно более истинное для LLMs (архитектурная уязвимость), но в обучении эксабайты медиа срачей и скама (обучающее несовершенство) всегда будут доминировать над очень ограниченной выборкой качественной научной, технической или художественной литературой.
Для решения этой проблемы есть множество механизмов, но они хороши в теории, а не на практике.
🔘 Data Up-sampling, когда в корпусе данных датасеты делятся на домены (энциклопедии, научная литература, база кода, интернет статьи, форумный троллинг и т.д), где приоритет отдают качественным публикациям и надежным источникам.
Это хорошо в теории, на практике нет надежных механизмов сепарации эксабайт (в 1 миллион раз больше, чем терабайт), в итоге происходит смешение данных и доминирование токсичной информации, которой на многие порядки выше, чем качественной.
🔘 Фильтрация на основе классификаторов с автоматической классификацией через специально натреннированную нейросеть (модель-цензор) для отсеивания откровенного скама, но не существует механизмов отсечения семантически качественных материалов, но концептуально пустых (здесь должен быть человек – эксперт, но на практике весь отбор данных почти полностью автоматический).
🔘 Дедупликация – когда через специальные алгоритмы сжимаются миллионы репостов одного и того же скама в единичный экземпляр для устранения переполнения стэка данных дубликатами. Если этого не делать, уникальная научная статья будет иметь нулевой вес в сравнении с эксабайтами медиа скама.
Теория от практики отличается. Нет надежного механизма агрегации и сепарации качественных источников от некачественных, когда речь идет об обработке сотен эксабайт данных.
Как решение, брать за основу архитектуру модели с небольшим количеством параметров на 8-10 млрд и целенаправленно обучать на специализированных доменах (например, медицина, химия, физика, программирование и т.д.). На выходе получится скорее очень сухое, скучное справочное бюро без возможности междисциплинарного взаимодействия и полноценного размышления.
Универсальные модели (в открытом доступе) страдают «заражением» токсичными данными и искаженной «картиной мира» не только из-за ошибок развесовки и несовершенства алгоритма, но и по причине ошибочной сепарации данных и изначально некачественных источников.
Оглушительный хайп вокруг ИИ во многом связан с попыткой проекцией сверхъестественных свойств, но эти LLMs имеют массу ограничений. Я выпустил очень много материалов, но даже в них рассмотрел лишь часть.
Начну с самого важного и принципиального.
▪️Фундаментальная неспособность к инновациям. Любая инновация (новая идея, альтернативная гипотеза, концептуальный или технологический прорыв) - это статистическая аномалия (выброс), а архитектура LLM в своем ядре заточена эти выбросы сглаживать и/или игнорировать (зависит от пресетов и настроек моделей).
LLM обучается минимизировать ошибку (Loss Function) на огромном массиве данных, она математически штрафуется за любые отклонения от «нормального» распределения. Веса модели - это усредненный слепок коллективного разума (и глупости).
LLM архитектурно не способна к инновациям, это семантический блендер. Если в обучающие данные положить стейк (научные факты), торт (художественную литературу) и гнилые овощи (форумный спам, интернет дебаты), на выходе вы получите однородную, легко усваиваемую питательную массу без вкуса и текстуры. В этом важно то, что выделить обратно стейк невозможно, из этого следует …
▪️Качество данных определяет все. Это не архитектурный баг, а обучающее несовершенство. В своей основе LLM выстраивают вектор распределения на статической интерполяции, где наиболее часто встречающиеся семантические конструкции имеют больший вес. Другими словами, чем чаше в обучении встречается некоторое утверждение, тем оно более истинное для LLMs (архитектурная уязвимость), но в обучении эксабайты медиа срачей и скама (обучающее несовершенство) всегда будут доминировать над очень ограниченной выборкой качественной научной, технической или художественной литературой.
Для решения этой проблемы есть множество механизмов, но они хороши в теории, а не на практике.
Это хорошо в теории, на практике нет надежных механизмов сепарации эксабайт (в 1 миллион раз больше, чем терабайт), в итоге происходит смешение данных и доминирование токсичной информации, которой на многие порядки выше, чем качественной.
Теория от практики отличается. Нет надежного механизма агрегации и сепарации качественных источников от некачественных, когда речь идет об обработке сотен эксабайт данных.
Как решение, брать за основу архитектуру модели с небольшим количеством параметров на 8-10 млрд и целенаправленно обучать на специализированных доменах (например, медицина, химия, физика, программирование и т.д.). На выходе получится скорее очень сухое, скучное справочное бюро без возможности междисциплинарного взаимодействия и полноценного размышления.
Универсальные модели (в открытом доступе) страдают «заражением» токсичными данными и искаженной «картиной мира» не только из-за ошибок развесовки и несовершенства алгоритма, но и по причине ошибочной сепарации данных и изначально некачественных источников.
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍157🤔38💯34❤21🔥5👏4👌4🤡3👎2🤬1🥱1
Про абсурдный курс рубля. Что следует понимать в оценке устойчивости рубля?
Сейчас динамика рубля похожа на «шизофренический марафон» в тотальном отрыве от фундаментальных диспропорций и композиции факторов риска.
С точки зрения стандартной макроэкономической логики, не существует обоснования текущим уровням по рублю – все это похоже на «шутку, розыгрыш».
Однако, мы сейчас живем в особой реальности агрессивных схематозов и отхода от рыночного ценообразования.
Оценивая валютный рынок, необходимо понимать, что:
- Больше нет привычного валютного рынка, т.к. значительная часть оборота является «теневой» на внебиржевом рынке с середины 2024, где затруднительно оперативно оценивать валютные балансы и диспропорции.
- Все типичные макромодели сломаны или даже уничтожены после нарушения естественного трансграничного денежного потока внутренних и внешних контрагентов с 2022 года.
- Большая часть финансовой статистики засекречена или сильно ограничена, а финансовый сектор в РФ является основным провайдером валютной ликвидности.
- Логика циркуляции валютных потоков нарушена после введения санкций и инфраструктурных рисков.
- Существенная часть спроса на валюту в рамках валютного хэджирования абсорбируется в квазивалютных инструментах (заменяющие облигации, золото), расчеты за которые происходят в рублях с привязкой к валютному ценообразованию.
- Не совсем понятен административный фактор (есть ли он?) курсообразования в условиях закрытого рынка, вынесенного на внебиржевой контур.
- Лаги распределения валютной выручки, которые динамически меняются. Не исключено, что части экспортной выручки просто не существует (аккумулируется в дебиторке).
- Лаги распределения валютных расчетов по импорту. Валюта, купленная на бирже или внебирже, «зависает» на корсчетах или возвращается. Это создает временный, но устойчивый профицит валютной ликвидности внутри контура, - валюта есть, а потратить её (вывести под импорт) сложно. Это давит на курс в сторону укрепления рубля, даже при плохом торговом балансе.
- Вероятные теневые схематозы с бартером и квазибартером.
Короче, все что сейчас происходит к рынку и «стандартным» экономическим законам отношения не имеет.
В расчетах устойчивости рубля необходимо оценить долгосрочный баланс спроса и предложения валюты.
Откуда формируется устойчивое предложение валюты в условиях внешней блокады и санкционных ограничений?
Приток валюты экспортеров (в среднем $6-7 млрд в месяц, что вдвое ниже середины 2024 и на треть ниже допустимой нормы) и операции Банка России на валютном рынке (сейчас в среднем $1.5 млрд в месяц, но с начала 2026 будет меньше) и это все.
Агрегированное предложение около $8 млрд в месяц, которое будет стремиться к $5-6 млрд (в 2.5-3 раза меньше, чем в 2024) на фоне ухудшения экспортного потока (низкие цены на нефть и газ + расширяющиеся дисконты + нестабильные поставки + удары по инфраструктуре + динамические запреты на экспорт нефтепродуктов + усиление санкций + трудности с репатриацией валютной выручки) и на фоне исчерпания ликвидной части ФНБ.
Внешних каналов фондирования нет и не предвидится.
При этом денежная масса раскачалась вдвое (значительная часть связана на срочных счетах, но пропорция будет увеличиваться в пользу текущих счетов при смягчении ДКП), доходы раскачались где то на 70% за 4 года, тогда как предложение товаров и услуг в гражданской экономике осталось на уровне 2021 или даже снизилось (весь рост экономики за счет ВПК и связанных с государством отраслей, как, например строительство).
Спрос на валюту интегрально сдерживается изменением структуры расчетов по импорту, санкциями и инфраструктурными рисками, но стратегический перекос экстремально в пользу спроса на валюту, т.е. резкой переоценки рубля.
Рубль вообще нечем сдерживать, исторически где-то 25-30% от денежном массы (в $) требовалось для агрегации предложения валюты за год, что при текущей М2 свыше $1.5 трлн – это $30 млрд в месяц предложения валюты (до санкций).
Любой сдвиг с точки зрения накопления валютной позиции и на тонком рынке сразу теряется равновесие, поэтому в крепкий рубль не верю.
Сейчас динамика рубля похожа на «шизофренический марафон» в тотальном отрыве от фундаментальных диспропорций и композиции факторов риска.
С точки зрения стандартной макроэкономической логики, не существует обоснования текущим уровням по рублю – все это похоже на «шутку, розыгрыш».
Однако, мы сейчас живем в особой реальности агрессивных схематозов и отхода от рыночного ценообразования.
Оценивая валютный рынок, необходимо понимать, что:
- Больше нет привычного валютного рынка, т.к. значительная часть оборота является «теневой» на внебиржевом рынке с середины 2024, где затруднительно оперативно оценивать валютные балансы и диспропорции.
- Все типичные макромодели сломаны или даже уничтожены после нарушения естественного трансграничного денежного потока внутренних и внешних контрагентов с 2022 года.
- Большая часть финансовой статистики засекречена или сильно ограничена, а финансовый сектор в РФ является основным провайдером валютной ликвидности.
- Логика циркуляции валютных потоков нарушена после введения санкций и инфраструктурных рисков.
- Существенная часть спроса на валюту в рамках валютного хэджирования абсорбируется в квазивалютных инструментах (заменяющие облигации, золото), расчеты за которые происходят в рублях с привязкой к валютному ценообразованию.
- Не совсем понятен административный фактор (есть ли он?) курсообразования в условиях закрытого рынка, вынесенного на внебиржевой контур.
- Лаги распределения валютной выручки, которые динамически меняются. Не исключено, что части экспортной выручки просто не существует (аккумулируется в дебиторке).
- Лаги распределения валютных расчетов по импорту. Валюта, купленная на бирже или внебирже, «зависает» на корсчетах или возвращается. Это создает временный, но устойчивый профицит валютной ликвидности внутри контура, - валюта есть, а потратить её (вывести под импорт) сложно. Это давит на курс в сторону укрепления рубля, даже при плохом торговом балансе.
- Вероятные теневые схематозы с бартером и квазибартером.
Короче, все что сейчас происходит к рынку и «стандартным» экономическим законам отношения не имеет.
В расчетах устойчивости рубля необходимо оценить долгосрочный баланс спроса и предложения валюты.
Откуда формируется устойчивое предложение валюты в условиях внешней блокады и санкционных ограничений?
Приток валюты экспортеров (в среднем $6-7 млрд в месяц, что вдвое ниже середины 2024 и на треть ниже допустимой нормы) и операции Банка России на валютном рынке (сейчас в среднем $1.5 млрд в месяц, но с начала 2026 будет меньше) и это все.
Агрегированное предложение около $8 млрд в месяц, которое будет стремиться к $5-6 млрд (в 2.5-3 раза меньше, чем в 2024) на фоне ухудшения экспортного потока (низкие цены на нефть и газ + расширяющиеся дисконты + нестабильные поставки + удары по инфраструктуре + динамические запреты на экспорт нефтепродуктов + усиление санкций + трудности с репатриацией валютной выручки) и на фоне исчерпания ликвидной части ФНБ.
Внешних каналов фондирования нет и не предвидится.
При этом денежная масса раскачалась вдвое (значительная часть связана на срочных счетах, но пропорция будет увеличиваться в пользу текущих счетов при смягчении ДКП), доходы раскачались где то на 70% за 4 года, тогда как предложение товаров и услуг в гражданской экономике осталось на уровне 2021 или даже снизилось (весь рост экономики за счет ВПК и связанных с государством отраслей, как, например строительство).
Спрос на валюту интегрально сдерживается изменением структуры расчетов по импорту, санкциями и инфраструктурными рисками, но стратегический перекос экстремально в пользу спроса на валюту, т.е. резкой переоценки рубля.
Рубль вообще нечем сдерживать, исторически где-то 25-30% от денежном массы (в $) требовалось для агрегации предложения валюты за год, что при текущей М2 свыше $1.5 трлн – это $30 млрд в месяц предложения валюты (до санкций).
Любой сдвиг с точки зрения накопления валютной позиции и на тонком рынке сразу теряется равновесие, поэтому в крепкий рубль не верю.
Telegram
Spydell_finance
Где долгосрочная точка равновесия по рублю?
Действительно, очень много гипотез генерировалось аналитическим сообществом в России относительно аномальной устойчивости рубля, но ни одна гипотеза не является «жизнеспособной».
• Ослабление доллара по индексу…
Действительно, очень много гипотез генерировалось аналитическим сообществом в России относительно аномальной устойчивости рубля, но ни одна гипотеза не является «жизнеспособной».
• Ослабление доллара по индексу…
3❤99💯77👍58🤔47🤡18🙏9👎7😁3😱3🤬2🔥1