Технологический стек для LLM-приложений
Витя Тарнавский собрал карту библиотек, продуктов и сервисов для создания сервисов на основе LLM. Карта разделена на слои: от аппаратного обеспечения до фреймворков агентов. Она будет полезна инженерам, которые хотят строить решения на основе LLM, техническим лидерам, желающим понять, какие платформы разрабатывать на уровне компании, и тем, кто уже осознал, что дело не только в моделях, и хочет разобраться в этом вопросе.
Карта охватывает несколько ключевых слоёв:
1️⃣ Оркестрация и автоматизация: Инструменты для интеллектуальных рабочих процессов, агентов и использования инструментов, такие как n8n, Make.com, LangChain, LlamaIndex и другие.
2️⃣ Безопасность, защита и управление: Обеспечение безопасных, соответствующих требованиям и аудируемых операций LLM с помощью таких инструментов, как Nightfall AI, Microsoft Presidio, Guardrails AI и других.
3️⃣ Оценка и мониторинг: Оценка, трассировка и оценка поведения LLM в производстве с использованием таких инструментов, как OpenAI Evals, LM-Eval Harness, Helicone, LangSmith и других.
4️⃣ Увеличение и интеграция: Основные примитивы для составления пользовательских приложений LLM, включая базы данных векторов, RAG и протоколы инструментов и агентов.
5️⃣ Данные и знания: Управление инжекцией данных, качеством и обогащением для приложений LLM с помощью таких инструментов, как Airbyte, Meltano, Great Expectations и других.
6️⃣ Слой модели: Фундаментальные модели, обеспечивающие все возможности, включая API, открытый исходный код и обслуживание моделей.
7️⃣ Аппаратное обеспечение и инфраструктура: Физические вычисления и уровень хостинга, включая ускорители, облачных провайдеров и другие инструменты.
Эта карта предоставляет комплексный обзор технологического стека для создания решений на основе LLM и будет полезна тем, кто хочет глубже понять эту область. Предложения и замечания можно направлять Вите Тарнавскому.
Карта доступна по ссылке: GenAI Tech Stack
Оригинальный пост можно найти здесь
@gen_i_i
#полезное
Витя Тарнавский собрал карту библиотек, продуктов и сервисов для создания сервисов на основе LLM. Карта разделена на слои: от аппаратного обеспечения до фреймворков агентов. Она будет полезна инженерам, которые хотят строить решения на основе LLM, техническим лидерам, желающим понять, какие платформы разрабатывать на уровне компании, и тем, кто уже осознал, что дело не только в моделях, и хочет разобраться в этом вопросе.
Карта охватывает несколько ключевых слоёв:
Эта карта предоставляет комплексный обзор технологического стека для создания решений на основе LLM и будет полезна тем, кто хочет глубже понять эту область. Предложения и замечания можно направлять Вите Тарнавскому.
Карта доступна по ссылке: GenAI Tech Stack
Оригинальный пост можно найти здесь
@gen_i_i
#полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
Как искусственный интеллект меняет энергетику
Материал от команды o2consulting, посвященный применению искусственного интеллекта в топливно-энергетическом комплексе. В документе подробно разобраны ключевые аспекты использования ИИ в этой отрасли, а также приведены примеры модельных практик.
Основные моменты:
1️⃣ Автоматизация и снижение издержек:
ИИ позволяет автоматизировать множество процессов, что значительно снижает затраты и повышает эффективность. Это особенно важно в условиях высокой конкуренции и необходимости оптимизации ресурсов.
2️⃣ Повышение безопасности:
Внедрение ИИ способствует улучшению условий труда и снижению аварийности. Системы на основе ИИ могут прогнозировать и предотвращать аварийные ситуации, что критически важно для такой ответственной сферы, как энергетика.
3️⃣ Оптимизация транспортных и технических процессов:
ИИ помогает в управлении транспортом и техникой, что позволяет сократить время выполнения процессов и повысить их эффективность. Это особенно актуально для крупных предприятий, где логистика играет ключевую роль.
4️⃣ Мониторинг и диагностика:
Использование ИИ для мониторинга технического состояния оборудования и прогнозирования его работы позволяет своевременно выявлять и устранять потенциальные проблемы, что способствует бесперебойной работе предприятий.
Эффекты от внедрения ИИ:
- Для государства: повышение энергетической безопасности, увеличение поступлений в бюджет, обеспечение надежности и доступности энергоснабжения.
- Для предприятий: сокращение капитальных и операционных затрат, оптимизация времени выполнения процессов, снижение аварийности.
- Для граждан: сдерживание роста тарифов на электроэнергию и теплоснабжение, повышение качества и бесперебойности энергоснабжения, обеспечение доступа к энергетической инфраструктуре в отдаленных районах.
Бизнес-процессы:
В документе также рассмотрены бизнес-процессы, в которых применяется ИИ. Это включает в себя как основные, так и общие кейсы, которые демонстрируют широкий спектр возможностей для внедрения ИИ в различных аспектах работы предприятий ТЭК.
Рекомендую ознакомиться с полным документом и постом о выходе карты.
@gen_i_i
#полезное
Материал от команды o2consulting, посвященный применению искусственного интеллекта в топливно-энергетическом комплексе. В документе подробно разобраны ключевые аспекты использования ИИ в этой отрасли, а также приведены примеры модельных практик.
Основные моменты:
ИИ позволяет автоматизировать множество процессов, что значительно снижает затраты и повышает эффективность. Это особенно важно в условиях высокой конкуренции и необходимости оптимизации ресурсов.
Внедрение ИИ способствует улучшению условий труда и снижению аварийности. Системы на основе ИИ могут прогнозировать и предотвращать аварийные ситуации, что критически важно для такой ответственной сферы, как энергетика.
ИИ помогает в управлении транспортом и техникой, что позволяет сократить время выполнения процессов и повысить их эффективность. Это особенно актуально для крупных предприятий, где логистика играет ключевую роль.
Использование ИИ для мониторинга технического состояния оборудования и прогнозирования его работы позволяет своевременно выявлять и устранять потенциальные проблемы, что способствует бесперебойной работе предприятий.
Эффекты от внедрения ИИ:
- Для государства: повышение энергетической безопасности, увеличение поступлений в бюджет, обеспечение надежности и доступности энергоснабжения.
- Для предприятий: сокращение капитальных и операционных затрат, оптимизация времени выполнения процессов, снижение аварийности.
- Для граждан: сдерживание роста тарифов на электроэнергию и теплоснабжение, повышение качества и бесперебойности энергоснабжения, обеспечение доступа к энергетической инфраструктуре в отдаленных районах.
Бизнес-процессы:
В документе также рассмотрены бизнес-процессы, в которых применяется ИИ. Это включает в себя как основные, так и общие кейсы, которые демонстрируют широкий спектр возможностей для внедрения ИИ в различных аспектах работы предприятий ТЭК.
Рекомендую ознакомиться с полным документом и постом о выходе карты.
@gen_i_i
#полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
Главное на прошлой неделе:
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Система раннего предупреждения импульсивных трейдеров
Материал от команды Rapid и Лаборатории инноваций Мосбиржи — о том, как они с помощью ML пытались выявить импульсивное поведение трейдеров до того, как оно приводит к убыткам.
Сама идея — не нова: поведенческие паттерны давно интересуют брокеров, особенно в контексте удержания клиентов. Но тут попытались подойти системно: собрать признаки, построить модель, отранжировать риски и предложить рекомендации. Всё — на синтетических данных, что с одной стороны ограничивает выводы, но с другой — честно озвучено.
Ключевые метрики импульсивности — ожидаемые: ночная торговля, погоня за убытками, слишком большие позиции, частые сделки, резкая смена стратегий. То есть не какие-то тонкие поведенческие маркеры, а довольно грубые, но легко наблюдаемые сигналы. Модель XGBoost с точностью 90+% — звучит внушительно, но важно помнить: это всё на сгенерированных паттернах. В реальных условиях с шумом, манипуляциями и стратегиями второго порядка точность будет другой.
Тем не менее, сам подход ценный. Он поднимает хороший вопрос: можно ли вживую сопровождать трейдера — не в смысле «подсказывать сделки», а предлагать сигналы в стиле «ты начинаешь вести себя деструктивно, остановись». Это не про автоматизацию торговли, а про осознанность и снижение риска. И здесь как раз можно применить ML — не для альфы, а для самоконтроля.
💬 Что кажется важным: такие системы, если их внедрять в реальные брокерские интерфейсы, нужно делать прозрачными и интерпретируемыми. Трейдер должен понимать не просто, что ему поставили красный флаг, а почему. Иначе это превращается в очередной чёрный ящик, которому не доверяешь.
Статья на хабре
@gen_i_i
#полезное
Материал от команды Rapid и Лаборатории инноваций Мосбиржи — о том, как они с помощью ML пытались выявить импульсивное поведение трейдеров до того, как оно приводит к убыткам.
Сама идея — не нова: поведенческие паттерны давно интересуют брокеров, особенно в контексте удержания клиентов. Но тут попытались подойти системно: собрать признаки, построить модель, отранжировать риски и предложить рекомендации. Всё — на синтетических данных, что с одной стороны ограничивает выводы, но с другой — честно озвучено.
Ключевые метрики импульсивности — ожидаемые: ночная торговля, погоня за убытками, слишком большие позиции, частые сделки, резкая смена стратегий. То есть не какие-то тонкие поведенческие маркеры, а довольно грубые, но легко наблюдаемые сигналы. Модель XGBoost с точностью 90+% — звучит внушительно, но важно помнить: это всё на сгенерированных паттернах. В реальных условиях с шумом, манипуляциями и стратегиями второго порядка точность будет другой.
Тем не менее, сам подход ценный. Он поднимает хороший вопрос: можно ли вживую сопровождать трейдера — не в смысле «подсказывать сделки», а предлагать сигналы в стиле «ты начинаешь вести себя деструктивно, остановись». Это не про автоматизацию торговли, а про осознанность и снижение риска. И здесь как раз можно применить ML — не для альфы, а для самоконтроля.
Статья на хабре
@gen_i_i
#полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Обновление экосистемы генеративного ИИ
Мы рады сообщить, что наша экосистема генеративного искусственного интеллекта на сайте ген ИИ была обновлена. Мы добавили новые сервисы и приложения, чтобы сделать ресурс еще более полезным и актуальным для всех, кто интересуется технологиями ИИ.
Что нового?
Мы актуализировали информацию, добавив новые инструменты и сервисы в различные категории. Теперь пользователи могут найти еще больше решений для своих задач. Вот основные разделы, которые мы обновили:
1️⃣ Генеративные ИИ-приложения и сервисы:
⏺ Горизонтальные приложения: финансы, обслуживание клиентов, продажи, продуктивность, информационные технологии и управление знаниями.
⏺ Вертикальные/отраслевые приложения: финтех, юриспруденция, естественные науки, ритейл, здравоохранение, транспорт, PR/маркетинг и робототехника.
2️⃣ Инструменты для генеративного ИИ:
⏺ Кейс-специфичные инструменты: платформы для чат-ботов, генеративные презентеры, транскрибация и суммаризация текста и видео, агенты, генерация видео и музыки, автоматизация бизнес-процессов.
⏺ Моделе-центричные инструменты: разработка моделей, риск-ориентированное использование моделей, Retrieval Augmented Generation (RAG), файн-тьюнинг.
⏺ Дата-центричные инструменты: промпт инжениринг, векторные базы данных и эмбединги, подготовка и обмен данными, федеративное обучение, обезличивание, гомоморфное шифрование, инструментарий для формирования датасетов, обеспечение безопасности данных, синтетические данные, разметка данных.
⏺ AI TRISM-инструменты: мониторинг отравления и искажения промптов, контроль галлюцинаций, отслеживание дипфейков, модерация результатов, обеспечение безопасности ИИ-приложений, объяснимость результатов ИИ, предотвращение кибератак с ИИ, контроль анонимизации данных.
3️⃣ Технологические инструменты:
⏺ Инструменты MLOps, фронтенд для нейросетей, NoCode/LowCode платформы, оптимизация нейромоделей, оркестрация моделей по API, генерация кода.
4️⃣ Модели генеративного ИИ:
⏺ GPT-модели, доменные модели, диффузионные модели, маркетплейсы генеративных моделей.
5️⃣ Инфраструктура:
⏺ Вычисления для обучения и инференса, программируемые и специализированные интегральные схемы, FPGA, сети связи, интерконнект, облачные решения, приватные вычисления, средства обеспечения безопасности, производители готовых вычислительных узлов, хранение больших данных.
Наша экосистема генеративного ИИ продолжает развиваться, предлагая все больше возможностей для профессионалов и новичков в области искусственного интеллекта. Мы уверены, что обновленные данные и новые инструменты помогут вам находить оптимальные решения для ваших задач.
@gen_i_i
#полезное
Мы рады сообщить, что наша экосистема генеративного искусственного интеллекта на сайте ген ИИ была обновлена. Мы добавили новые сервисы и приложения, чтобы сделать ресурс еще более полезным и актуальным для всех, кто интересуется технологиями ИИ.
Что нового?
Мы актуализировали информацию, добавив новые инструменты и сервисы в различные категории. Теперь пользователи могут найти еще больше решений для своих задач. Вот основные разделы, которые мы обновили:
Наша экосистема генеративного ИИ продолжает развиваться, предлагая все больше возможностей для профессионалов и новичков в области искусственного интеллекта. Мы уверены, что обновленные данные и новые инструменты помогут вам находить оптимальные решения для ваших задач.
@gen_i_i
#полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
Фильтрация контента на базе LLM
Red_mad_robot разбирают, как создавали собственный контент-фильтр на LLM вместо покупки готового решения. Основная мотивация — экономия на модерации каждого запроса и возможность гибкой настройки под свои задачи.
Главный вывод: простые эвристики не работают. Keyword-фильтры и регулярки дают слишком много ложных срабатываний и легко обходятся. Поэтому сразу пошли в сторону LLM — начали с LLaMA 7B, когда выбор был невелик.
Интересно, как они подошли к проблеме: вместо бинарного "блокировать/не блокировать" сделали многоуровневую систему. Модель анализировала прямые упоминания, завуалированные формулировки и пограничные случаи. Добавили градацию критичности от Low до Critical. Использовали few-shot примеры, чтобы показать модели правильные решения. Но LLaMA 7B не справлялась с такой сложностью — слишком много контекста и нюансов для неё.
Типичные проблемы оказались предсказуемыми: зависимость от контекста (один текст может быть нейтральным или провокационным), субъективность модели (сегодня пропустит, завтра заблокирует), ложные метафоры ("взорвать мозг картинкой" попадает под насилие). Плюс пуританская этика — нейтральная романтика блокируется как эротика.
Переход на более мощные модели (Qwen 30B, GPT-4o mini) и структурированный вывод улучшил ситуацию. Структурированный вывод не дал прироста качества, но повысил стабильность — модель стала чётко следовать заданной схеме ответа. Авторы отказались от собственных серверов в пользу облачных API — экономически выгоднее, а контроль над логикой сохранили.
Сейчас у них гибридная система: BERT для быстрой предварительной классификации, динамический порог, финальное решение через LLM. За четыре дня обработали 10 тысяч запросов, отклонили 2 тысячи, ошибок 8%. Хотят снизить до 2-3%.
Получается реалистичная картина: идеального фильтра не существует, но можно сделать систему достаточно незаметной для пользователей и эффективной для задач. Главное — не переоценивать возможности модели и строить многоуровневую защиту, а не полагаться на один умный промпт.
статья на хабре
@gen_i_i
#полезное
Red_mad_robot разбирают, как создавали собственный контент-фильтр на LLM вместо покупки готового решения. Основная мотивация — экономия на модерации каждого запроса и возможность гибкой настройки под свои задачи.
Главный вывод: простые эвристики не работают. Keyword-фильтры и регулярки дают слишком много ложных срабатываний и легко обходятся. Поэтому сразу пошли в сторону LLM — начали с LLaMA 7B, когда выбор был невелик.
Интересно, как они подошли к проблеме: вместо бинарного "блокировать/не блокировать" сделали многоуровневую систему. Модель анализировала прямые упоминания, завуалированные формулировки и пограничные случаи. Добавили градацию критичности от Low до Critical. Использовали few-shot примеры, чтобы показать модели правильные решения. Но LLaMA 7B не справлялась с такой сложностью — слишком много контекста и нюансов для неё.
Типичные проблемы оказались предсказуемыми: зависимость от контекста (один текст может быть нейтральным или провокационным), субъективность модели (сегодня пропустит, завтра заблокирует), ложные метафоры ("взорвать мозг картинкой" попадает под насилие). Плюс пуританская этика — нейтральная романтика блокируется как эротика.
Переход на более мощные модели (Qwen 30B, GPT-4o mini) и структурированный вывод улучшил ситуацию. Структурированный вывод не дал прироста качества, но повысил стабильность — модель стала чётко следовать заданной схеме ответа. Авторы отказались от собственных серверов в пользу облачных API — экономически выгоднее, а контроль над логикой сохранили.
Сейчас у них гибридная система: BERT для быстрой предварительной классификации, динамический порог, финальное решение через LLM. За четыре дня обработали 10 тысяч запросов, отклонили 2 тысячи, ошибок 8%. Хотят снизить до 2-3%.
Получается реалистичная картина: идеального фильтра не существует, но можно сделать систему достаточно незаметной для пользователей и эффективной для задач. Главное — не переоценивать возможности модели и строить многоуровневую защиту, а не полагаться на один умный промпт.
статья на хабре
@gen_i_i
#полезное
Главное на прошлой неделе:
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Карта российского GenAI: 130+ сервисов
В Инк. вышла визуальная карта российского рынка генеративного ИИ — 130+ сервисов, сгруппированных по задачам: от генерации презентаций до анализа звонков. Работу делали вместе с AI-factory и конференцией Conversations.
👉 сам материал
Хорошо, что кто-то собрал это в одном месте — до сих пор не хватало внятной навигации по локальному рынку. Но интереснее не список как таковой, а его структура. Почти треть всех проектов — это решения для продаж, маркетинга, HR и клиентского сервиса. Всё, что связано с коммуникацией. Это показатель: рынок не идёт от технологий, он идёт от потребностей. Бизнесу важно быстро интегрировать ИИ в понятные процессы и получить осязаемый эффект. Поэтому — боты, скрипты, речевая аналитика.
Второй слой — это не модели, а интерфейсы. Многие продукты — надстройки над существующими языковыми моделями (чаще всего не локальными). Делают упаковку под российскую специфику: ролевые политики, on-prem деплой, интеграция с 1С. Это говорит не столько о слабости, сколько об особенностях контекста — конфиденциальность, юридические риски, импортозамещение.
Сегмент RAG для B2B выделяется отдельно. Там уже не просто “обёртка GPT”, а попытки архитектурно воспроизвести западные паттерны: LangChain-подобные пайплайны, векторные базы, доступ к внутренним данным. Не всё доведено до зрелости, но направление видно — не генерация ради генерации, а автоматизация мышления внутри компаний.
Российский рынок ИИ становится прикладным. Он быстро находит зоны, где нейросети дают экономический эффект — и начинает оттачивать инструменты под реальную жизнь. Пока это не про модели мирового уровня, но это уже про инструменты, которые вписываются в процессы. И в этом есть ценность: технологическое развитие — не только про прорыв, но и про то, как идеи становятся нормой.
@gen_i_i
#полезное
В Инк. вышла визуальная карта российского рынка генеративного ИИ — 130+ сервисов, сгруппированных по задачам: от генерации презентаций до анализа звонков. Работу делали вместе с AI-factory и конференцией Conversations.
Хорошо, что кто-то собрал это в одном месте — до сих пор не хватало внятной навигации по локальному рынку. Но интереснее не список как таковой, а его структура. Почти треть всех проектов — это решения для продаж, маркетинга, HR и клиентского сервиса. Всё, что связано с коммуникацией. Это показатель: рынок не идёт от технологий, он идёт от потребностей. Бизнесу важно быстро интегрировать ИИ в понятные процессы и получить осязаемый эффект. Поэтому — боты, скрипты, речевая аналитика.
Второй слой — это не модели, а интерфейсы. Многие продукты — надстройки над существующими языковыми моделями (чаще всего не локальными). Делают упаковку под российскую специфику: ролевые политики, on-prem деплой, интеграция с 1С. Это говорит не столько о слабости, сколько об особенностях контекста — конфиденциальность, юридические риски, импортозамещение.
Сегмент RAG для B2B выделяется отдельно. Там уже не просто “обёртка GPT”, а попытки архитектурно воспроизвести западные паттерны: LangChain-подобные пайплайны, векторные базы, доступ к внутренним данным. Не всё доведено до зрелости, но направление видно — не генерация ради генерации, а автоматизация мышления внутри компаний.
Российский рынок ИИ становится прикладным. Он быстро находит зоны, где нейросети дают экономический эффект — и начинает оттачивать инструменты под реальную жизнь. Пока это не про модели мирового уровня, но это уже про инструменты, которые вписываются в процессы. И в этом есть ценность: технологическое развитие — не только про прорыв, но и про то, как идеи становятся нормой.
@gen_i_i
#полезное
Please open Telegram to view this post
VIEW IN TELEGRAM