Telegram Group Search
🍫 Код и модели: как работает поиск в Яндекс Лавке

Какие архитектурные решения лежат в его основе, как C++ с userver поддерживает многослойный «бургер» из ML-моделей и при чём тут Quotient filter?

👩‍⚕️ Отвечает Николай Смирнов, ML-инженер в команде поиска Яндекс Лавки. В карточках — история создания поисковой системы, наглядные схемы и другие интересные детали.

🔶 Тонкости работы сервиса с ML-компонентами, живые примеры, инженерные находки и технические подробности (а их очень много) ищите в полной статье на Хабре.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥3👍2💋1
🛎 Большая конференция про бэкенд: залезем под капот технологий, которые уже изменили мир

4 октября в Москве и онлайн ждём вас на конференции «Я про бэкенд»! Мы объединяем на одной площадке экспертов, которые строят сервисы, оцифровывают мир вокруг и приносят пользу людям благодаря современным рекомендательным и генеративным технологиям. В докладах раскроем, как постоянный рост нагрузки, развитие ML и погоня за улучшением пользовательского опыта рождают всё новые вызовы в бэкенд-разработке.

⚡️ Первые доклады уже здесь:

🟢 Алёна Васильева, руководитель разработки Шедеврума. Опишет архитектуру бэкенда для ML-моделей и работу с их долгим инференсом

🟢 Никита Сикалов, руководитель группы Базового поиска. Прочитает доклад об эволюции технологий реалтайм-индексации и расскажет, как строилась распределённая масштабируемая конструкция на десятки терабайт

🟢 Михаил Чебаков, руководитель разработки инструментальных ML-платформ из T-Банка. Расскажет, какие инженерные решения нужны, чтобы спрятать всю сложность инференса LLM за понятными числами

🟢 Роман Жиганов, руководитель группы разработки аудиосценариев Алисы и Умных устройств. Расскажет про GPT-функции в устройствах с Алисой и подходе function calling

🟢 Юрий Журихин, руководитель разработки Наружной рекламы. Объяснит, как мы вынесли рекламу в офлайн и что из этого вышло

🟢 Александр Зевайкин, руководитель разработки YDB. Расскажет, как в YDB реализовано чтение с реплик и как использование этой фичи выглядит на практике

📟 Ещё больше выступлений на подходе — полную программу скоро выложим на нашем сайте.

🔶 Зарегистрироваться на конференцию

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤‍🔥3🔥2
📖 Важный инженерный разбор, который вы могли пропустить

Даже продуманные и сложные системы не застрахованы от проблем. Вопрос в том, как использовать полученный во время инцидента опыт, чтобы стать сильнее: например, реорганизовать ранние архитектурные решения и переосмыслить подходы к отказоустойчивости.

👨‍💻 Рекомендуем статью Кости Крамлиха, специалиста по сетевым сервисам в Yandex Cloud, на Хабре. Костя рассказывает, какую работу проделывает его команда, чтобы предотвращать крупные инциденты (вроде тех, что произошли в конце 2024 года). А ещё делится выводами и перечисляет изменения, которые ребята уже внедрили для защиты инфраструктуры. Внутри: решения от механизмов fail-safe и ограничения межзонального трафика до возможности вносить изменения в Data Plane на физических серверах без даунтайма.

О чём ещё рассказано в статье:

🟢 Почему большие системы ломаются
🟢 Что вызвало наши инциденты
🟢 Как повысить устойчивость и не выстрелить себе в ногу
🟢 Какие механизмы защиты попали в прод и почему

👍 Статья собрала 50+ лайков за первые сутки, так что мы определённо советуем её специалистам по сетевой инфраструктуре и всем, кто интересуется отказоустойчивостью сложных систем.

🔶 Читать статью на Хабре

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🤯1
🟢 Разбор кода: бэкендер из Яндекса и утилита на Go + PostgreSQL от джуна

А вот и второй выпуск нашего спецпроекта! Напомним, в чём суть: начинающие разработчики присылают нам код, а опытные программисты-яндексоиды последовательно его разбирают и дают свой фидбэк.

На этот раз Дмитрий Кара, старший разработчик бэкенда в команде Яндекс Игр, анализирует консольную утилиту gobserver. С ней можно следить за изменениями в директориях и выполнять произвольный набор консольных команд. В выпуске Дмитрий даёт много полезных советов и рекомендаций.

📺 Смотрите в VK Видео или на ютубе.

А ещё не забывайте делиться своим мнением о разборе в комментариях и присылать ссылки на свои репозитории. Среди них мы выберем самый интересный код для следующего выпуска.

🈯️ Приятного просмотра!

🔶 Пропустили предыдущий выпуск про фронтенд? Не беда — вот он.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥3🐳3👍1
🧬 Прогноз, пайплайн, фреймворк: что, зачем и как

Всем привет! Меня зовут Александр Елизаров, я аналитик-разработчик в группе аналитики ключевых показателей Поиска и Рекламных технологий.

Долгое время нашей команде приходилось прогнозировать большое количество временных рядов разных доменных областей: от поисковой доли Яндекса до DAU всевозможных сервисов. Чтобы с этим справиться, мы разработали собственный прогнозный фреймворк. Пришло время о нём рассказать.

👩‍⚕️ На карточках — лучшие решения, а о процессе разработки читайте далее.

Для начала мы поставили требования перед будущим фреймворком. В нём мы хотели видеть:

📟 Инкапсуляцию интерфейса, чтобы использовать фреймворк, даже если знания пользователя о коде и моделях минимальны

📟 Гибкость для лёгкой настройки под бизнес-логику задачи

📟 Независимость, чтобы использовать разные ML-модели для разных бизнес-задач

📟 Встроенную очистку от выбросов и сдвигов тренда, в том числе и ручную, если автоматическая не справится на специфических периодах

📟 Оптимизацию гиперпараметров и их автоматический подбор для всех рядов или отдельных подмножеств с возможностью задать параметры вручную

📟 Постпроцессинг для коррекции выходов модели под бизнес-нужды

📟 Визуализацию полученных прогнозов, которая указывает на вероятные ошибки модели

Далее на основе своего опыта мы сделали пайплайн для любых временных рядов. Вышло пять шагов: получение данных и первичная обработка, комбинирование рядов, очистка данных, прогноз и визуализация.

Однако для разных метрик детали каждого этапа могут различаться, как и ML-модель вместе с её параметрами. Тут помогает связка класса для конкретной задачи и конфига.

В итоге получилось то, что мы хотели, — гибкий фреймворк со множеством полезных фич, который сэкономил нам кучу времени. Он не зависит от бизнес-логики задачи и способен прогнозировать любые ряды, а пользователь может тюнить прогноз и корректировать результаты под свои нужды.

🔶 Как устроены модели и каждый шаг пайплайна? Графики, схемы, код и технические детали смотрите в полной статье на Хабре.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6
🚗 Как в Авто.ру перестроили свой Gateway

Бывает, вы начинаете с аккуратной микросервисной архитектуры, но через пару лет оглядываетесь и понимаете, что ваш REST-гейтвей стал монолитом с недельным релизным циклом. Вот и у нас вышло именно так.

👨‍💻 Меня зовут Кирилл Ершов, я бэкенд-разработчик в Авто.ру. В этом посте расскажу, почему в конце 2023 года наша команда решила перестроить архитектуру и внедрить GraphQL-федерацию.

Немного предыстории

В 2015-м autoru-api, гейтвей Авто.ру, был простым REST-шлюзом: авторизация, проксирование запросов в бэкенды, минимум логики. Но за годы в системе появилось 300 000 строк кода, который поддерживали более 40 разработчиков из 8 команд. Микросервисная архитектура потеряла свои плюсы: релизы в прод выходили долго и стали блокировать друг друга.

Почему GraphQL-федерация

Суть подхода — разделить системы на независимые подграфы (по одному на каждый бизнес-домен) и объединить их через Apollo Router на Rust. Ключевые преимущества:

🟢 Изоляция изменений. Правки в одном домене не влияют на другие (и это самое главное!)

🟢 Простота гейтвея. Теперь это один эндпойнт: /graphql для авторизации и маршрутизации

🟢 Гибкость запросов. Router объединяет информацию, а клиенты получают только нужные данные

Конечно, у нас не получился каноничный GraphQL: мы не можем просить конкретные поля прямо из БД. Во-первых, у нас мало где реализована плоская схема хранения, мы часто держим сущность в jsonb-столбце. Во-вторых, такая фича влечёт проблемы с разграничением доступа. Но хорошая новость в том, что мы к этому и не стремились 🙂

Чего мы достигли:

🟢 Значительно снизили time to market

🟢 Существенно повысили уровень изоляции компонентов: заблокировать коллегам релиз теперь очень сложно (но при желании всё ещё возможно 🤪)

🟢 Перестали расширять код гейтвея: в 2024 году он увеличился на 18 тысяч строк против 50 годом ранее

Сейчас перевели около 1% трафика, но планы амбициозные: переход оферов, каталога и поиска.

🔶 Подробности читайте в статье на Хабре! Там же схемы архитектуры и 7 поучительных сложностей, которые мы преодолели.

📟 Эта статья — сокращённый вариант моего доклада на Scala-митапе 2025. Посмотреть выступление целиком можно здесь.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥52👏2
🛎 Приглашаем на митап-тур about:cloud — infrastructure по городам России

Разработчики Yandex Cloud и Yandex Infrastructure покажут внутреннюю кухню инфраструктурных и сетевых сервисов. Обсудим, как управлять тысячами выделенных серверов, эволюцию развития сетевых дисков, устройство продуктов CDN, S3, Cloud Interconnect и многое другое.

🏠 Программа в городах разная — смотрите сайт встречи в вашем городе и регистрируйтесь:

🟢 21.08 • Казань
🟢 28.08 • Санкт-Петербург
🟢 04.09 • Новосибирск
🟢 11.09 • Екатеринбург
🟢 16.10 • Москва (+трансляция)

🔶 Митапы пройдут офлайн — познакомимся и пообщаемся вживую.

🈯️ Ждём разработчиков, архитекторов, сетевых инженеров и всех, кто работает с инфраструктурой каждый день. Будет интересно!

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
💹 SourceCraft 🤝 опенсорс-разработчики: рассказываем про новые фичи для комьюнити, грантовую программу и конкурс

Речь о платформе разработки от Яндекса. Если вы почему-то пропустили этот релиз, почитать о нём можно тут. Ребята выкатили ачивки, систему рейтинга репозиториев, новую грантовую программу и конкурс самых интересных проектов. Делимся подробностями:

🟢 Ачивки в профиле

Теперь мы будем выдавать персональные достижения за коммиты, рецензии на пул-реквесты, git push и поиск багов. У каждой ачивки есть уровень: чем больше нужных действий вы делаете, тем он выше. Так что выпускайте релизы, предлагайте изменения, делитесь идеями — и ваше имя навсегда останется в залах славы!

🟢 Рейтинг репозиториев

Публичные репы теперь можно оценивать реакциями с разной степенью влияния на рейтинг (👍❤️💎). Чем больше реакций, тем выше позиция проекта в списке лучших. А хороший рейтинг — это не только признание сообщества, но и плюсик для заявки на грант.

🟢 Гранты и конкурс

16 августа мы вместе с Yandex Open Source запустили грантовую программу для опенсорсных проектов. Победители получат гранты Yandex Cloud на один год в размере 600 тысяч рублей. Наши эксперты будут оценивать проекты по ключевым критериям: практической пользе, чёткому вектору развития, активности и рейтингу репозитория. Заявки принимаем до 15 марта 2026 года.

🔶 А ещё в самом разгаре конкурс репозиториев: переносите проекты на SourceCraft и собирайте реакции сообщества. После 31 августа мы подведём итоги в канале SourceCraft — там же опубликуем лучшие работы, а их авторам вышлем мерч.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend
Please open Telegram to view this post
VIEW IN TELEGRAM
3🥰3🔥2
2025/08/23 19:34:20
Back to Top
HTML Embed Code: