Что под капотом у ИИ-сервиса «Цифровой нормоконтроль» от Департамента градостроительной политики Москвы

На «Цифровом Нормоконтроле» можно сверить проектную и рабочую документацию с требованиями нормативки (в том числе с ГОСТом 21.101-2020). Нашла презентацию сервиса, где коллеги из ДИТ расписали стек решения.

Язык программирования и архитектура — Python для бэкенда, JavaScript для фронтенда.

Для распознавания содержимого документов, получения координат и классификации объектов используют

⚫️YOLOv8 — модель для детекции и классификации объектов в режиме реального времени — например основных надписей в проектной и рабочей документации ПД/РД.

⚫️PyMuPDF — библиотеку Python с открытым исходным кодом, которая предоставляет набор инструментов для работы с PDF. Она позволяет извлекать текст, изображения и таблицы, управлять страницами (поворот/обрезка/создание), рендерить в растровые/векторные форматы, работать с метаданными, а также объединять и разделять PDF-документы.

⚫️Tesseract OCR — движок для оптического распознавания символов, используемый для извлечения текста из растровых изображений и проблемных областей документов.

⚫️Для обучения используются датасеты с проектной и рабочей документацией.

Подробнее — про сервис и стек — в прикрепленной презентации.

Новый метод автоматического планирования маршрутов роботов в известных 3D-сценах с помощью визуально-языковых моделей (VLM) — типа GPT-4 или DALL-E 3 — позволяет роботам не просто следовать по заранее заданному пути а самостоятельно понимать, что и как осматривать

Как это работает?
1. Пользователь задаёт текстовое описание маршрута. Например, для инспекции туннеля в описании указано, что важны трещины, вентиляционные шахты и электрические панели — это точки интереса (POI).

2. Модель считывает их, потом определяет на изображении, где они и как расположены относительно друг друга. Обнаруженные ключевые точки преобразуются в граф возможных маршрутов, где отмечаются узлы, с которых видны нужные объекты.

3. Далее применяется задача коммивояжера (TSP) — модель выбирает оптимальные точки осмотра и составляет маршрут, который позволит роботу быстро и эффективно пройтись по всем ключевым зонам без лишних перемещений.

Авторы отмечают, что их метод сокращает время маршрута за счет улучшения на 12% плавности хода робота.

В чём новизна?
⚫️Модель предобучена на датасете объектов инспекций, поэтому может ориентировать робота в новых сценариях без дообучения.

⚫️Единая модель (VLM) обрабатывает текст и изображения совместно, а не работает отдельно с текстом и с изображениями. Это значит, что робот получает готовое понимание сцены и текста одновременно, без ожидания поочерёдной обработки каждого типа данных.

⚫️Метод ориентирован на точный и эффективный осмотр известных объектов, что важно для мониторинга инфраструктуры. В отличие от навигации в новых пространствах, здесь акцент на высокоточном планировании с учётом смысла и расположения объектов.

Метод планируется использовать для инспекций сложных объектов — туннелей, трубопроводов, электростанций, мониторинга крупных комплексов.

Нейросеть Archsynth превращает 2D-эскизы в детализированные 3D-рендеры всего за 14 секунд

Функционал:

⚫️Текст в изображение – просто опишите идею.
⚫️Дорисовка и ретушь — автоматически заполняет пробелы, улучшает качество.
⚫️ Генерация текстур — создает бесшовные узоры и материалы.
⚫️ Удаление фона.
⚫️ Интеграция с CAD — экспорт в SketchUp, Revit, Rhino.
⚫️BIM-модели — добавляет на них конструктивные детали.

Попробовать можно здесь

Cartesian.app — интерактивный учебник по алгоритмам и структурам данных, рассчитанный на самостоятельное онлайн-обучение

В нем более 700 страниц теории, сотни визуализаций и возможность писать и запускать код прямо в браузере. Учебник ориентирован на практику: сложные темы объясняются наглядно с помощью инфографики, а каждую идею можно тут же опробовать на практике.

⚫️Код можно редактировать и запускать прямо в тексте учебника.
⚫️Пошаговые визуализации: сложные алгоритмы и структуры данных сопровождаются анимациями и схемами.
⚫️Ясно и понятно — главное, знать английский язык.

Чему можно научиться
⚫️Реализовывать базовые и продвинутые алгоритмы (сортировки, поиск, динамическое программирование, графовые алгоритмы и др.).
⚫️Работать с основными структурами данных: массивы, списки, деревья, хеш-таблицы, графы.
⚫️Анализировать эффективность алгоритмов (асимптотика, сложность по времени и памяти).
⚫️И многому другому.

Подойдет новичкам и не только. Работает по VPN. Вы знаете, кому переслать➡️

#учимся

Принесла вам самые популярные публикации за неделю:

⚫️Что под капотом у ИИ-сервиса «Цифровой нормоконтроль» от Департамента градостроительной политики Москвы.
⚫️Как бизнесу попасть в ответы нейросетей: GEO — новый стандарт диджитала.
⚫️Finch анонсировали ИИ-агента и пообещали ИИ не только в генерации планов, но и в инструментах редактирования.

Почитайте — там интересно.