Новый привет врачам от ИИ-докторов. На этот раз исследователи создали сложную архитектуру ИИ-агентов (консилиум ИИ-врачей), который способен не только ставить диагнозы вчетверо лучше кожанных, но еще и заботиться об оптимизации расходов на диагностику (спойлер - ИИ без анализов работает лучше врачей с анализами и обследованиями за несколько тысяч долларов).

Авторы статьи поросята конечно - обозначили результаты врачей на диаграмме крестиками - "как грубо!" (но справедливо увы). Предметом анализа были 304 диагностически сложных клинико-патологических случаев из публикаций New England Journal of Medicine.

В сочетании с моделью o3 OpenAI MAI-DxO достигает 80% диагностической точности — в четыре раза выше, чем средний показатель врачей общей практики в 20%. MAI-DxO также снижает затраты на диагностику на 20% по сравнению с врачами и на 70% по сравнению с одиночным o3. При настройке на максимальную точность MAI-DxO достигает 85,5% точности.

Оба описанных инструмента повышения качества ИИ я применяю для своих задач уже несколько месяцев, и они потрясающе эффективны. Первый - создания процедуры общения (тактов, шагов, разделения стадий разбора тема через шаблон) - не просто задать вопрос прочитать ответ, а провести дискуссию с разбором, устроить спор ии-специалистов, прогнать выводы одного чрез критику и редактуру другого и тп - это разбивает проблемы узких контекстов и выводов, вытекающих из вопросов.
Второй метод - сложная архитектура ИИ-команды (конкурентные ИИ-агенты). Я им вообще создаю стабильные роли,CV, списки публикаций и опыта - это помогает им удерживать контекст и структуру роли. В исследовании были созданы следующие типы "докторов":

• Доктор Гипотеза – поддерживает дифференциальную диагностику с ранжированием вероятностей по трем наиболее вероятным состояниям, обновляя вероятности байесовским способом после каждого нового открытия.
• Dr. Test-Chooser – выбирает до трех диагностических тестов за раунд, которые максимально различают ведущие гипотезы.
• Доктор Челленджер — выступает в роли адвоката дьявола, выявляя потенциальные ошибки привязки, выявляя противоречивые доказательства и предлагая тесты, которые могут опровергнуть текущий ведущий диагноз.
• Доктор Стюардшип – обеспечивает экономически обоснованное медицинское обслуживание, выступая за более дешевые альтернативы, если они диагностически эквивалентны, и налагая вето на малоинформативные дорогостоящие тесты.
• Dr. Checklist – осуществляет скрытый контроль качества, чтобы гарантировать, что модель генерирует допустимые названия тестов и поддерживает внутреннюю согласованность в рассуждениях комиссии.

На первом графике в начале под Microsoft имеется в виду работа комплексной команды ИИ (с разными моделями, их эффективность внутри командной работы сравнивается на втором графике), а графики с упоминаем моделей - это однопроходные результаты разных ИИ. По качеству ИИ-одиночки не сильно хуже, но коллектив сильно экономит деньги.

Тут важен дисклеймер - вообще американская и британская система врачебной помощи далека от совершенства. "Парацетомол, вода и диета" - типичная рекомендация. В России диагностика стоит значительно (почти на порядок) дешевле, и врачи тут ей даже злоупотребляют (гипердиагностика). Это кстати открывает нишу потенциального медицинского туризма в Россию (Турция и Таиланд ее очень успешно развивают это), но это отдельный вопрос, почему мы не умеем в экспорт услуг.

Но в любом случае - ИИ привносит в медицину радикальную революцию, и радикально демократизирует высококачественные медицинские услуги. Врач из провинциального меда уже не будет опасен для здоровья в связке с таким ИИ, поскольку будет консультировать как столичное светило.