Граница

Почему не искусственный интеллект

ИИ часто предлагают как популярный способ автоматизировать поддержку медицинских решений. В HealthOS ICU граница проведена иначе: у постели пациента работает не чёрный ящик ИИ, а детерминированный супервизор. Прикроватный контур должен оставаться прослеживаемым, воспроизводимым и пригодным для независимой проверки.

Недостатки

Недостатки не устраняются в моделях

Ответ «не применять ИИ» и ответ «доверять ИИ» одинаково слабы: первый отказывается от масштаба чтения и структурирования текстов, второй превращает частоту ошибок модели в клинический риск. Платформа отвечает третьим способом: каждый недостаток моделей упирается в свой архитектурный барьер. Барьеры не улучшают модель — они определяют, где ей место и чего её выход не может достичь.

Недостаток модели	Барьер	Механизм
Невоспроизводимость	Детерминированное исполнение	Тот же вход и тот же снимок дают тот же результат
Вымышленные выводы	Компиляция из утверждённого снимка	У постели исполняется только скомпилированное знание
Непрозрачный след	Трассировка по версиям	Сработавшее правило ведёт к определению и его автору
Неуправляемое дообучение	Управляемое уточнение знания	Точечное изменение проходит те же проверки, что и исходное знание
Генерация обгоняет проверку	Ёмкость рассмотрения как метрика	Рост очереди кандидатов сверх ёмкости приостанавливает их генерацию
Каждая интеграция — новый канал влияния	Единый механизм интеграции	Один управляемый вход вместо самодельных мостов
Стоимость непрерывного вывода	Модели вне прикроватного пути	У постели в реальном времени работают модули оценки и безопасности

Регуляторика

Регуляторная граница

FDA, IMDRF и EU MDR проводят чёткую границу между поддержкой клинических решений, подпадающей под регулирование медицинских изделий, и той, что под него не подпадает. Ключевой тест — независимая проверка: может ли врач самостоятельно верифицировать основание рекомендации без специальной экспертизы в самом инструменте? «Чёрный ящик» ИИ этот тест по своей природе не проходит. Правило, скомпилированное из проверенного и утверждённого графа знаний, проходит: врач может найти правило, проследить его происхождение и возразить против него по клиническим соображениям.

Регуляторное позиционирование

HealthOS ICU позиционируется как программное обеспечение в составе медицинского изделия, а не как самостоятельное SaMD — основания и источники этой позиции собраны на странице регуляторики. Регуляторное позиционирование и источники →

Роль ИИ

Где в платформе находится доверенный ИИ

Доверенный ИИ в HealthOS ICU работает не у постели пациента, а в контуре подготовки знаний. Агенты помогают собирать доверенные источники, структурировать материалы и оформлять проект графа знаний. Проект графа проходит ручную проверку эксперта, SHACL-валидацию и утверждение; только после этого стабильный снимок может быть скомпилирован в детерминированный модуль.

Вместе с тем:

• Агент не утверждает стабильный снимок
• Агент не компилирует оценочный модуль
• Агент не выдаёт рекомендации и команды оборудованию.

Моделям отведены два звена цикла — сбор источников и разбор наблюдений эксплуатации. От такого размещения платформа получает от них больше, а не меньше: каждый выход модели проходит проверку человеком до входа в критический путь, и потому его можно использовать смелее, чем в системе, доверившейся модели целиком.

Ограничитель здесь не модель, а ёмкость рассмотрения. Агенты масштабируют подготовку проектов, эксперты-рецензенты не масштабируются. Поэтому пропускная способность рассмотрения планируется как ресурс, а очередь кандидатов на уточнение — управляемая метрика: рост очереди сверх ёмкости означает остановить генерацию, а не ускорить одобрение. Барьер разрушается не нарушением правила, а перегрузкой, при которой проверка вырождается в формальность.

Внимание врача

Автоматизационное смещение

Клинические исследования неизменно показывают: оповещения на основе ИИ в условиях ОРИТ усиливают автоматизационное смещение. Врачи чрезмерно доверяют выводам модели и недостаточно проверяют граничные случаи. Системы на основе правил делают свою неопределённость явной: правило либо срабатывает, либо нет; врач видит именно то правило, которое сработало, и может его проверить по цепочке доказательств — от эпизода сигнала и рассчитанного по нему показателя до правила и цитаты, на которую оно опирается.

Инженерия

Детерминизм как инженерное требование

Применение ИИ

Где ИИ полезен

ИИ уместен в данной платформе для поиска источников, структурирования материалов, подготовки проекта графа знаний и офлайн-аналитики кандидатов на уточнение. Он может помочь выявить возможное новое правило, корректировку правила или граничный случай, но результат остаётся проектным материалом для автора знаний и экспертной проверки.

Оценка

Benchmark, U-score, T-score

Высокая полезность без достаточного T-score не должна допускать результат в утверждённый снимок.

Дальше

Документы