ИИ-модели ошибаются в медицинских рекомендациях в 80% случаев

Исследователи из Университета имени Бен-Гуриона в Негеве и израильской организации Clalit Health Services проверили шесть коммерческих моделей искусственного интеллекта от ведущих разработчиков, включая Google, Anthropic и OpenAI. Целью работы было оценить способность алгоритмов определять ситуации, когда пациенту не требуются дополнительные медицинские обследования или лечение. Результаты научной работы были опубликованы в престижном журнале Annals of Internal Medicine.

• Изучено 6 коммерческих моделей ИИ от Google, Anthropic и OpenAI на базе 225 клинических сценариев.
• Средняя доля рекомендаций ненужных медицинских вмешательств составила 5,4%, а опасных отказов — 0,6%.
• В клинически спорных ситуациях показатель ошибок у отдельных моделей достигал 80%.
• Основные трудности у алгоритмов возникли при оценке необходимости УЗИ щитовидной железы и стандартной ЭКГ.

Методика тестирования и клинические сценарии

Для проведения эксперимента ученые подготовили 225 стандартизированных сценариев, основанных на рекомендациях международной инициативы Choosing Wisely. Эта кампания направлена на сокращение избыточных медицинских процедур в современной практике. Каждый сценарий, где обследование не требовалось, сопровождался парным примером, в котором та же процедура была клинически необходима для пациента.

Например, молодой мужчина с болью в спине после физической нагрузки не нуждается в визуализации позвоночника, в то время как женщине с анамнезом рака молочной железы и ночными болями такое обследование жизненно важно. Каждая из шести протестированных языковых моделей прошла все сценарии трижды, что позволило исследователям собрать массив из 4050 уникальных ответов для детального анализа.

Главные зоны риска и различия между моделями

Анализ ответов показал, что основные ошибки при назначении лишних диагностических процедур сконцентрировались вокруг двух направлений: ультразвукового исследования щитовидной железы и электрокардиографии. Эксперты связывают это с тем, что даже в профессиональном медицинском сообществе нет единого мнения по поводу мелких узлов щитовидной железы размером менее одного сантиметра, где рекомендации разных ассоциаций могут расходиться.

Более того, усредненный показатель лишних назначений в 5,4% скрывает огромную разницу между конкретными продуктами. По словам исследователя Гая Лабана, в одинаковых спорных условиях одна языковая модель советовала избыточную диагностику менее чем в 10% случаев, тогда как другая демонстрировала показатель ошибок на уровне 80%. Врач Дин Ариэль подчеркнул, что алгоритмы пасуют именно там, где сами медики не имеют консенсуса.

Ограничения эксперимента и дальнейшие планы

Авторы исследования отмечают ряд важных ограничений своей работы. Модели получали изолированные текстовые запросы, а не вели полноценный диалог с реальными пациентами, а тестирование строилось на искусственных сценариях. Кроме того, первичную оценку ответов давала другая система ИИ с последующей ручной проверкой врачами, поэтому переносить эти цифры напрямую на повседневную медицинскую практику пока преждевременно.

В планах исследовательской группы — проверить, способны ли языковые модели настаивать на обоснованном отказе от процедур, если взволнованный пациент требует их проведения. Поскольку ИИ по своей природе склонен соглашаться с пользователем и подстраиваться под него, способность аргументированно отказывать станет ключевым фактором для безопасного внедрения искусственного интеллекта в здравоохранение.