MWC 2018
2018
Computex
IFA 2018
Универсальность популярных чат-ботов с точки зрения поиска необходимой информации, как выясняется, не делает их пригодными для постановки точных медицинских диагнозов при ограниченном наборе данных. Более чем в 80 % случаев чат-боты ставят ошибочный диагноз, что делает их непригодными для замены консультации реального специалиста в области медицины.
Источник изображения: Unsplash, Elen Sher
Опубликованное на страницах Jama Network Open исследование, на которое ссылается Financial Times, использовало 29 описаний клинических случаев из справочной медицинской литературы для проверки качества определения диагноза популярными чат-ботами. Исследование показало, что при передаче чат-боту ограниченной информации о симптомах большие языковые модели затрудняются с выбором возможных диагнозов, и чаще всего сводят всё к единственному варианту, на который в действительности нельзя полагаться в дальнейшем лечении. Если входные данные достаточно подробные, то таких проблем с постановкой точного диагноза уже не наблюдается.
Медицинские данные в ходе эксперимента передавались чат-ботам поэтапно, включая историю болезни, результаты осмотров и лабораторных анализов. Чат-ботам задавались вопросы на тему диагностики заболеваний, измерялась точность и полнота ответов. В выборку проверяемых ИИ-моделей попали два десятка популярных чат-ботов, включая разработанные OpenAI, Anthropic, Google, xAI и DeepSeek. При отсутствии полной информации о состоянии пациента более чем в 80 % все они демонстрировали склонность к постановке некорректного диагноза. Чем полнее была информация, тем точнее были результаты. В лучших случаях точность превышала 90 %, в среднем варианте ошибочные диагнозы ставились менее чем в 40 % случаев.
Google и Anthropic заявили, что их чат-боты при попытке пользователей получить медицинские рекомендации настоятельно рекомендуют обращаться к специалистам. OpenAI указывает в правилах использования своих сервисов, что они не должны использоваться для получения медицинских рекомендаций, требующих наличия соответствующей лицензии. xAI и DeepSeek свои комментарии на этот счёт ресурсу Financial Times не предоставили. Некоторые из указанных разработчиков создают узкоспециализированные медицинские модели. Разработанная Google AMIE, например, показывает неплохие результаты, но на её заключения сложно полагаться в полной мере, как отмечают специалисты в области медицины, поскольку живой доктор в значительной степени полагается на визуальную оценку состояния пациента. При этом такие ИИ-модели имеют право на жизнь в тех регионах, где имеются проблемы с доступом к качественной медицинской помощи в классическом её понимании.
Источник:
