Исследование Гарвардского университета: сравнение диагностических возможностей моделей OpenAI o1 и 4o с врачами

Гарвардский университет опубликовал исследование, анализирующее эффективность reasoning-моделей OpenAI o1 и 4o в постановке диагнозов в условиях приёмного отделения скорой помощи. В ходе эксперимента моделям и врачам предоставлялись идентичные описания 76 клинических случаев, после чего требовалось установить предполагаемый диагноз. Результаты показали, что модель o1 корректно диагностировала 89% случаев, тогда как врачи справились с задачей лишь в 34%.Значительный разрыв в показателях (89% против 34%) объясняется не превосходством искусственного интеллекта над человеческим интеллектом, а различиями в условиях работы. Врачи функционируют в условиях высокой нагрузки, усталости и дефицита времени, обрабатывая десятки пациентов за смену с ограниченным временем на каждого. Reasoning-модель, напротив, способна спокойно анализировать гипотезы, удерживать весь дифференциальный диагноз в контексте и не подвержена утомлению. В идеальных условиях, без временных ограничений и внешних помех, тот же врач, вероятно, демонстрировал бы результаты, сопоставимые с 89%. Однако в реальной практике приёмного отделения такие условия недоступны, в то время как для модели они являются стандартными.Эта динамика аналогична процессам, наблюдаемым в сфере информационных технологий. Полтора года назад исследования METR (независимая группа по оценке ИИ) демонстрировали, что разработчики, использующие AI-ассистентов, работали на 19% медленнее. Год спустя те же замеры показали увеличение производительности на 18%, и этот показатель продолжает расти. Разворот на 37 процентных пунктов за год в строго регулируемой и измеряемой профессиональной области указывает на быструю адаптацию. Медицина, вероятно, пройдёт схожую траекторию, причём движущей силой будут не только регуляторы, но и сами пациенты, которые уже сегодня обращаются к врачам с результатами запросов в ChatGPT для комментариев.Искусственный интеллект будет предоставлять пациентам второе мнение, которое в среднем на долгосрочной перспективе окажется более точным. Важно подчеркнуть: ни в коем случае нельзя использовать ИИ для самостоятельной интерпретации анализов, постановки диагнозов и назначения лечения. Упомянутая точность «в среднем» подразумевает, что в 1-2 случаях из 10 диагноз или лечение могут быть ошибочными, что представляет серьёзную опасность. В текущем виде ИИ в медицине следует рассматривать исключительно как инструмент для получения второго, вспомогательного мнения.Публикация по исследованию в Science: https://www.science.org/doi/10.1126/science.adz4433#ИскусственныйИнтеллект #Медицина #Диагностика #OpenAI #ГарвардскийУниверситет #AIвМедицине #Здравоохранение #ReasoningМодели #ChatGPT #НаучныеИсследования