Исследователи из Google Research и DeepMind, лаборатории искусственного интеллекта Google, раскрыли детали о новом семействе продвинутых больших языковых моделей Med-Gemini, созданных специально для применения в сфере здравоохранения.

Хотя модели ИИ Med-Gemini все еще находятся на исследовательской стадии, их создатели утверждают, что они превосходят конкурирующие решения, такие как GPT-4 от OpenAI. По словам авторов, Med-Gemini, базирующиеся на модели Google Gemini, обладают огромным потенциалом в клинической диагностике и демонстрируют результаты выше отраслевых стандартов в 14 популярных медицинских бенчмарках.

В частности, в тесте MedQA (USMLE) модель Med-Gemini достигла точности 91,1%, используя стратегию поиска на основе неопределенности, что на 4,5% лучше результата медицинской LLM Med-PaLM 2 от Google. Набор моделей также превзошел человеческих врачей в обобщении медицинских текстов и составлении рекомендаций.

Медики в половине случаев оценивали ответы Med-Gemini-M 1.0 как хорошие или даже лучшие по сравнению с ответами экспертов. Med-Gemini представляет собой семейство больших мультимодальных моделей (LMM), каждая из которых предназначена для своих задач. В отличие от обычных больших языковых моделей, демонстрирующих "неоптимальные клинические рассуждения в условиях неопределенности" и страдающих от галлюцинаций и предвзятости, Med-Gemini, по утверждению Google, дают "фактически более точные, надежные и детальные результаты для сложных задач клинического обоснования" по сравнению с конкурентами, включая GPT-4.

По результатам семи мультимодальных бенчмарков, в том числе теста на распознавание изображений из New England Journal of Medicine (NEJM), модель Med-Gemini продемонстрировала значительно лучшие показатели, чем GPT-4. Для проверки способности Med-Gemini понимать и рассуждать на основе длинных медицинских контекстных данных, исследователи успешно выполнили с ее помощью так называемую задачу поиска "иголки в стоге сена". Для этого использовалась большая общедоступная база данных MIMIC-III с обезличенной информацией о состоянии здоровья пациентов отделений интенсивной терапии.

Поддержка Med-Gemini эффективного поиска в базах данных электронных медицинских карт, по заверениям Google, позволит "значительно снизить когнитивную нагрузку и расширить возможности врачей за счет эффективного извлечения и анализа важной информации из огромных объемов данных пациентов". Исследователи также отмечают, что Med-Gemini демонстрируют хорошие результаты в медицинских тестах, клинических рассуждениях, геномике, медицинской визуализации, интерпретации медицинских записей и видео.

В то же время в Google признают, что прежде чем модели смогут использоваться в практическом здравоохранении, им требуется дополнительная доработка и специализация. Эксперты продолжают работу в этом направлении.

Источник: Newatlas.com