Теперь модели ИИ Google могут работать с рентгеновскими снимками
Публикация от 8 августа 2023 г.. Учитывайте её дату: возможности сервисов и условия доступа могли измениться.
Google проводит эксперименты с мультимодальными моделями искусственного интеллекта в области медицины. Исследователи разрабатывают системы, способные обрабатывать информацию из различных источников. Одним из таких проектов является Med-PaLM M — интеграция генеративной модели изображений и языковой модели Google PaLM 2, созданная специально для рентгеновских снимков.
В настройке LLM, текстовые и табличные данные подвергаются кодированию, в то время как остальные данные рассматриваются как изображение. Используя Med-PaLM M, исследователи извлекают информацию из различных источников данных, включая изображения, геномные записи и клинические документы.
MultiMedBench представляет собой набор из 14 различных задач, включающих медицинские вопросы, интерпретацию маммографии и дерматологических изображений, а также создание и обобщение радиологических отчетов.
Однако Google столкнулась с проблемой ограниченности доступных наборов данных для тестирования, что затрудняет разработку многозадачной системы. Недостаток медицинских данных также создает препятствия для масштабирования модели. Для эффективного решения разнообразных задач программистам необходимо масштабироваться с языковой моделью.
