Нейросеть научили ставить диагноз по рентгену Она ищет патологии на снимках

Нейросеть сокращает время описания одного снимка с нескольких минут примерно до 30 секунд, если не требуется значительная корректировка текста. В большинстве случаев специалисту затем нужно лишь подтвердить предложенный ИИ диагноз — или отсутствие патологии. Система работает на базе современных моделей машинного зрения и компьютерной лингвистики, в том числе GPT-3 small.

Обычные модели просто классифицируют, а нейросеть «Сколтеха» благодаря использованию современных моделей машинного зрения и компьютерной лингвистики учится автоматически описывать рентгеновские снимки, отмечают разработчики. Нейросеть обучена на парах «изображение — текст». Для этого был составлен радиологический словарь, чтобы повысить точность с точки зрения терминов и правил их использования в тексте.

Также сформирована большая сводная база рентгеновских снимков для использования в качестве обучающих данных. Ученые подчеркивают, что модель «знает» лишь те диагнозы, указания на которые действительно можно найти на рентгене легких. Обучающую выборку сбалансировали по разным болезням.

Здесь мы рассказываем, как работает цифровая медицина: