В Пермском университете оценили надежность медицинского ИИ
Специалисты Пермского государственного университета выяснили, что искусственное расширение наборов медицинских снимков не всегда повышает точность нейросетей. В ряде случаев диагностические модели начинали работать хуже. Эту информацию сообщает издание Компьютерра.
Чтобы пополнить обучающие выборки, ученые применили аугментацию. Исходные кадры поворачивали, обрезали и отражали, корректировали яркость, контраст и цветовой баланс. Такие копии добавляли к основному массиву как новые примеры.
В работе задействовали две открытые базы. Одна насчитывала 20 971 фотографию ног по семи категориям классификации CEAP для хронических болезней вен. Другая включала 6786 дерматологических снимков восьми категорий. Сравнили 12 архитектур нейросетей, среди них сверточные модели и трансформеры.
Объем данных наращивали поэтапно — от исходного до увеличенного на 100%, каждую конфигурацию проверяли 20 раз, всего провели 5280 обучений. При добавлении 10% снимков точность выросла лишь у трех моделей из 12 на наборе с ногами и у пяти — на дерматологическом. У остальных показатели не изменились или ухудшились. Когда дерматологическую базу расширили максимально, десять моделей из 12 потеряли от 1 до 5 процентных пунктов.
По мнению авторов, преобразования не всегда сохраняют значимые признаки медицинских изображений: изменение оттенка, формы или отдельных элементов влияет на то, по чему нейросеть выявляет болезнь. Поэтому рост количества примеров сам по себе не обеспечивает более надежную диагностику. Аугментация, как отмечают ученые, остается полезным инструментом, однако ее эффект нужно отдельно оценивать для каждой архитектуры и задачи. Результаты опубликованы в Journal of Imaging.
