Петербургские ученые из ЛЭТИ 25 сентября представили алгоритм для выявления слабых мест в нейросетях беспилотников. Разработка автоматизирует проверку моделей компьютерного зрения, от которых зависит работа воздушного и автомобильного транспорта. Об этом сообщает сайт ТАСС.
По словам пресс-службы вуза, технология повышает безопасность беспилотного транспорта. Современные автопилоты опираются на модели компьютерного зрения, распознающие и классифицирующие объекты. Их работу могут нарушить атаки: злоумышленники накладывают на изображения особые фильтры. Человек их не видит, а нейросеть начинает ошибаться, например принимает один дорожный знак за другой.
Алла Левина, возглавляющая лабораторию фундаментальных основ интеллектуальных систем и работающая доцентом кафедры информационной безопасности ЛЭТИ, рассказала о принципе работы. В вузе собрали общий каталог всех известных средств для выявления слабых мест у моделей компьютерного зрения. Затем создали эволюционный алгоритм оптимизации. Программа сама пересматривает варианты методов, меняет настройки и останавливается на конфигурации, которая лучше всего находит уязвимости конкретной модели. Вместо ручного подбора достаточно запустить программу.
Сейчас устойчивость таких систем специалисты проверяют вручную. Это медленно, субъективно и не позволяет охватить все возможные варианты атак. В ЛЭТИ процесс разбили на шесть модулей, в том числе для функций потерь, планирования и градиентов моделей. Так появился программный комплекс, который превратил подбор конфигураций в задачу оптимизации для черного ящика. Для поиска лучших сочетаний инструментов использовали байесовский метод оптимизации и отдельный эволюционный алгоритм.
Для тестов применяли собственную модель компьютерного зрения, обученную на большой базе данных. Эффективность оценивали по доле ошибочных срабатываний и по тому, насколько незаметны для глаза внесенные изменения. На тысяче картинок стандартный метод вводил нейросеть в заблуждение в 13% случаев. Программа нашла вариант, обманувший нейросеть уже в 58% случаев. Объем правок в картинках уменьшился почти на 15% относительно стандартного способа. Смотрятся они как слабый шум на снимке, который много раз пересохраняли, а не как явная подделка.