Магистранты Университета ИТМО в сотрудничестве с компанией Raft разработали систему защиты искусственного интеллекта (ИИ), названную HiveTrace. Эта инновационная разработка предназначена для предотвращения кибератак на веб-приложения, использующие генеративные модели ИИ.
Система HiveTrace обеспечивает защиту от семи наиболее критических уязвимостей, включая инъекции промтов, утечки конфиденциальных данных и ошибки в обработке информации. В перспективе планируется расширение функционала для противодействия новым угрозам.
HiveTrace обладает высокой степенью совместимости с различными моделями ИИ, включая как открытые, так и проприетарные решения. Это позволяет компаниям настраивать параметры безопасности в соответствии с их специфическими требованиями.
Разработчики подчеркивают, что зарубежные аналоги системы не адаптированы для российского рынка и не учитывают особенности русского языка. Кроме того, многие корпоративные решения крупных IT-компаний недоступны для общего использования.
Система HiveTrace была создана в рамках лаборатории AI Security Университета ИТМО при поддержке онлайн-магистратуры AI Talent Hub. С учетом растущего внедрения ИИ в бизнес-процессы, потребность в подобных системах защиты будет возрастать, пишет Ферра.