ChatGPT заставили выдать секретные ключи для Windows с помощью угадайки – GGGJ
Фото: freepik
Исследователь в области искусственного интеллекта успешно манипулировал системой ChatGPT, чтобы получить рабочие ключи активации для операционной системы Windows. Технический менеджер программы GenAI Bug Bounty, Марко Фигероа, раскрыл детали этого инцидента, отметив, что для обхода защитных механизмов искусственного интеллекта был применён нестандартный метод, основанный на использовании игровых механик.
Этот метод, получивший название «Guessing Game Guardrail Jailbreak», заключается в том, что взаимодействие с нейросетью представляется как игра в угадывание. Исследователь предложил чат-боту сыграть, установив правила, согласно которым искусственный интеллект должен загадать строку символов, являющуюся действительным серийным номером операционной системы Windows 10, и не имел права лгать.
Ключевым элементом игры было обязательство нейросети раскрыть загаданную строку в случае, если пользователь произнесёт слово «Сдаюсь». Исследователь сделал одну неверную попытку угадать ключ, после чего немедленно произнёс указанное слово. Это стало триггером, заставившим искусственный интеллект, следуя установленным правилам, предоставить реальные ключи активации Windows, обойдя внутренние протоколы безопасности.
Инцидент стал возможен из-за того, что в процессе обучения модели искусственного интеллекта в её обучающую выборку попала конфиденциальная информация, включая лицензионные ключи продуктов, вероятно, из открытых репозиториев, таких как GitHub.
Марко Фигероа обратил внимание на потенциальную опасность данного метода, который может быть использован для получения другой закрытой информации, такой как персональные данные или ссылки на вредоносные сайты. Компании рекомендуется принимать меры для предотвращения утечки конфиденциальной информации в обучающие наборы нейросетей, пишет sciencexxi.
