Pangram стал золотым стандартом ИИ-детекции, но стоит ли ему верить
Сервис Pangram предназначен для выявления текстов, созданных нейросетями, но методы его работы вызывают споры. В основе лежит «синтетическое зеркалирование»: алгоритм сопоставляет человеческие отрывки с близкими по смыслу версиями, сгенерированными большими языковыми моделями. Дополнительно применяется hard negative mining — поиск ложных срабатываний для последующего дообучения. Об этом пишет портал Science XXI.
По данным Wired, детектором пользуются учебные заведения, юристы и рекрутинговые компании. Основной блок обучающих текстов — художественная литература. Макс Сперо отмечает, что все данные лицензированы, а создатели ИИ, по его словам, утратили часть доверия, прежде всего у представителей творческих профессий.
В центре скандала оказалась история с рукописью Shy Girl («Застенчивая девушка»). В январе после упоминания на Reddit Сперо получил PDF-файл и сразу загрузил текст в свой сервис, а затем обнародовал результат. Позже выяснилось, что в обсуждении с аналитиком издательской отрасли участвовал сотрудник отдела продаж Pangram. Критики также говорили, что рукопись попала к основателю с пиратского сайта; сам Сперо признал: целиком файл он не изучал.
После высокого результата одного из лауреатов Pangram проанализировал произведения, отмеченные Commonwealth Short Story Prize с 2012 года, и выявил ещё три вероятных случая использования ИИ. Сперо настаивает, что выводы сервиса при отмене контрактов были лишь частью общей картины. По его словам, ценность работы не в том, чтобы убедить читателя в обмане.
