Разработан метод выявления ошибочных рассуждений ИИ
В Москве 19 ноября стало известно о методе, который помогает выявлять логические ошибки в рассуждениях искусственного интеллекта. Разработку представил ученый из России. О новинке рассказал Центр научной коммуникации МФТИ. Об этом рассказывает ТАСС.
По словам ведущего научного сотрудника Института искусственного интеллекта МФТИ Бориса Галицкого, алгоритм находит логические сбои даже тогда, когда модель излагает ошибочные мысли гладко и убедительно. Исследователь с коллегами сформировал датасет, чтобы изучить, как выглядят галлюцинаторные диагностические цепочки на уровне дискурса. Найдены структурные признаки, которые помогают отделять обоснованные объяснения от галлюцинаций и проверять ход мыслей ИИ.
Галицкий обратил внимание: ответы систем могут содержать не только выдуманные факты или несуществующие источники, но и цепочки с логическими ошибками. Особенно рискованны такие сбои в медицине, юриспруденции и науке, где нужно искать доказательства и объединять разнородные данные. Ученый предположил, что ошибочные заключения отличаются от корректного анализа по структуре рассуждений. Это в теории дает шанс заметить проблему до того, как ИИ применит неверные выводы в дальнейшей работе.
Для проверки идеи исследователь собрал около тысячи жалоб вымышленных пациентов с предполагаемыми аутоиммунными заболеваниями. К каждой жалобе подготовили два варианта рассуждений ИИ, ведущих к диагнозу: обоснованный и галлюцинаторный. Тексты разбили на короткие смысловые фрагменты и обработали алгоритмом классификации. Расчеты показали: только по структуре мыслей корректные и галлюцинаторные цепочки удавалось различить в 81% случаев.
Если учитывать содержание и другие особенности сгенерированных текстов, вероятность обнаружения логических галлюцинаций возрастала до 84%. В будущем подобные алгоритмы, анализирующие ход мыслей больших языковых моделей, помогут заметно повысить качество их работы там, где ошибки ИИ оборачиваются серьезным ущербом, заключил ученый.
