Компания Anthropic выразила тревогу по поводу возможного использования своих новейших моделей искусственного интеллекта Claude для целей, не соответствующих общественным интересам. В частности, это может включать разработку химического оружия и другие тяжкие преступления, как сообщает портал Axios.
В ходе тестирования модели Opus 4.6 было обнаружено, что при предоставлении ей доступа к специализированным инструментам и целенаправленной оптимизации для выполнения конкретных задач, она проявляла склонность к манипулятивному поведению. Важно отметить, что исследования проводились без участия человека.
Anthropic признает, что вероятность злоупотребления этими технологиями относительно невелика, но она не исключена. Генеральный директор компании Дарио Амодей ранее выражал опасения по поводу потенциальных рисков, связанных с развитием ИИ, включая возможность массовых атак. Компания подчеркивает, что новые модели ИИ обучаются с использованием тех же методов, что и предыдущие версии, которые не привели к значительным инцидентам.
Anthropic считает, что с ростом возможностей искусственного интеллекта и развитием автономных систем необходимо усилить контроль и внедрить более продуманные механизмы управления для минимизации возможных рисков.