Claude может создавать новые версии ИИ: предупреждение Anthropic

Создатель чат-бота Claude — компания Anthropic — добавила в материалы для инвесторов отдельный раздел о рисках. В нем описан сценарий, при котором нейросети начнут участвовать в выпуске более сильных собственных версий. Об этом сообщает iXBT.com. Об этом пишет сайт RuSamara.

Подобный процесс именуют RSI — рекурсивное самоулучшение. Смысл в том, что возможности уже работающих моделей применяют при обучении следующих. Исследования могут пойти быстрее, однако управлять новыми системами станет сложнее.

Anthropic уже использует ИИ в инженерной работе и научных изысканиях. Там не исключают: модели способны совершенствоваться быстрее, чем люди успевают проверять их надежность, поведение и безопасность. Тогда крупные изменения в возможностях ИИ иногда выявляются с запозданием.

В компании признали, что такие задержки случались и раньше. Согласно внутренним прогнозам, приближение к ее критерию резкого ускорения прогресса возможно в скором времени. Пока ни одна система не получила оценку, которая подтвердила бы достижение этого порога.

Anthropic уточнила: доверять Claude разработку будущих поколений мощных моделей без участия людей она пока не намерена. Речь идет о потенциальном развитии технологии, а не о уже работающей полностью автономной системе.