Специалисты Массачусетского технологического института вместе с коллегами из Нью-Йоркского университета представили FLEX — платформу, которая учит роботов распознавать не только буквальный смысл обращения, но и подразумеваемые требования. Результаты проекта покажут на ежегодной конференции, посвящённой обучению машин. Об этом рассказывает RuSamara.
В основе FLEX лежит большая языковая модель, работающая с текстовыми массивами. Если человек просит робота подать кофе и добавляет: «Не пролей на ноутбук», система делает вывод об опасности для другой электроники. Маршрут меняется так, чтобы не задеть и телефон, хотя отдельного упоминания о нём не было.
Натан Денглер, научный сотрудник MIT, поясняет: у любой фразы есть глубинный замысел, который человек схватывает автоматически. Людям такой подтекст обычно понятен, а машине его приходится разъяснять. FLEX показывает роботу, что люди вкладывают в определённые слова.
Процесс разбит на три шага. Сначала робот вносит в список объекты, важные для задачи, — например, кружку, которую нельзя задеть, перемещая шар для боулинга. Затем GPT-4o обобщает данные и определяет, что избегать надо всех хрупких предметов. На финальном этапе компьютерное зрение вычёркивает то, что уже исчезло из обстановки; вся процедура занимает порядка пяти секунд.
Проверка прошла в симуляциях: робот подавал кофе, двигал свечу и переносил шар для боулинга. По данным MIT News, люди запрещали приближаться к стопке бумаги или ронять предметы на кружку, а робот соблюдал и более широкие правила безопасности — учился обходить электронику, легковоспламеняющиеся вещи и хрупкие объекты. Руководитель проекта Андреа Бобу отметила: у каждого человека свои приоритеты, и FLEX улавливает требования после одной-двух фраз. Часть работ поддержали консорциум MIT Generative AI Impact Consortium и программа MIT Schwarzman College of Computing.