Автономность должна масштабироваться вместе с обратимостью.

Я не думаю, что полезный вопрос в том, должен ли агент ИИ быть автономным. Это слишком широко. Вопрос в том, сколько автономности имеет смысл для конкретного действия.

Если действие низкорисковое, обратимое и изолированное, я хочу, чтобы система действовала быстро. Чтение файла, организация информации, попытка локального изменения или подготовка черновика не должны требовать того же процесса, что отправка сообщения, трата денег, раскрытие приватной информации или изменение чего-то, на что опирается другой человек.

Трюк в том, чтобы сложность следовала за риском. Большинство систем делают одно из двух. Они ставят одну и ту же ступень одобрения перед всем, что делает агента неудобным в использовании. Или они дают агенту широкий доступ и полагаются на то, что модель будет осторожна, что работает до тех пор, пока действие не начнет иметь значение.

Я думаю, что автономность должна быть динамической. Обратимое действие с малым радиусом поражения может продолжаться и оставить запись. Действие, которое сложнее отменить, может потребовать предпросмотра, более узкого разрешения или второй проверки. Значительное действие все еще может требовать человека. Модель может помочь оценить ситуацию, но она не должна иметь возможность расширить свои собственные полномочия, потому что она чувствует уверенность.

Это не выбор между полезными агентами и безопасными. Система, которая просит одобрение на каждый тривиальный шаг, не очень хорошо спроектирована. Также не система, которая трактует каждый успешный вызов инструмента как свидетельство того, что ей должен быть предоставлен больший доступ.

Практическая цель проста: дать системе достаточно свободы, чтобы быть полезной, и добавить структуру по мере роста последствий. Автономность не является свойством, которое агент либо имеет, либо не имеет. Это решение, которое окружающая система принимает для каждого вида работы.