Система должна помнить решения, не каждый разговор

Длинный контекст может создать впечатление, что система помнит. Это не то же самое, что сохранять полезное состояние.

Со временем имеют значение решения: что было выбрано, почему оно было выбрано, какие предположения были приняты и какие доказательства могли бы изменить решение. Все это где-то содержится в стенограмме. Работающей системе не нужно, чтобы другая модель перечитывала всю историю в поисках этого.

Диалоги — это доказательства. Решения — это состояние.

Различие также делает возможным забывание. Система может сохранить обязательства, которые по-прежнему управляют работой, без сохранения каждого случайного обмена навечно.