Вы можете управлять только тем, что можете сравнить

Когда я спрашиваю, что система могла делать во вторник, я хочу ответ, который не зависит от восстановления разговора. Я хочу версию. Это та политика, которая была в силе, это та, которая её заменила, и это разница между ними.

Много поведения агентов не имеет этого свойства. Действующее правило — это смесь системного промпта, какого-то загруженного контекста и интерпретации моделью обоих. Измени одно предложение, и система ведёт себя иначе, без записи о том, что произошло изменение, и без способности сказать, что изменилось. Поведение реально. Оно не подлежит проверке.

Тест, который я начал использовать, прост. Могут ли два человека посмотреть на систему до и после и согласиться, что произошло? Если ответ — это diff, поведение можно проверить, одобрить, откатить и дать ответ. Если ответ — это транскрипт, то нельзя.

Вот почему я всё время разделяю то, что решает модель, и то, что позволяет окружающая система. Суждение модели может быть вероятностным и трудно проверяемым. Разрешение вокруг него должно быть чем-то, что можно поместить в репозиторий и сравнить.

Разговоры — это доказательство. Политика — это код. Управлять можно только вторым видом.