Эффективность токена — архитектурная задача

Мы обычно говорим о потреблении токенов как о вопросе стоимости. Это также сигнал того, что архитектура может заставлять модели повторно открывать контекст, переобъяснять решения или пересматривать материал, который им не нужен.

Сокращение токенов не должно означать меньшую тщательность системы. Это должно означать предоставление каждому шагу наименьшего полезного контекста, сохранение решений в форме, которая может быть переиспользована, и использование детерминированных проверок там, где ещё один проход языковой модели даёт мало.

Иногда больший контекст — это именно то, что нужно для работы. Ошибка в предположении, что каждый участник нуждается в полной истории каждый раз.

Эффективность — это не только платить меньше за один и тот же запрос. Это проектирование системы, которая знает, что на самом деле нужно знать на каждом шаге.