Jeton verimliliği mimarî bir husustur

Token tüketiminden genellikle bir maliyet sorunu olarak bahsederiz. Bu aynı zamanda mimarînin modellerin bağlamı tekrar keşfetmesine, kararları yeniden açıklamasına ya da ihtiyaç duymadıkları materyali gözden geçirmesine neden olabildiğinin bir işaretidir.

Token sayısını azaltmak sistemin daha az dikkatli olması anlamına gelmemelidir. Her aşamaya en küçük kullanışlı bağlam vermek, kararları yeniden kullanılabilecek biçimde korumak ve başka bir dil-model geçişinin çok az katkı sağladığı yerlerde belirlenimci kontrolleri kullanmak anlamına gelmelidir.

Bazen daha geniş bir bağlam tam da işin ihtiyaç duyduğu şeydir. Hata, her katılımcının her zaman tüm geçmişe ihtiyaç duyduğunu varsaymaktır.

Verimlilik sadece aynı istemi için daha az ödeme yapmak değildir. Hangi aşamanın gerçekte neyi bilmesi gerektiğini bilen bir sistem tasarlamaktır.