Yerel AI, bir model problemi olmadan önce bir zamanlama problemidir

Yerel AI konuşması, bir makinenin yükleyebileceği en büyük modele odaklanmaya eğilimlidir. Bu ilginçtir, ancak çoğu insanın yaşayacağı soru değildir.

Pratik soru, sistem ne kadar yararlı iş yapabilir, ne kadar hızlı ve aynı anda kaç şey için yapabilir. Bellek haritası, bağlam, önbellek, eşzamanlılık, ön plan ve arka plan çalışması, ve zarif geri dönüş başlık model boyutundan daha önemli olabilir.

Hemen olağan istekleri işleyen ve ne zaman dışarı uzanacağını bilen daha küçük bir sistem yerine, teknik olarak uygun ancak tüm bilgisayarı meşgul yapan daha büyük bir model tercih ederim.

Yerel AI, kaynak tahsisi onu kullanan kişiye görünmez hale geldiğinde bir ürün haline gelir. Bu, bir model problemi olmadan önce bir zamanlama problemidir.