Локальный AI — это проблема планирования, а не проблема модели

Обсуждение локального AI обычно сосредоточено на самой крупной модели, которую машина может загрузить. Это интересно, но это не вопрос, с которым столкнётся большинство людей.

Практический вопрос — сколько полезной работы может выполнить система, как быстро и для скольких задач одновременно. Свободная память, контекст, кеширование, параллелизм, работа в приоритете и фоновая работа, а также корректная деградация могут быть важнее заявленного размера модели.

Я бы предпочёл меньшую систему, которая обрабатывает обычные запросы сразу и знает, когда обратиться внешним ресурсам, нежели большую модель, которая технически подходит, но заставляет весь компьютер казаться занятым.

Локальный AI становится продуктом, когда распределение ресурсов становится невидимым для пользователя. Это проблема планирования, а не проблема модели.