Якщо ви використовуєте локальні моделі ШІ, і у вас в групі є декілька машин з графічними процесорами, то з допомогою GPU Stack можна розподілити різні моделі на різні ноутбуки, на відміну від Ollama, яка запускає різні моделі лише на одному пристрої по черзі, що вимагає очікування на завантаження моделей. Це корисно, коли для виконання роботи потрібна одночасна робота кількох моделей ШІ.
Проєкт:
https://github.com/gpustack/gpustack
