Автор Гілка: GPU Stack — запуск і керування моделями ШІ на кластері  (Прочитано 4261 раз)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3820
  • Карма: +11/-0
  • Програміст
Якщо ви використовуєте локальні моделі ШІ, і у вас в групі є декілька машин з графічними процесорами, то з допомогою GPU Stack можна розподілити різні моделі на різні ноутбуки, на відміну від Ollama, яка запускає різні моделі лише на одному пристрої по черзі, що вимагає очікування на завантаження моделей.  Це корисно, коли для виконання роботи потрібна одночасна робота кількох моделей ШІ.

Проєкт: https://github.com/gpustack/gpustack
[Fedora Linux]