koboldcpp — інструмент для запуску різних ШІ

[Володимир Лісівка]

koboldcpp — це інструмент для запуску різноманітних моделей ШІ у форматах GGML та GGUF. Підтримуються генерація тексту (навіть груповий чат з декількома ШІ), зображень, відео, звуку, музики, розпізнавання мови та зображень. Koboldcpp підтримує сотні різних моделей доступних на HuggingFace. Для початківців, надаються початкові пакети з кількох невеликих моделей з різним призначенням.

Домашня: https://koboldai.com/
Спробувати: https://koboldai-koboldcpp-tiefighter.hf.space/
Проєкт: https://github.com/LostRuins/koboldcpp

[ps]

Хтось знає в чому перевага цієї програми перед llama.cpp з вбудованим Web сервером?

[Володимир Лісівка]

Кобольд міє генерувати не тільки текст, але і зображення та музику:

https://koboldai-koboldcpp-tiefighter.hf.space/lcpp
https://koboldai-koboldcpp-tiefighter.hf.space/sdui
https://koboldai-koboldcpp-tiefighter.hf.space/musicui

[Володимир Лісівка]

Хтось знає в чому перевага цієї програми перед llama.cpp з вбудованим Web сервером?

До речі. LM-Studio значно легше використовувати ніж голий llama: одна аплікація з GUI, з якої можна завантажити потрібні моделі без використання CLI. https://lmstudio.ai/