LocalAI — це альтернативний REST API, який сумісний зі специфікаціями OpenAI API для локальної інференції. Це дозволяє запускати LLM (і не тільки) локально на власному комп'ютері, підтримуючи кілька сімейств моделей сумісних із форматом ggml. Не вимагає GPU. Підтримуються як текстові моделі, так і розпізнавання звуку (Whisper) і генерування зображень (StableDiffusion).
Домашня сторінка:
https://localai.io/Сторінка проєкту:
https://github.com/go-skynet/LocalAI
