Автор Гілка: llamafile — нейронна мережа як самостійний виконавчий файл  (Прочитано 4800 раз)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 3820
  • Карма: +11/-0
  • Програміст
llamafile — це об'єднання Llama та Cosmopolitan_LIBC. У результаті виходить один виконавчий файл, який містить код для різних операційних систем (Linux, MacOS, Windows), та ваги мережі в одному виконавчому файлі. Просто завантажте файл, зробіть його виконуваним (або перейменуйте в *.exe на Windows) і запустіть. Тоді перейдіть переглядачем на localhost:8080 і починайте спілкування з ШІ. На моєму ноутбуці (без CUDA) він видає 2-3 слова в секунду - достатньо комфортно для читання під час генерації.

Проєкт: https://github.com/Mozilla-Ocho/llamafile
Сервер як виконавчий файл: https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llamafile-server-0.1-llava-v1.5-7b-q4
« Змінено: 2023-12-01 17:21:44 від Володимир Лісівка »
[Fedora Linux]