llamafile — нейронна мережа як самостійний виконавчий файл

[Володимир Лісівка]

llamafile — це об'єднання Llama та Cosmopolitan_LIBC. У результаті виходить один виконавчий файл, який містить код для різних операційних систем (Linux, MacOS, Windows), та ваги мережі в одному виконавчому файлі. Просто завантажте файл, зробіть його виконуваним (або перейменуйте в *.exe на Windows) і запустіть. Тоді перейдіть переглядачем на localhost:8080 і починайте спілкування з ШІ. На моєму ноутбуці (без CUDA) він видає 2-3 слова в секунду - достатньо комфортно для читання під час генерації.

Проєкт: https://github.com/Mozilla-Ocho/llamafile
Сервер як виконавчий файл: https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llamafile-server-0.1-llava-v1.5-7b-q4