L
i
nux.org.ua
Головна
Форум
Довідка
Правила
Пошук
Увійти
Реєстрація
Linux.org.ua
»
Новини
»
Новини
»
llamafile — нейронна мережа як самостійний виконавчий файл
« попередня гілка
наступна гілка »
Друк
Сторінки:
1
Автор
Гілка: llamafile — нейронна мережа як самостійний виконавчий файл (Прочитано 4800 раз)
Володимир Лісівка
Адміністратор ЩОДО
Видавець
дописів: 3820
Карма: +11/-0
Програміст
llamafile — нейронна мережа як самостійний виконавчий файл
«
:
2023-12-01 13:39:38 »
llamafile — це об'єднання Llama та Cosmopolitan_LIBC. У результаті виходить один виконавчий файл, який містить код для різних операційних систем (Linux, MacOS, Windows), та ваги мережі в одному виконавчому файлі. Просто завантажте файл, зробіть його виконуваним (або перейменуйте в *.exe на Windows) і запустіть. Тоді перейдіть переглядачем на localhost:8080 і починайте спілкування з ШІ. На моєму ноутбуці (без CUDA) він видає 2-3 слова в секунду - достатньо комфортно для читання під час генерації.
Проєкт:
https://github.com/Mozilla-Ocho/llamafile
Сервер як виконавчий файл:
https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llamafile-server-0.1-llava-v1.5-7b-q4
«
Змінено: 2023-12-01 17:21:44 від Володимир Лісівка
»
Записаний
[Fedora Linux]
Друк
Сторінки:
1
« попередня гілка
наступна гілка »
Linux.org.ua
»
Новини
»
Новини
»
llamafile — нейронна мережа як самостійний виконавчий файл