lapa — велика мовна модель для української мови

[Володимир Лісівка]

lapa — це модифікована версія Gemma3, у якій замінено близько 80 тисяч токенів на українські, що дозволяє моделі працювати з українською мовою в 1,5 рази ефективніше ніж Gemma3. Модель демонструє добре знання особливостей української мови.

Спробувати: https://huggingface.co/spaces/lapa-llm/lapa
Проєкт: https://github.com/lapa-llm/lapa-llm
Модель: https://huggingface.co/lapa-llm

[ps]

Дякую за посилання! Я тільки недавно спробував локальний сервер підняти, щоправда мій комп'ютер тягне моделі до 5 Гб.

А наскільки безпечні моделі від третіх розробників?
Там просто нейронна сітка чи ще якісь заголовки, або вбудована телеметрія? Ну тобто чи безпечно ставити все підряд з робочої машини...

[Володимир Лісівка]

А наскільки безпечні моделі від третіх розробників?
Там просто нейронна сітка чи ще якісь заголовки, або вбудована телеметрія? Ну тобто чи безпечно ставити все підряд з робочої машини...

Модель — це просто дані, але якщо модель підтримує роботу з інструментами і їй дати в руки якісь потужні інструменти, то вона може нашкодити або передати дані про запит.

Я тільки недавно спробував локальний сервер підняти, щоправда мій комп'ютер тягне моделі до 5 Гб.

На 5Гб можна запустити якусь модель на 5-8 мільярдів параметрів з квантуванням 4 і маленьким контекстом на пару тисяч токенів. Lapa 1.2 12b з квантуванням 4 і контекстом 4096 займає 9Гб в памʼяті, тоді як розмір файлу — всього 7Гб. (Запускав під ollama 0.13)

Код: [Вибрати]

NAME                                  ID              SIZE      PROCESSOR    CONTEXT    UNTIL             
lapa-v0.1.2-instruct-Q4_K_M:latest    4b0fa1a13cdb    9.1 GB    100% GPU     4096       4 minutes from now   

Модель працює швидко і дуже добре розуміє українську мову, але досить часто зациклюється, на жаль. Не знаю як це виправити. З mamay (україномовна модель на основі Gemma2) така сама ситуація. :-/

[Володимир Лісівка]

щоправда мій комп'ютер тягне моделі до 5 Гб.

Спробуйте Mamay 9B Q4:

https://huggingface.co/blog/INSAIT-Institute/mamaylm-ukr

https://huggingface.co/INSAIT-Institute/MamayLM-Gemma-2-9B-IT-v0.1-GGUF/tree/main