Автор Гілка: bebelm — виконання LFM2.5-8B-A1B на CPU  (Прочитано 45 раз)

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 4130
  • Карма: +36/-0
  • Програміст
bebelm — виконання LFM2.5-8B-A1B на CPU
« : Сьогодні о 11:03:55 »
bebelm — це невелика програма на чистому Rust, яка вміє виконувати лише одну модель (LFM2.5 8b суміш експертів з 1 мільярдом активних параметрів) на процесорі. Також, програмний інтерфейс дозволяє вбудовувати підтримку ШІ у власні програми написані на Rust.

Проєкт: https://github.com/maximecb/bebelm
[Fedora Linux]

Відсутній Володимир Лісівка

  • Адміністратор ЩОДО
  • Видавець
  • *****
  • дописів: 4130
  • Карма: +36/-0
  • Програміст
Re: bebelm — виконання LFM2.5-8B-A1B на CPU
« Відповідей #1 : Сьогодні о 11:09:49 »
Модель виконується зі швидкістю приблизно 20 токенів на секунду на моєму ноутбучному Intel i5 дванадцятого покоління з памʼяттю DDR5. Вона тупувата, не вміє розмовляти українською, але розуміє українську, підтримує середній розмір контексту (128к) і може виконувати якусь корисну роботу на ноутбуках з 16Гб памʼяті.
[Fedora Linux]