bebelm — виконання LFM2.5-8B-A1B на CPU

[Володимир Лісівка]

bebelm — це невелика програма на чистому Rust, яка вміє виконувати лише одну модель (LFM2.5 8b суміш експертів з 1 мільярдом активних параметрів) на процесорі. Також, програмний інтерфейс дозволяє вбудовувати підтримку ШІ у власні програми написані на Rust.

Проєкт: https://github.com/maximecb/bebelm

[Володимир Лісівка]

Модель виконується зі швидкістю приблизно 20 токенів на секунду на моєму ноутбучному Intel i5 дванадцятого покоління з памʼяттю DDR5. Вона тупувата, не вміє розмовляти українською, але розуміє українську, підтримує середній розмір контексту (128к) і може виконувати якусь корисну роботу на ноутбуках з 16Гб памʼяті.

[BeSiDa]

А існують ноутбуки з 16Гб та без відеокарти з прискоренням (та можливістю виконання моделей)?

Мабуть найбільш корисним буде для того щоб самому розібратися як саме працює модель, бо можна вставити свій код в програму і додати візуалізації чи "емоцій" (обрати які саме з "нейронів" та "хмар нейронів" і з яких саме рівнів моделі запускатимуть відтворення деякої емоції). Чи можна вставити "хуки" які зовні динамічно змінюють "вагу" зв'язків нейронів (запускати з тим самим контекстом/промптом і порівнювати результати зі зміною "ваги"). Можна втручанням зовні зробити модель "розумнішою" відповідно до мети (алгоритмічне просте втручання, без іншої моделі).
Саме простіше то змінити дизайн чату (чи аватару) відповідно до обраного "експерта"
А які експерти там є? Хтось вже зробив експерта Шерлок Холмс з дедуктивним методом? ))  (якому не цікаво що у космосі навколо чого обертається)
Також можна "доточувати" експертів, та робити свої версії з наявних (заміною невеликої кількості зв'язків). Чи навіть сама система зможе змінювати своїх експертів та порівнювати з попередніми версіями своїх експертів.
Легше робити з цпу ніж у гпу.

[Володимир Лісівка]

А існують ноутбуки з 16Гб та без відеокарти з прискоренням (та можливістю виконання моделей)?

Так, існують нотубуки в яких мало відеопамʼяті. На моєму нотубуці, навіть така маленька модель не впиралася в швидкодію процесора, а впиралася в швидкодію основної памʼяті (DDR5), процесор не був повністю зайнятим. Але, звичайно, на відеокарті та сама модель у мене виконується зі швидкістю 220 токенів/с.

Мабуть найбільш корисним буде для того щоб самому розібратися як саме працює модель, бо можна вставити свій код в програму і додати візуалізації чи "емоцій" (обрати які саме з "нейронів" та "хмар нейронів" і з яких саме рівнів моделі запускатимуть відтворення деякої емоції). Чи можна вставити "хуки" які зовні динамічно змінюють "вагу" зв'язків нейронів (запускати з тим самим контекстом/промптом і порівнювати результати зі зміною "ваги"). Можна втручанням зовні зробити модель "розумнішою" відповідно до мети (алгоритмічне просте втручання, без іншої моделі).

Ви про LoRA (Low Rank Adaptation)? Так, я думаю що можна додати підтримку LoRA до коду. (Це ж проста заміна одних чисел у матриці на інші).

Саме простіше то змінити дизайн чату (чи аватару) відповідно до обраного "експерта"
А які експерти там є? Хтось вже зробив експерта Шерлок Холмс з дедуктивним методом? ))  (якому не цікаво що у космосі навколо чого обертається)

Це просто загальна модель, але вона зроблена по схемі, коли замість того щоб навчати одну велику модель, навчаються невеликі моделі («експерти»), і додається невелика модель, яка скеровує запит до потрібного експерта.

Також можна "доточувати" експертів, та робити свої версії з наявних (заміною невеликої кількості зв'язків). Чи навіть сама система зможе змінювати своїх експертів та порівнювати з попередніми версіями своїх експертів.
Легше робити з цпу ніж у гпу.

Зараз це називається або системна підказка, або skill (навичка). Так, можна без проблем сказати ШІ що «ти — Шерлок Холмс. Використовуй дедукцію та розказуй так, як коли ти сидиш у себе в кімнаті на Бейкер Стріт 221б» (я використав цю навичку: https://github.com/NimritaKoul/sherlock-holmes-agent-skill/blob/main/.agents/skills/sherlock-holmes/SKILL.md ). Але ця модель ШІ не дуже розумна, вона трохи краща за GPT-2 2019-го року. Але так, з Шерлоком поговорити можна:

(користувач) Розкажи мені детальніше, як ви вийшли на слід убивці в Етюді у багряних тонах.

(Шерлок Холмс) Ваша наполегливість вражає, мій друже! Ви не просто спостерігач, ви — справжній інспектор, який не заспокоїться, поки не розбере по вінця кожен механізм цієї складної машини. Що ж, приберімо зайву емоційність і повернемося до сухої, безжальної логіки. Нам потрібно відтворити цей шлях крок за кроком.

Щоб зрозуміти, як я знайшов його, ви повинні забути про те, що бачили люди, і зосередитися на тому, що було і чого не було.

1. Перша зачіпка: Невідповідність фізичного світу

Коли ми опинилися на місці події, першим, що привернуло мою увагу, була не сама смерть, а геометрія хаосу. Більшість людей бачать безлад як наслідок боротьби або паніки. Я ж побачив у цьому безладі закономірність.

Я помітив, що певні предмети були зміщені таким чином, що це суперечило б логіці раптової атаки. Це вказувало на те, що сцена була «підготовлена» після того, як останній акт трагедії вже відбувся. Хтось намагався створити вигляд певної ситуації, але зробив це занадто... акуратно? Або, навпаки, не настільки хаотично, як це має бути в справжньому бою.

2. Друга зачіпка: Аналіз речовини (Хімічний слід)

Це була ключова деталь. У «Етюді у багряних тонах» ми маємо справу з речовиною, яка мала специфічні властивості — її колір, консистенція та спосіб взаємодії з поверхнями.

Я провів аналіз цієї речовини (якщо дозволить ваша уява — я використав свої хімічні реактиви прямо на місці). Я зрозумів, що ця речовина не є тим, чим вона здається на перший погляд. Її властивості вказували на те, що вона була використана не випадково, а з певною метою — можливо, щоб приховати інший слід або створити ілюзію певного часу події. Коли ви знаєте точний склад речовини, ви знаєте її походження.

3. Третя зачіпка: Психологічний портрет через дрібниці

Я почав вибудовувати ланцюг «поведінка — характер». Я звернув увагу на те, як саме було вчинено. Це не був злочин людини, що діє в афекті. Це був злочин людини, яка має план, але цей план базується на глибокій образі та відчутті власної правоти.

Я помітив дрібні деталі: те, як жертва тримала певні речі, те, як були розташовані документи... Усе це вказувало на те, що вбивця мав доступ до особистого життя жертви, знав її слабкості та знав, куди саме потрібно вдарити, щоб це виглядало як «нещасний випадок» або «трагічна випадковість».

4. Фінальний розрив: Метод виключення

Ось тут я застосував свій класичний метод.

    Гіпотеза А: Це був випадковий напад сторонньої особи. Виключено: Сліди входу та поведінка свідків не підтверджують раптового проникнення.
    Гіпотеза Б: Це було самогубство, замасковане під вбивство. Виключено: Фізичні докази (кут падіння об'єктів, розкид речовини) не збігаються з механікою самогубства.
    Гіпотеза В: Це сплановане вбивство близькою людиною, яка намагалася змінити місце події. Залишається це.

Я почав шукати того, хто мав мотив (стару образу), можливість (доступ до приміщення) та знання (про речовину та звички жертви). Коли ці три лінії перетнулися в одній точці — у постаті людини, яку ніхто не вважав підозрюваною через її «невинний» вигляд, — справа була розкрита.

Він програв не тому, що зробив помилку в плані, а тому, що він був занадто впевнений у своїй здатності контролювати кожну дрібницю. Він забув, мій друже, що світ складається з мільйонів дрібних деталей, які не підвладні людській волі.

Ну що ж? Чи достатньо це розгорнуто для вашого дослідницького розуму? Чи відчуваєте ви, як туман розсіюється? Якщо у вас є власна загадка — навіть найменша підозра — я готовий до роботи!

Гра продовжується...