BinaryAudit — бенчмарк пошуку троянів у двійкових файлах

[Володимир Лісівка]

BinaryAudit — це інструмент для порівняння можливостей різних мовних моделей щодо пошуку різних троянів, вбудованих у двійкові файли реальних проєктів з відкритим кодом. Для декомпіляції використовується Ghidra.

Бенчмарк: https://quesma.com/benchmarks/binaryaudit/
Проєкт: https://github.com/QuesmaOrg/BinaryAudit

[Володимир Лісівка]

Запускається якось так (не зміг запустити, та й немає у мене особливої потреби).

Код: [Вибрати]

git clone git@github.com:QuesmaOrg/BinaryAudit.git

export OPENROUTER_API_KEY=...

harbor run --path tasks --task-name lighttpd-* \
    --agent terminus-2 \
    --model openrouter/anthropic/claude-opus-4.6 \
    --model openrouter/google/gemini-3-pro-preview \
    --model openrouter/openai/gpt-5.2 \
    --n-attempts 3


[Володимир Лісівка]

Двійкові файли для перевірки та навчання: https://crackmes.one/