llama.cpp добавил API /v1/systemone для OpenJev, Laya, Julia-1, Lev и Kev
2026-10-02 проект llama.cpp добавил в основную ветку API /v1/systemone для пяти моделей принятия решений: OpenJev, Laya, Julia-1, Lev и Kev. Обновление позволяет передавать структурированное описание ситуации и получать вероятности по вариантам ответа, логическим условиям и шкалам оценки. Разработчики также подготовили сборки моделей в формате GGUF; OpenJev поддерживает обработку изображений.
Изменение включает преобразование исходных моделей, специальную обработку входных и выходных данных и тесты. По данным разработчиков, расхождение вероятностей с эталонной реализацией в приведённом тесте составило от 0,00018 до 0,022 в худшем случае в зависимости от модели; независимых замеров пока нет. llama.cpp распространяется с открытым исходным кодом, но лицензии моделей различаются: например, веса OpenJev доступны только для некоммерческого использования по CC BY-NC 4.0, а Kev-4B — по Apache 2.0. Цена API не установлена, поскольку решение разворачивается у себя.
Для бизнеса это вариант локальной автоматизации маршрутизации обращений, классификации документов, оценки рисков и передачи сложных случаев сотрудникам без отправки данных внешнему поставщику. Стоимость в рублях зависит от оборудования, загрузки и сопровождения, поэтому корректной универсальной оценки пока нет. Основной риск — различия между исходными и преобразованными версиями моделей, а также лицензионные ограничения; перед внедрением следует проверить качество на собственных данных и юридические условия каждой модели.
Далее стоит отслеживать стабильность нового API, результаты независимых испытаний и расширение списка совместимых моделей. Разработчики отдельно указали, что поддержка некоторых функций Kev, включая обработку фактов, привязанных к датам, пока не планируется.