DeepSeek публикует в открытом доступе DeepInfer, ПО для масштабного запуска моделей ИИ

DeepSeek, китайская компания в сфере ИИ, 20-го числа заявила, что опубликует ПО, повышающее эффективность инференса ее последней модели ИИ, сообщила Nikkei из Гуанчжоу. Nikkei отметила, что это ПО упрощает использование загруженных моделей, а публикация такого ПО — явление редкое. [ 2 ]

Bloomberg в материале, переданном TBS NEWS DIG, сообщил, что ПО называется DeepInfer и именно его DeepSeek использует для масштабного запуска своих моделей. Компания, штаб-квартира которой находится в Ханчжоу, написала в X 20-го числа, что публикует ПО, используемое в промышленной эксплуатации, чтобы сообщество могло снизить вычислительные затраты и энергопотребление и сделать ИИ доступнее. По данным материала, DeepInfer пока поддерживает модель V4.1-Flash, а другие системы будут поддержаны последовательно. [ 3 ]

Gigazine сообщила, что DeepInfer разработан на основе vLLM с учетом идей SGLang и TensorRT LLM. Открытая версия объединяет основные функции системы, которую DeepSeek использует в своих сервисах ИИ. Она поддерживает V4.1-Flash, предлагает оптимизированный инференс и технику ускорения под названием DSpark, но система KV-кэша не реализована. Опубликована на GitHub под лицензией Apache License 2.0. [ 1 ]

Gigazine также сообщила, что DeepSeek опубликовала в открытом доступе второй набор библиотек, который преобразует запросы API в вид, подходящий для моделей DeepSeek, и переводит вывод модели в формат ответа API. Это позволяет сторонним провайдерам API воспроизводить поведение официального API DeepSeek. Опубликовано под лицензией MIT. [ 1 ]

Bloomberg сообщил, что публикация показывает, как DeepSeek удерживает стоимость инференса на низком уровне, что компании в сфере ИИ обычно тщательно охраняют, и может позволить облачным и хостинг-провайдерам внедрить такие методы снижения затрат самостоятельно. Гендиректор Requesty, стартапа, работающего над метриками и маршрутизацией AI-шлюзов, сказал, что раскрытие информации снижает порог для хостинга моделей DeepSeek, но вычислительные мощности и экспертиза по-прежнему необходимы. Bloomberg добавил, что независимой оценки прироста эффективности DeepInfer пока не проводилось. [ 3 ]