DeepSeek publica como código abierto DeepInfer, el software que usa para ejecutar modelos de IA a gran escala

DeepSeek, la empresa china de IA, dijo el día 20 que publicaría un software que aumenta la eficiencia de la inferencia de su último modelo de IA, informó Nikkei desde Guangzhou. Nikkei dijo que el software facilita el uso de los modelos descargados y que publicar este tipo de software es poco frecuente. [ 2 ]

Bloomberg, en un informe recogido por TBS NEWS DIG, dijo que el software se llama DeepInfer y es el que DeepSeek usa para ejecutar sus modelos a gran escala. La empresa, con sede en Hangzhou, escribió en X el día 20 que publicaba el software usado en producción para que la comunidad pueda reducir los costos de cómputo y el consumo de energía y hacer la IA más asequible. Según el informe, DeepInfer admite actualmente el modelo V4.1-Flash, y se darán más sistemas en el futuro. [ 3 ]

Gigazine informó de que DeepInfer se desarrolló sobre la base de vLLM, con ideas de SGLang y TensorRT LLM incorporadas. La versión de código abierto reúne las funciones principales del sistema que DeepSeek usa en sus servicios de IA. Admite V4.1-Flash y ofrece una inferencia optimizada y una técnica de aceleración llamada DSpark, pero no implementa el sistema de caché KV. Se publica en GitHub con la Licencia Apache 2.0. [ 1 ]

Gigazine también informó de que DeepSeek publicó como código abierto deepseek-recipe, una colección de bibliotecas que convierten las solicitudes de API en un formato adecuado para los modelos de DeepSeek y convierten la salida del modelo en el formato de respuesta de la API. Esto permite a los proveedores externos de API reproducir el comportamiento de la API oficial de DeepSeek. Se publica bajo la Licencia MIT. [ 1 ]

Bloomberg dijo que la publicación muestra cómo DeepSeek mantiene bajo el costo de la inferencia, algo que las empresas de IA suelen proteger con celo, y que podría permitir a los proveedores de nube y alojamiento adoptar por sí mismos estos métodos de reducción de costos. El director ejecutivo de Requesty, una startup que trabaja en métricas y enrutamiento de pasarelas de IA, dijo que la divulgación reduce la barrera para alojar modelos de DeepSeek, pero que siguen siendo necesarios capacidad de cómputo y experiencia. Bloomberg añadió que actualmente no existe una evaluación comparativa independiente de las mejoras de eficiencia de DeepInfer. [ 3 ]