La plataforma Hugging Face ha introducido una nueva funcionalidad que permite desplegar endpoints de modelos de lenguaje de gran tamaño (LLM) compatibles con la API de OpenAI mediante un único comando. Esta solución, denominada Jobs, está diseñada para ofrecer una alternativa flexible y bajo demanda para tareas de evaluación, pruebas experimentales o generación por lotes, sin la necesidad de gestionar infraestructuras complejas como Kubernetes o servidores dedicados. El servicio opera bajo un modelo de facturación por segundo, lo que permite a los usuarios optimizar sus costes al pagar únicamente por el tiempo de uso efectivo del hardware.

Para comenzar a utilizar esta herramienta, los usuarios deben contar con una cuenta en la plataforma, un método de pago activo y la versión más reciente de la librería `huggingface_hub`. El proceso de despliegue es similar a ejecutar un contenedor Docker, donde se especifica el hardware necesario —como las instancias A10G— y se expone el puerto correspondiente para permitir el acceso externo. Una vez que el servidor completa la carga de los pesos del modelo, el endpoint queda disponible para ser consultado desde cualquier entorno, ya sea mediante herramientas de línea de comandos como cURL o integrándolo directamente en aplicaciones de Python utilizando el cliente estándar de OpenAI.

La seguridad es un aspecto central de esta implementación. Cada endpoint se encuentra protegido por defecto, requiriendo un token de autenticación de Hugging Face con permisos de lectura para procesar cualquier solicitud. Esto asegura que el acceso esté restringido al usuario o a su organización, evitando exposiciones públicas no deseadas. Además, la plataforma ofrece flexibilidad para escalar hacia modelos de mayor envergadura. Mediante el uso de configuraciones de paralelismo tensorial y la selección de hardware más potente, como las unidades H200, es posible ejecutar modelos complejos, ajustando parámetros de contexto y secuencias para optimizar el uso de la memoria de video.

Para los desarrolladores que requieren una interacción más visual, es posible conectar una interfaz de chat basada en Gradio al endpoint activo. Asimismo, la plataforma facilita tareas de depuración avanzada mediante la opción de acceso SSH directo al contenedor en ejecución. Esta funcionalidad permite a los usuarios monitorizar el rendimiento de la GPU, inspeccionar procesos internos o revisar registros en tiempo real, lo que simplifica significativamente la resolución de problemas técnicos durante el despliegue.

Finalmente, esta capacidad de despliegue se extiende a agentes de codificación, permitiendo que herramientas como Pi utilicen estos endpoints como backend. Para estos casos, es necesario habilitar opciones específicas de llamada a herramientas durante el lanzamiento del servidor. Hugging Face distingue claramente entre esta funcionalidad de Jobs y su producto de Inference Endpoints. Mientras que Jobs está orientado a la máxima flexibilidad y control para entornos de experimentación, Inference Endpoints está diseñado para servicios en producción que requieren características operativas adicionales, como el escalado automático a cero y una gestión de acceso más granular.