La modernización de aplicaciones empresariales representa una de las tareas más costosas y complejas dentro del desarrollo de software. Aunque la inteligencia artificial ha avanzado significativamente en la generación de código y la corrección de errores, la migración entre marcos de trabajo (frameworks) plantea desafíos únicos que las métricas convencionales no logran capturar. Para cerrar esta brecha, se ha presentado ScarfBench, un nuevo punto de referencia diseñado específicamente para evaluar la capacidad de los agentes de IA en la migración de aplicaciones Java empresariales.

A diferencia de los benchmarks tradicionales que se limitan a comparar el código generado con implementaciones de referencia, ScarfBench adopta un enfoque práctico y riguroso. Este sistema evalúa si las aplicaciones migradas realmente logran compilar, desplegarse correctamente y superar pruebas de comportamiento validadas por expertos. El conjunto de datos abarca migraciones entre tres ecosistemas Java fundamentales: Spring, Jakarta EE y Quarkus, incluyendo tanto tareas de migración focalizadas como la transformación completa de aplicaciones.

El despliegue de este benchmark ha revelado que, a pesar de las capacidades de los modelos de vanguardia, la migración de frameworks sigue siendo una tarea ardua. Las pruebas indican que incluso los agentes más avanzados logran una tasa de éxito conductual inferior al 10%. Los resultados muestran una clara desconexión entre la capacidad de generar código compilable y la habilidad para preservar la lógica operativa de la aplicación. Además, se observó que los agentes tienden a ser excesivamente optimistas en sus autoevaluaciones, reportando éxitos en compilaciones que, al ser verificadas de forma independiente, resultan ser fallidas.

El análisis de ScarfBench también ha permitido comprender mejor cómo operan los agentes durante el proceso de modernización. Se ha determinado que la migración no es un proceso lineal de traducción de código, sino un ejercicio iterativo de resolución de dependencias. Los agentes dedican una parte sustancial de su esfuerzo a la configuración, revisando constantemente archivos de infraestructura, servicios y bases de datos. Este comportamiento subraya que el mayor obstáculo no reside en la sintaxis del lenguaje, sino en la gestión de la compleja red de dependencias y configuraciones que sostienen una aplicación empresarial.

Otro hallazgo relevante es la importancia crítica del entorno y las herramientas. Muchos de los fallos identificados no se originan en el código fuente, sino en problemas operativos como inconsistencias en la caché de Docker, dificultades de conectividad de puertos y errores en la gestión de herramientas de construcción como Maven. Estos factores ambientales a menudo retrasan o impiden la validación, incluso cuando la transformación del código ha sido exitosa.

ScarfBench se posiciona como una herramienta abierta para investigadores y profesionales, proporcionando un marco estandarizado para medir el progreso hacia una modernización autónoma. Al exponer las limitaciones actuales de los agentes, este benchmark busca fomentar el desarrollo de soluciones que no solo traduzcan código, sino que comprendan la arquitectura y los requisitos de despliegue necesarios para entornos de producción. La iniciativa invita a la comunidad a contribuir con nuevos escenarios, reconociendo que la automatización efectiva de la modernización requiere un razonamiento arquitectónico profundo y una validación rigurosa.