La arquitectura de los modelos de lenguaje está viviendo una evolución significativa con la irrupción de los modelos híbridos, los cuales buscan desafiar la hegemonía de los transformadores tradicionales. Investigadores han realizado un análisis comparativo detallado entre un modelo basado puramente en transformadores, denominado Olmo 3, y una variante híbrida, Olmo Hybrid, ambos con 7 mil millones de parámetros. El objetivo principal de este estudio fue desglosar el rendimiento de cada arquitectura a nivel de token, examinando cómo procesan diferentes unidades de información bajo condiciones de entrenamiento y datos prácticamente idénticos.

El estudio destaca que los modelos híbridos superan a los transformadores en la predicción de tokens que portan un significado semántico profundo, como sustantivos, verbos y adjetivos. Esta ventaja se extiende a situaciones donde el modelo debe realizar un seguimiento del contexto, como identificar a qué sujeto hace referencia un pronombre específico. Por el contrario, la superioridad del modelo híbrido disminuye notablemente cuando se trata de tokens que simplemente repiten información presente anteriormente en el texto. En estos casos, donde la respuesta puede obtenerse mediante una búsqueda directa, la arquitectura de transformador, gracias a su mecanismo de atención, demuestra ser más eficiente.

La diferencia fundamental radica en cómo cada arquitectura gestiona la memoria y el procesamiento. Mientras que el transformador utiliza capas de atención para evaluar simultáneamente todos los tokens previos, lo que facilita la recuperación exacta de información distante, este proceso conlleva un costo computacional que aumenta rápidamente con la longitud de la entrada. Por su parte, el modelo híbrido combina capas de atención con capas recurrentes. Estas últimas procesan la información de forma secuencial y mantienen un estado comprimido, lo que permite una mayor eficiencia en el procesamiento de secuencias largas, aunque con una capacidad limitada para recuperar datos exactos de forma directa.

Para validar estas diferencias, se evaluó el rendimiento de ambos modelos utilizando diversos tipos de textos, incluyendo artículos, libros, documentos científicos y código de programación. Al medir la diferencia en la pérdida (loss gap) entre ambos modelos, se observó que el modelo híbrido presenta una ventaja clara en el manejo de palabras de contenido, mientras que los transformadores mantienen su eficacia en tareas de sintaxis pura, como el cierre de corchetes o la repetición literal de frases.

Estos hallazgos sugieren que el uso de una métrica de pérdida global es insuficiente para comprender las capacidades reales de una arquitectura. Los investigadores proponen el uso de pérdidas filtradas, centradas en tipos específicos de tokens, como una herramienta más precisa para evaluar el progreso durante el preentrenamiento. Este enfoque permite identificar qué componentes del modelo son responsables de habilidades particulares, como la capacidad de copia o la comprensión semántica. En última instancia, este estudio subraya la importancia de analizar el comportamiento granular de los modelos para diseñar arquitecturas híbridas más robustas y eficientes, aprovechando las fortalezas complementarias de la atención y la recurrencia.