Non-Autoregressive Typed Decisions: How Does Laya Compare to BERT for On-Device Classification?

La clasificación de texto con un conjunto fijo de etiquetas, como sentimiento (binario) o tema (multiclase), se resuelve tradicionalmente con arquitecturas solo de codificador como BERT, RoBERTa y DistilBERT [1]. Estos modelos logran una precisión predictiva sólida mientras mantienen una latencia de inferencia baja y huellas computacionales modestas [1]. El despliegue en el dispositivo añade restricciones que no existen en el despliegue en servidor: memoria limitada, cómputo limitado y un requisito estricto de latencia por inferencia. Por ello, cualquier afirmación de una alternativa más barata o más rápida a BERT merece escrutinio antes de ser adoptada para uso en el dispositivo, y un estudio que realmente mida la latencia y el costo junto con la precisión es más útil para un desarrollador que uno que solo reporte precisión.

Los modelos de lenguaje grandes como GPT-4o y Claude Sonnet 4.5 han demostrado capacidades sólidas en razonamiento abierto y tareas de lenguaje generativo [1]. Pero los LLM generan salida token por token incluso al producir una sola etiqueta de clase, lo que introduce latencia inherente y costos basados en el uso [1]. Un estudio que evaluó LLM con prompting de cero y pocos ejemplos frente a arquitecturas solo de codificador completamente ajustadas en cuatro puntos de referencia, IMDB, SST-2, AG News y DBPedia, midiendo macro F1, latencia de inferencia y costo monetario, encontró que los modelos basados en codificador ajustados de la familia BERT logran un rendimiento de clasificación competitivo y, a menudo, superior, mientras operan con uno a dos órdenes de magnitud menos de costo y latencia en comparación con el prompting de LLM de cero y pocos ejemplos [1]. Esto establece a los modelos de la familia BERT como la línea base práctica para clasificación en el dispositivo o sensible al costo, no al LLM, y es la línea base que esta nota usa al discutir lo que una posible alternativa a BERT necesitaría superar.

Por separado, una línea de trabajo diferente pregunta si la práctica estándar de tomar una predicción solo de la última capa oculta es la decisión de diseño correcta para un clasificador neuronal. La mayoría de las arquitecturas derivan sus predicciones exclusivamente de la representación producida por la última capa oculta [12]. Estudios empíricos y teóricos sugieren que diferentes capas capturan aspectos distintos y complementarios de la entrada: las capas tempranas codifican patrones locales, las capas medias capturan relaciones estructurales y las capas más profundas representan semántica cada vez más abstracta [12]. LAYA (Layer-wise Attention Aggregator) es una cabeza de salida novedosa que agrega dinámicamente representaciones internas mediante atención, construida para aprovechar esta observación en lugar de descartarla [12].

La pregunta práctica que enfrenta un desarrollador es si reemplazar una cabeza clasificadora estándar con algo como LAYA, o reemplazar un LLM completo con un BERT ajustado, proporciona una mejor relación precisión-por-milisegundo en un teléfono o un chip integrado. La evidencia recopilada aquí responde la segunda pregunta directamente y no responde la primera para clasificación de texto, porque LAYA solo ha sido probado en conjuntos de datos de imágenes [12]. El resto de esta nota trata estas como dos líneas de evidencia separadas y bien respaldadas, describe el mecanismo y los números reportados para cada una, y es explícita acerca de dónde no se encuentran, para que un desarrollador que quiera la comparación faltante sepa exactamente qué experimento ejecutar y qué necesitaría controlar. Un estudio que enmarca la evaluación de modelos como un problema de decisión multiobjetivo y analiza las compensaciones usando proyecciones de frontera de Pareto y una función de utilidad parametrizada que refleja diferentes regímenes de despliegue ofrece la lente adecuada para este tipo de comparación una vez que se complete la medición faltante [1].

BERT se basa en un Transformer bidireccional de múltiples capas y se entrena en texto plano para tareas de predicción de palabras enmascaradas y predicción de la siguiente oración [6]. Es el primer modelo de representación basado en ajuste fino que logra resultados de última generación para un rango de tareas de PLN [6]. Esto significa que BERT se preentrena una vez en texto no etiquetado grande usando dos objetivos autosupervisados, y los mismos pesos preentrenados se adaptan, o ajustan, a muchas tareas posteriores diferentes con relativamente pocos datos etiquetados. Esa receta de dos etapas, preentrenar luego ajustar, es la razón por la que BERT y sus descendientes son la opción predeterminada para clasificación de texto de etiquetas fijas, en lugar de un modelo entrenado desde cero para cada tarea.

Mecánicamente, BERT genera un vector de incrustación contextualizado a través de una pila de bloques Transformer para cada token de entrada, y antepone un token especial [CLS] a la oración de entrada para tareas de clasificación [5]. Para clasificación a nivel de oración, un clasificador lineal añadido proyecta la incrustación [CLS] a un vector de probabilidad no normalizado sobre las clases de salida [5]. Esta es la cabeza clasificadora estándar: una única capa lineal aprendida situada sobre la salida del bloque Transformer final para un token designado, seguida de un paso de normalización que convierte las puntuaciones no normalizadas en probabilidades de clase. Toda la pila, codificador más cabeza lineal, se entrena de extremo a extremo durante el ajuste fino, razón por la cual ajustar BERT para una nueva tarea requiere actualizar todos sus parámetros a menos que se use una variante eficiente en parámetros.

LAYA tiene una visión diferente de lo que la cabeza debería observar. LAYA (Layer-wise Attention Aggregator) es un módulo de salida ligero que aprende a ponderar y combinar todas las representaciones ocultas de una manera dependiente de la entrada [12]. LAYA aprende pesos de atención condicionados a la entrada sobre características a nivel de capa [12]. En lugar de que la cabeza lea solo la última capa oculta, como hace el clasificador basado en [CLS] de BERT, la cabeza de LAYA lee cada capa oculta producida por la red troncal y deja que un mecanismo de atención decida, para cada entrada individual, cuánto peso debe recibir la representación de cada capa. LAYA proporciona puntuaciones intrínsecas de atribución por capa que cuantifican explícitamente la contribución de cada representación a la decisión final sin métodos externos de explicación post-hoc [12], lo que significa que los pesos de atención en sí mismos sirven como una explicación de qué profundidades de la red importaron para una predicción dada, sin requerir una herramienta de interpretabilidad separada.

Por lo tanto, los dos diseños difieren exactamente en el punto donde se toma una decisión de clasificación. La cabeza clasificadora de BERT es fija y lee una representación única y final, la incrustación [CLS] después del último bloque Transformer [5]. La cabeza de LAYA es en sí misma un pequeño módulo de atención entrenable que lee todas las representaciones intermedias y produce una ponderación por entrada y por capa antes de hacer la predicción final [12]. Ambos enfoques se sitúan sobre alguna red troncal extractora de características, un codificador en el caso de BERT, y la descripción de LAYA en la fuente no especifica una red troncal de codificador de texto; los experimentos reportados utilizan conjuntos de datos de clasificación de imágenes [12]. Esta distinción, red troncal versus cabeza, es la razón por la cual una comparación justa de Laya y BERT para clasificación de texto necesitaría especificar exactamente sobre qué red troncal se sitúa el agregador de LAYA antes de que se puedan comparar números de precisión o latencia. También significa que describir a LAYA como un competidor de BERT es solo parcialmente preciso: LAYA reemplaza la cabeza de clasificación, mientras que BERT generalmente se describe y evalúa como un codificador completo más cabeza, por lo que una prueba justa necesitaría mantener fija la red troncal e intercambiar solo la cabeza, o indicar claramente que se está intercambiando toda la arquitectura, incluida la red troncal.

El cómputo interno de LAYA se describe con suficiente precisión en la fuente como para reproducirlo. LAYA reemplaza la cabeza clasificadora estándar con un agregador basado en atención: h_agg = sum_{i=1}^{L} alpha_i(x) g_i(h_i), donde alpha_i(x) son coeficientes aprendibles condicionados a la entrada [12]. En términos simples, la red troncal produce L representaciones ocultas, una por capa, y en lugar de conservar solo la última, LAYA calcula una suma ponderada de todas ellas, donde el peso dado a cada capa depende de la entrada específica x que se está procesando, no de un esquema fijo independiente de la entrada. Esta es la afirmación estructural central del método: la ponderación es una función de la entrada, por lo que dos entradas diferentes que pasan por la misma red entrenada pueden terminar dependiendo de diferentes profundidades de representación.

Antes de calcular la suma ponderada, la representación de cada capa se coloca en un terreno común. Cada estado oculto en LAYA se asigna a un espacio latente compartido a través de un adaptador ligero g_i(.), asegurando la comparabilidad entre capas [12]. Este paso del adaptador es importante porque los estados ocultos de diferentes profundidades de una red pueden diferir en escala, dimensionalidad o granularidad semántica, y sumarlos directamente sin asignarlos primero a un espacio compartido podría permitir que una capa domine el agregado por razones no relacionadas con cuán útil es su representación. El adaptador ligero se describe como pequeño, lo que mantiene baja la sobrecarga total de parámetros y cómputo de LAYA en relación con la red troncal sobre la que se asienta, aunque la fuente no proporciona un recuento exacto de parámetros ni una fórmula para el tamaño del adaptador en relación con la dimensión oculta de la red troncal.

La etapa de salida es un simple paso lineal más no linealidad aplicado a la representación agregada. La predicción final en LAYA se calcula como y_hat = phi(W h_agg + b) [12]. Esto es estructuralmente similar a la propia cabeza clasificadora de BERT, una proyección lineal seguida de una no linealidad, con la diferencia clave siendo qué se alimenta a esa capa lineal: BERT alimenta la única incrustación [CLS] de la capa final [5], mientras que LAYA alimenta la combinación agregada por atención de todas las representaciones adaptadas de las capas [12]. La maquinaria adicional en LAYA, en relación con una cabeza estándar, es por lo tanto el adaptador por capa g_i y los pesos de atención condicionados a la entrada alpha_i(x); todo lo demás sobre cómo se produce la puntuación final de clase es un clasificador lineal convencional con una no linealidad phi aplicada al final.

Debido a que los pesos de atención alpha_i(x) se aprenden y dependen de la entrada, pueden inspeccionarse después del entrenamiento para ver en qué capas confió el modelo para qué tipos de entradas, y la fuente trata esto como una característica de primera clase en lugar de un efecto secundario. Los análisis de interpretabilidad cuantitativos y cualitativos demuestran que las puntuaciones de atención de LAYA reflejan estrechamente la contribución real de las capas individuales [12]. LAYA revela patrones estructurados y dependientes de la tarea de utilización de profundidad, mientras proporciona explicaciones intuitivas de cómo diferentes niveles de abstracción contribuyen a cada predicción [12]. Para un desarrollador, esto significa que adoptar LAYA como cabeza clasificadora no es puramente una decisión de precisión o latencia; también compra una explicación incorporada, por predicción, de qué profundidades de la red impulsaron la decisión, al costo de los parámetros adicionales del adaptador y atención descritos anteriormente. Ninguno de estos mecanismos se ha descrito o medido para una red troncal de codificador de texto en la evidencia recopilada aquí, por lo que aplicarlo a una pila de bloques Transformer al estilo BERT sería una extensión directa y razonable de probar, no algo ya reportado.

La comparación cuantitativa más clara disponible en la evidencia es entre codificadores de la familia BERT ajustados y el prompting de LLM, no entre BERT y LAYA. El estudio relevante midió macro F1, latencia de inferencia y costo monetario en cuatro puntos de referencia, IMDB, SST-2, AG News y DBPedia, comparando LLM con prompting de cero y pocos ejemplos como GPT-4o y Claude Sonnet 4.5 con arquitecturas solo de codificador completamente ajustadas [1]. El resultado fue que los modelos basados en codificador ajustados de la familia BERT logran un rendimiento de clasificación competitivo y, a menudo, superior, mientras operan con uno a dos órdenes de magnitud menos de costo y latencia en comparación con el prompting de LLM de cero y pocos ejemplos [1]. El mismo artículo enmarca la evaluación de modelos como un problema de decisión multiobjetivo y analiza las compensaciones usando proyecciones de frontera de Pareto y una función de utilidad parametrizada que refleja diferentes regímenes de despliegue [1], que es un punto metodológico que un desarrollador puede reutilizar: la precisión por sí sola no es la lente adecuada cuando la latencia y el costo difieren por órdenes de magnitud entre candidatos. Esta metodología, no los números específicos, es la parte que se transfiere limpiamente a un estudio de Laya versus BERT, porque proporciona una plantilla para reportar tres ejes juntos en lugar de la precisión de forma aislada.

Otras fuentes añaden números adicionales y separados sobre variantes de BERT sin compararlos con LAYA. TinyBERT 4 con 4 capas logra más del 96.8% del rendimiento de su maestro BERT BASE en el benchmark GLUE, mientras es 7.5 veces más pequeño y 9.4 veces más rápido en inferencia [7]. TinyBERT 6 con 6 capas funciona a la par de su maestro BERT BASE [7]. Estos números describen destilación, comprimiendo BERT BASE en un modelo estudiante más pequeño, y establecen que la precisión de BERT puede preservarse a una fracción de su tamaño y latencia mediante compresión arquitectónica, lo cual es directamente relevante para el despliegue en el dispositivo aunque no dice nada sobre LAYA. Un desarrollador que quiera un presupuesto de tamaño-latencia para el lado de BERT de una comparación tiene, en estos números, dos puntos de referencia concretos ya medidos en GLUE: un estudiante de 4 capas 7.5 veces más pequeño y 9.4 veces más rápido con más del 96.8% del rendimiento del maestro, y un estudiante de 6 capas con rendimiento a la par.

El ajuste fino de BERT para tareas específicas de PLN requiere altos recursos computacionales y tiempo de inferencia costoso [2], un costo que motivó un enfoque híbrido clásico-cuántico: el modelo híbrido clásico-cuántico BERT propuesto integra un circuito cuántico de n qubits con un modelo BERT clásico para clasificación de texto [2], usando el circuito cuántico para ajustar el modelo clásico [2]. El modelo híbrido clásico-cuántico BERT propuesto logra un rendimiento que es competitivo, y en algunos casos mejor, que las líneas base clásicas en conjuntos de datos de benchmark estándar [2]. Sin embargo, el hardware cuántico actual aún no es lo suficientemente tolerante a fallos para lograr una aceleración computacional real, por lo que los experimentos se realizan con simulaciones de circuitos cuánticos [2], lo que significa que la competitividad reportada es en precisión, no en ninguna ventaja demostrada de latencia o costo sobre el ajuste fino clásico de BERT; la simulación se ejecuta en hardware clásico, por lo que no hay un número de latencia en el dispositivo disponible de esta comparación tampoco.

La propia medición reportada de LAYA está en un dominio completamente diferente. Los experimentos en conjuntos de datos de clasificación de imágenes muestran que LAYA logra un rendimiento predictivo competitivo mientras produce explicaciones significativas y conscientes de la profundidad [12]. No hay un benchmark nombrado, ningún número de precisión dado, y ninguna tarea de clasificación de texto involucrada en esta medición; la afirmación solo indica que el rendimiento es competitivo y que las explicaciones son significativas, en datos de imágenes. Debido a que ninguna de las fuentes reporta el macro F1, la latencia o el costo de LAYA en IMDB, SST-2, AG News, DBPedia o cualquier otro benchmark de clasificación de texto, y debido a que ninguna de las fuentes ejecuta BERT y LAYA en la misma tarea con el mismo protocolo de medición, no hay un número compartido en la evidencia que permita a un lector colocar a LAYA y BERT en la misma frontera de Pareto para clasificación de texto. Esta brecha es el hallazgo central de esta nota: no que LAYA pierda o gane, sino que la comparación no se ha medido, y cualquier afirmación en contrario iría más allá de lo que dicen las fuentes.

Un desarrollador que elige entre BERT y cualquier cabeza o arquitectura alternativa también necesita conocer los modos de fallo que son específicos del ajuste fino de BERT, independientemente de la comparación con LAYA. El ajuste fino de BERT sigue siendo inestable, especialmente cuando se usa BERTLarge en conjuntos de datos pequeños, donde procesos de aprendizaje idénticos con diferentes semillas aleatorias a menudo resultan en modelos significativamente diferentes [5]. Esto significa que los números de precisión reportados para una sola ejecución de ajuste fino de BERT pueden ser engañosos a menos que la ejecución se haya repetido en múltiples semillas, porque dos ejecuciones de la misma configuración pueden llegar a niveles de precisión significativamente diferentes únicamente debido a la aleatoriedad en la inicialización o el orden de los datos. Esta es una advertencia metodológica directa para cualquiera que diseñe un estudio comparativo: un número de precisión de una sola semilla para una línea base de BERT no es suficiente para sacar una conclusión contra un método competidor como LAYA.

La misma fuente identifica causas concretas de esta inestabilidad y una mitigación documentada. Los factores que causan inestabilidad en el ajuste fino de BERT con pocas muestras incluyen: el uso de un método de optimización no estándar con estimación de gradiente sesgada, aplicabilidad limitada de partes de la red BERT, y el uso de un número predeterminado pequeño de iteraciones de entrenamiento [5]. Ajustar el modelo BERT preentrenado en una tarea intermedia grande estabiliza el ajuste fino posterior en conjuntos de datos pequeños [5]. Para un desarrollador que trabaja con un conjunto de datos de clasificación pequeño en el dispositivo, esto proporciona una receta específica y procesable: ajustar primero en una tarea intermedia más grande y relacionada antes de ajustar en el conjunto de datos objetivo pequeño, en lugar de ajustar directamente en el conjunto de datos pequeño desde el punto de control preentrenado base.

El costo es un tema recurrente en múltiples fuentes independientes, no solo en la comparación LLM versus codificador. El ajuste fino de BERT produce un rendimiento similar a los modelos clásicos a un costo adicional significativo en la calificación automatizada de ensayos [9]. Este es un resultado específico del dominio, la calificación automatizada de ensayos, pero refuerza el patrón general visto en la comparación de prompting de LLM [1] y la motivación del híbrido cuántico [2]: la precisión de BERT a menudo es igualada por alternativas más baratas, y la decisión de usar BERT debe sopesar ese costo adicional contra la precisión ganada, tarea por tarea, en lugar de asumir que BERT siempre vale su costo.

Finalmente, hay un argumento estructural sobre por qué las arquitecturas de codificador como BERT podrían o no ser la forma computacional correcta para una tarea dada, independientemente de la precisión. Las capas Transformer son lineales en la dimensionalidad de la entrada y cuadráticas en la longitud de la entrada [10]. Las redes recurrentes escalan linealmente en la longitud de la entrada y cuadráticamente en la dimensionalidad de la entrada [10]. Esta compensación está documentada en una aplicación diferente, modelado de secuencias para control, donde Decision Transformer es un algoritmo de RL fuera de línea que modela trayectorias de forma autorregresiva usando la arquitectura GPT-2 [10], y tiene dificultades con problemas de control continuo como la estabilización del péndulo invertido y el péndulo de Furuta [10], mientras que Decision LSTM es capaz de lograr un rendimiento a nivel de experto en tareas de estabilización del péndulo invertido y el péndulo de Furuta [10]. Este resultado no se transfiere directamente a la clasificación de texto o a LAYA, pero establece, como un patrón general y reproducible, que la mejor arquitectura para una tarea depende de la forma de la entrada, longitud versus dimensionalidad, y que los diseños basados en Transformer no son universalmente superiores a las alternativas incluso cuando la alternativa es una red recurrente mucho más simple. Un desarrollador debe tratar esto como una precaución contra asumir que un codificador basado en Transformer es automáticamente la red troncal correcta para cada entorno de clasificación, en el dispositivo o no, sin medirlo directamente contra alternativas en la forma de entrada específica en cuestión.

Más allá de los números brutos de precisión y latencia, el contexto de despliegue importa para una decisión en el dispositivo, y una fuente habla directamente de esto. La naturaleza de código abierto de los codificadores ajustados permite el despliegue local, ofreciendo ventajas en privacidad, gobernanza de datos y reproducibilidad [1]. Para la clasificación en el dispositivo específicamente, esta propiedad es casi un requisito: los pesos del modelo deben estar disponibles localmente, la inferencia no debe depender de una llamada de red a una API externa, y la organización que despliega el modelo debe poder reproducir y auditar su comportamiento. Los modelos ajustados de la familia BERT satisfacen esto porque son de código abierto y pueden exportarse y ejecutarse localmente [1], mientras que las API de LLM con prompting, por el contrario, típicamente requieren un viaje de ida y vuelta por red y se facturan por uso, ya que los LLM generan salida token por token incluso al producir una sola etiqueta de clase, introduciendo latencia inherente y costos basados en el uso [1].

Esta misma propiedad, pesos abiertos que pueden exportarse y ejecutarse localmente, no se aborda para LAYA en la evidencia. Las afirmaciones describen a LAYA como un módulo de salida ligero [12], y ligero generalmente implica un pequeño número de parámetros adicionales y bajo cómputo adicional en relación con la red troncal sobre la que se asienta, pero ninguna afirmación indica el recuento de parámetros de LAYA, la huella de memoria, o si la implementación de referencia se ha lanzado abiertamente. Un desarrollador que evalúe LAYA para uso en el dispositivo necesitaría establecer esto directamente a partir de la implementación de LAYA en lugar de las afirmaciones resumidas aquí, ya que ninguna de las afirmaciones verificadas proporciona un número para ello.

La huella del codificador ya se ha reducido sustancialmente dentro de la familia BERT mediante destilación, lo cual es directamente relevante para los presupuestos en el dispositivo. TinyBERT 4 logrando más del 96.8% del rendimiento de BERT BASE en GLUE con un tamaño 7.5 veces más pequeño y una inferencia 9.4 veces más rápida [7], y TinyBERT 6 funcionando a la par de BERT BASE [7], ambos describen puntos de control desplegables más pequeños que mantienen la receta de ajuste fino de BERT y su cabeza de clasificación basada en [CLS] [5] mientras reducen el cómputo y la memoria necesarios en el momento de la inferencia. Este es el camino más concreto y reproducible en la evidencia hacia un clasificador de la familia BERT de baja latencia y baja memoria adecuado para uso en el dispositivo, y es la línea base natural contra la cual se debe medir cualquier nuevo diseño de cabeza, incluido LAYA, si el objetivo es el despliegue en el dispositivo.

En conjunto, las afirmaciones relevantes para el despliegue describen a los modelos de la familia BERT como de código abierto, exportables, que preservan la privacidad cuando se autoalojan [1], comprimibles sin mucha pérdida de precisión mediante destilación [7], pero inestables entre semillas en conjuntos de datos pequeños a menos que se use un paso de ajuste fino intermedio [5]. Ninguna de estas propiedades de despliegue, estado de código abierto, recuento de parámetros, exportabilidad, está documentada para LAYA en la evidencia recopilada aquí; las propiedades documentadas de LAYA son arquitectónicas, su mecanismo de agregación [12], y evaluativas, precisión competitiva e interpretabilidad en conjuntos de datos de imágenes [12], no operativas. Esta asimetría en lo que se ha medido es en sí misma un hallazgo importante para un desarrollador: los dos candidatos aún no se describen en los mismos ejes, por lo que una decisión de despliegue en el dispositivo no puede tomarse solo a partir de estas afirmaciones, y cerrar esa brecha es exactamente el experimento faltante hacia el que apunta esta nota.

El límite central de esta base de evidencia se establece claramente: ninguna afirmación reporta un experimento cara a cara entre LAYA y un modelo BERT-base ajustado en ninguna tarea de clasificación de texto, binaria o multiclase, en el dispositivo o de otro tipo. Los únicos experimentos reportados de LAYA son en conjuntos de datos de clasificación de imágenes, donde logra un rendimiento predictivo competitivo mientras produce explicaciones significativas y conscientes de la profundidad [12]. Las comparaciones reportadas de BERT son contra prompting de LLM de cero y pocos ejemplos [1], contra una variante de ajuste fino híbrida cuántica de sí mismo [2], contra una versión estudiante destilada de sí mismo [7], y contra modelos clásicos no BERT en calificación de ensayos [9]. Ninguna de estas comparaciones involucra a LAYA, y ninguna de las comparaciones de LAYA involucra a BERT o datos de texto.

Un segundo límite se refiere específicamente a la latencia, que es el término nombrado en la pregunta de investigación. Los únicos números de latencia en la evidencia son: los modelos ajustados de la familia BERT operan con uno a dos órdenes de magnitud menos de latencia que el prompting de LLM de cero y pocos ejemplos en IMDB, SST-2, AG News y DBPedia [1], y TinyBERT 4 es 9.4 veces más rápido en inferencia que el maestro BERT BASE en GLUE [7]. Ninguna afirmación reporta un número de latencia de inferencia para LAYA en ningún conjunto de datos, imagen o texto, y ninguna afirmación reporta un número de latencia en el dispositivo (a diferencia de servidor o simulado) para BERT o LAYA. Por lo tanto, un desarrollador no puede citar una cifra de latencia para LAYA en absoluto, solo para los modelos de la familia BERT frente a LLM o frente a una versión destilada de sí mismos.

Un tercer límite se refiere a la falta de coincidencia arquitectónica. LAYA se describe y evalúa como una cabeza de salida unida a una red troncal no especificada en conjuntos de datos de clasificación de imágenes [12], mientras que los resultados de la familia BERT resumidos aquí describen una arquitectura de codificador completa, objetivo de preentrenamiento y receta de ajuste fino juntos [6] [5]. Intercambiar solo la cabeza, manteniendo un codificador BERT como red troncal y adjuntando un agregador de estilo LAYA en lugar del clasificador lineal [CLS], es una forma natural de cerrar esta brecha, pero no se ha hecho en ninguna de las afirmaciones verificadas, por lo que su resultado, si ayuda, perjudica o no hace una diferencia medible en precisión o latencia, se desconoce a partir de esta evidencia.

Un cuarto límite se refiere a la reproducibilidad de cualquier comparación futura. Dado que el ajuste fino de BERT sigue siendo inestable entre semillas aleatorias en conjuntos de datos pequeños [5], cualquier estudio futuro que compare BERT y LAYA en un conjunto de datos pequeño a escala de dispositivo necesitaría reportar resultados en múltiples semillas, no una sola ejecución, para evitar confundir la varianza de la semilla con una diferencia arquitectónica genuina. Dado que los resultados actuales del BERT híbrido cuántico se basan en simulaciones de circuitos cuánticos en lugar de hardware real [2], cualquier afirmación de una ventaja computacional de componentes no estándar debe verificarse si se midió en el hardware objetivo real o solo en simulación. Dado que el estudio de LLM versus codificador utilizó un marco de frontera de Pareto multiobjetivo en lugar de un solo número de precisión [1], un estudio futuro de Laya versus BERT debería adoptar el mismo informe multieje, precisión, latencia y costo de recursos juntos, en lugar de reportar solo la precisión y llamar a la comparación completa.

1. Defina la tarea y elija puntos de referencia que coincidan con la pregunta de investigación. Elija una tarea binaria y una tarea multiclase para que la comparación cubra ambos regímenes nombrados en la pregunta; la evidencia nombra IMDB y SST-2 como puntos de referencia de sentimiento binario y AG News y DBPedia como puntos de referencia de tema multiclase [1]. Fije el conjunto de etiquetas, la división entrenamiento/validación/prueba y la métrica de evaluación, macro F1, para que coincida con la métrica ya utilizada para la comparación BERT versus LLM, de modo que los resultados sean comparables con ese trabajo anterior [1].

2. Elija una red troncal compartida para ambas cabezas. Debido a que LAYA está documentado como una cabeza de salida que lee todas las capas ocultas de una red troncal [12], y el propio clasificador de BERT lee solo la incrustación [CLS] final [5], la prueba más justa mantiene fija la red troncal, por ejemplo, un codificador BERT-base estándar preentrenado en predicción de palabras enmascaradas y predicción de la siguiente oración [6], y le adjunta dos cabezas diferentes: la cabeza [CLS]-más-lineal estándar [5], y un agregador de estilo LAYA [12].

3. Implemente la cabeza de línea base exactamente como se describe. Anteponga el token [CLS] a la entrada, ejecútelo a través de la pila Transformer, tome la incrustación [CLS] de la capa final y proyéctela a través de un clasificador lineal para obtener puntuaciones de clase no normalizadas [5]. Esta es la configuración de referencia; no la modifique, ya que cualquier cambio haría que la comparación fuera injusta para BERT.

4. Implemente la cabeza LAYA siguiendo su cómputo publicado. Recoja el estado oculto h_i de cada una de las L capas de la red troncal compartida. Asigne cada h_i a un espacio latente compartido con un adaptador ligero g_i(.) [12]. Calcule los coeficientes de atención condicionados a la entrada alpha_i(x) [12], y forme el agregado h_agg = sum_i alpha_i(x) g_i(h_i) [12]. Calcule la predicción final como y_hat = phi(W h_agg + b) [12].

para cada entrada x:
  h_1 ... h_L = red_troncal(x)          # un estado oculto por capa
  para i en 1..L:
    z_i = adaptador_i(h_i)            # g_i(.), espacio latente compartido
  alpha = atencion(x, z_1..z_L)       # pesos condicionados a la entrada
  h_agg = suma_i alpha_i * z_i
  y_hat = phi(W * h_agg + b)

5. Ajuste ambas configuraciones en los mismos datos con el mismo optimizador y el mismo número de épocas, cambiando solo la cabeza. Debido a que se sabe que el ajuste fino de los modelos basados en BERT es inestable en conjuntos de datos pequeños entre semillas aleatorias [5], ejecute cada configuración, cabeza de línea base y cabeza LAYA, en al menos tres o cuatro semillas aleatorias diferentes y reporte la dispersión, no un solo número.

6. Si algún conjunto de datos objetivo es pequeño, aplique el paso de estabilización documentado antes de la ejecución de ajuste fino final: primero ajuste la red troncal preentrenada en una tarea intermedia más grande y relacionada, luego ajuste en el conjunto de datos objetivo pequeño [5]. Aplique esto idénticamente a ambas configuraciones de cabeza para que no se convierta en un factor de confusión.

7. Mida la precisión con macro F1 en datos de prueba no vistos para ambas configuraciones, coincidiendo con la métrica utilizada en el estudio de BERT versus LLM para que los resultados se sitúen en el mismo marco de referencia [1]. Reporte la media y la dispersión entre semillas del paso 5.

8. Mida la latencia de inferencia para ambas configuraciones en el hardware de dispositivo objetivo real, no en un servidor o un simulador, ya que la base de evidencia advierte que los resultados simulados, como en el caso del híbrido cuántico, no establecen una aceleración en hardware real [2]. Registre el tiempo de pared por ejemplo con un tamaño de lote fijo de uno, coincidiendo con el escenario de despliegue en el dispositivo de la pregunta de investigación.

9. Mida la huella de memoria y el recuento de parámetros para ambas configuraciones de cabeza adjuntas a la red troncal compartida. Use los números de compresión de estilo TinyBERT, 7.5 veces más pequeño y 9.4 veces más rápido para un estudiante de 4 capas versus BERT BASE [7], como una escala de referencia para lo que constituye una diferencia significativa de tamaño o velocidad, de modo que la diferencia LAYA-versus-cabeza-de-línea-base pueda juzgarse frente a una magnitud conocida.

10. Reporte los resultados como una comparación multiobjetivo, no como una sola tabla de precisión, siguiendo el marco de frontera de Pareto y función de utilidad utilizado para el estudio de BERT versus LLM [1]. Grafique la precisión contra la latencia para ambas configuraciones de cabeza y establezca claramente si una domina a la otra o si existe una compensación genuina.

11. Puntos de fallo comunes a verificar antes de confiar en el resultado: confirme que el adaptador g_i se aplica idénticamente a cada capa para que ninguna capa reciba una ventaja de escala injusta [12]; confirme que los coeficientes de atención alpha_i(x) son realmente dependientes de la entrada y no colapsan a una ponderación fija e independiente de la entrada, ya que el valor de interpretabilidad de LAYA depende de que esto sea cierto [12]; y confirme que la varianza de semilla en la cabeza BERT de línea base, documentada como una inestabilidad conocida [5], no se confunde con un efecto genuino de la cabeza LAYA.

12. Reporte las salidas de interpretabilidad junto con la precisión y la latencia si se usa LAYA, ya que se supone que sus pesos de atención funcionan como una explicación de atribución por capa sin un método post-hoc separado [12]. Verifique cualitativamente si el patrón de uso de capas parece estructurado y dependiente de la tarea, como se reportó para la clasificación de imágenes [12], o si parece uniforme o ruidoso en la tarea de texto, ya que esto no se probó anteriormente y es una observación nueva que este experimento produciría.