Décisions typées non autorégressives : comment Laya se compare-t-il à BERT pour la classification embarquée ?

La classification de texte avec un ensemble fixe d'étiquettes, comme le sentiment (binaire) ou le sujet (multi-classes), est traditionnellement résolue avec des architectures encodeur seul, notamment BERT, RoBERTa et DistilBERT [1]. Ces modèles atteignent une forte précision prédictive tout en maintenant une faible latence d'inférence et une empreinte de calcul modeste [1]. Le déploiement embarqué ajoute des contraintes que n'a pas le déploiement serveur : mémoire limitée, calcul limité et une exigence stricte de latence par inférence. C'est pourquoi toute affirmation d'une alternative moins chère ou plus rapide à BERT mérite un examen attentif avant d'être adoptée pour un usage embarqué, et pourquoi une étude qui mesure réellement la latence et le coût parallèlement à la précision est plus utile pour un développeur qu'une étude qui ne rapporte que la précision.

Les grands modèles de langage tels que GPT-4o et Claude Sonnet 4.5 ont démontré de fortes capacités en raisonnement ouvert et en tâches génératives de langage [1]. Mais les LLM génèrent la sortie jeton par jeton, même lorsqu'ils produisent une seule étiquette de classe, ce qui introduit une latence inhérente et des coûts basés sur l'usage [1]. Une étude évaluant les LLM par prompting zero- et few-shot par rapport à des architectures encodeur seul entièrement affinées sur quatre benchmarks (IMDB, SST-2, AG News et DBPedia), mesurant le macro F1, la latence d'inférence et le coût monétaire, a constaté que les modèles encodeur de la famille BERT, affinés, atteignent des performances compétitives, et souvent supérieures, tout en opérant avec un coût et une latence inférieurs d'un à deux ordres de grandeur par rapport au prompting par LLM zero- et few-shot [1]. Cela établit les modèles de la famille BERT comme la référence pratique pour la classification embarquée ou sensible au coût, et non le LLM, et constitue le point de référence que cette note utilise lorsqu'elle discute de ce qu'une éventuelle alternative à BERT devrait surpasser.

Séparément, un autre axe de travail se demande si la pratique standard consistant à prendre une prédiction uniquement de la dernière couche cachée est le bon choix de conception pour un classifieur neuronal. La plupart des architectures dérivent finalement leurs prédictions exclusivement de la représentation produite par la dernière couche cachée [12]. Des études empiriques et théoriques suggèrent que différentes couches capturent des aspects distincts et complémentaires de l'entrée : les premières couches encodent les motifs locaux, les couches intermédiaires capturent les relations structurelles, et les couches plus profondes représentent des sémantiques de plus en plus abstraites [12]. LAYA (Layer-wise Attention Aggregator) est une nouvelle tête de sortie qui agrège dynamiquement les représentations internes via l'attention, conçue pour tirer parti de cette observation au lieu de la jeter [12].

La question pratique d'un développeur est de savoir si remplacer une tête de classifieur standard par quelque chose comme LAYA, ou remplacer un LLM complet par un BERT affiné, donne un meilleur compromis précision par milliseconde sur un téléphone ou une puce embarquée. Les preuves rassemblées ici répondent directement à la deuxième question et ne répondent pas à la première pour la classification de texte, car LAYA n'a été testé que sur des jeux de données d'images [12]. Le reste de cette note traite ces deux éléments comme deux corpus de preuves distincts et bien étayés, décrit le mécanisme et les chiffres rapportés pour chacun, et est explicite tout au long de là où ils ne se rencontrent pas, afin qu'un développeur qui souhaite la comparaison manquante sache exactement quelle expérience réaliser et ce qu'il faudrait contrôler. Une étude qui présente l'évaluation de modèle comme un problème de décision multi-objectif et analyse les compromis à l'aide de projections de frontière de Pareto et d'une fonction d'utilité paramétrée reflétant différents régimes de déploiement offre la bonne perspective pour ce type de comparaison une fois la mesure manquante comblée [1].

BERT est basé sur un Transformer bidirectionnel multicouche et entraîné sur du texte brut pour des tâches de prédiction de mots masqués et de prédiction de phrases suivantes [6]. C'est le premier modèle de représentation par affinage qui atteint des résultats de pointe pour une série de tâches de TALN [6]. Cela signifie que BERT est pré-entraîné une fois sur de grands textes non étiquetés en utilisant deux objectifs auto-supervisés, et les mêmes poids pré-entraînés sont ensuite adaptés, ou affinés, à de nombreuses tâches aval différentes avec relativement peu de données étiquetées. Cette recette en deux étapes, pré-entraînement puis affinage, est la raison pour laquelle BERT et ses descendants sont le choix par défaut pour la classification de texte à étiquettes fixes, plutôt qu'un modèle entraîné de zéro pour chaque tâche.

Mécaniquement, BERT génère un vecteur d'incorporation contextualisé à travers une pile de blocs Transformer pour chaque jeton d'entrée, et ajoute un jeton spécial [CLS] au début de la phrase d'entrée pour les tâches de classification [5]. Pour la classification au niveau de la phrase, un classifieur linéaire ajouté projette l'incorporation [CLS] en un vecteur de probabilités non normalisées sur les classes de sortie [5]. C'est la tête de classification standard : une seule couche linéaire apprise placée au-dessus de la sortie du dernier bloc Transformer pour un jeton désigné, suivie d'une étape de normalisation qui transforme les scores non normalisés en probabilités de classe. L'ensemble de la pile, encodeur plus tête linéaire, est entraîné de bout en bout lors de l'affinage, c'est pourquoi affiner BERT pour une nouvelle tâche nécessite de mettre à jour tous ses paramètres, sauf si une variante efficace en paramètres est utilisée.

LAYA adopte une vision différente de ce que la tête doit regarder. LAYA (Layer-wise Attention Aggregator) est un module de sortie léger qui apprend à pondérer et combiner toutes les représentations cachées d'une manière dépendante de l'entrée [12]. LAYA apprend des poids d'attention conditionnés par l'entrée sur les caractéristiques par couche [12]. Au lieu que la tête ne lise que la dernière couche cachée, comme le fait le classifieur basé sur [CLS] de BERT, la tête de LAYA lit chaque couche cachée produite par le réseau de base et laisse un mécanisme d'attention décider, pour chaque entrée individuelle, quel poids accorder à la représentation de chaque couche. LAYA fournit des scores d'attribution par couche intrinsèques qui quantifient explicitement la contribution de chaque représentation à la décision finale sans méthodes d'explication post-hoc externes [12], ce qui signifie que les poids d'attention eux-mêmes font office d'explication des profondeurs du réseau qui ont compté pour une prédiction donnée, sans outil d'interprétabilité séparé requis.

Les deux conceptions diffèrent donc exactement au point où une décision de classification est prise. La tête du classifieur de BERT est fixe et lit une seule représentation finale, l'incorporation [CLS] après le dernier bloc Transformer [5]. La tête de LAYA est elle-même un petit module d'attention entraînable qui lit toutes les représentations intermédiaires et produit une pondération par entrée et par couche avant de faire la prédiction finale [12]. Les deux approches se situent au-dessus d'un squelette d'extraction de caractéristiques, un encodeur dans le cas de BERT, et la description de LAYA dans la source ne spécifie pas de squelette d'encodeur de texte ; les expériences rapportées utilisent des jeux de données de classification d'images [12]. Cette distinction, squelette versus tête, est la raison pour laquelle une comparaison équitable de Laya et BERT pour la classification de texte devrait spécifier exactement sur quel squelette l'agrégateur de LAYA se place avant que des chiffres de précision ou de latence puissent être comparés. Cela signifie également que décrire LAYA comme un concurrent de BERT n'est qu'en partie exact : LAYA remplace la tête de classification, tandis que BERT est généralement décrit et évalué comme un encodeur complet plus tête, donc un test équitable devrait maintenir le squelette fixe et n'échanger que la tête, ou indiquer clairement que l'architecture entière, squelette compris, est échangée.

Le calcul interne de LAYA est décrit avec suffisamment de précision dans la source pour être reproduit. LAYA remplace la tête de classifieur standard par un agrégateur basé sur l'attention : h_agg = sum_{i=1}^{L} alpha_i(x) g_i(h_i), où alpha_i(x) sont des coefficients appris et conditionnés par l'entrée [12]. En termes simples, le squelette produit L représentations cachées, une par couche, et au lieu de ne conserver que la dernière, LAYA calcule une somme pondérée de toutes, où le poids donné à chaque couche dépend de l'entrée spécifique x actuellement traitée, et non d'un programme fixe indépendant de l'entrée. C'est l'affirmation structurelle centrale de la méthode : la pondération est fonction de l'entrée, donc deux entrées différentes passant par le même réseau entraîné peuvent finir par s'appuyer sur différentes profondeurs de représentation.

Avant que la somme pondérée ne soit calculée, la représentation de chaque couche est mise sur un pied d'égalité. Chaque état caché dans LAYA est projeté dans un espace latent partagé via un adaptateur léger g_i(.), garantissant la comparabilité entre couches [12]. Cette étape d'adaptateur est importante car les états cachés de différentes profondeurs d'un réseau peuvent différer en échelle, dimensionnalité ou granularité sémantique, et les additionner directement sans d'abord les projeter dans un espace partagé pourrait laisser une couche dominer l'agrégat pour des raisons sans rapport avec l'utilité réelle de sa représentation. L'adaptateur léger est décrit comme petit, ce qui maintient le surcoût total en paramètres et calcul de LAYA faible par rapport au squelette sur lequel il repose, bien que la source ne donne pas un nombre exact de paramètres ni une formule pour la taille de l'adaptateur par rapport à la dimension cachée du squelette.

La phase de sortie est une simple étape linéaire plus non-linéarité appliquée à la représentation agrégée. La prédiction finale dans LAYA est calculée comme y_hat = phi(W h_agg + b) [12]. C'est structurellement similaire à la propre tête de classification de BERT, une projection linéaire suivie d'une non-linéarité, avec la différence clé étant ce qui est alimenté dans cette couche linéaire : BERT alimente l'incorporation [CLS] unique de la dernière couche [5], tandis que LAYA alimente la combinaison agrégée par attention des représentations adaptées de toutes les couches [12]. Les mécanismes supplémentaires dans LAYA, par rapport à une tête standard, sont donc l'adaptateur par couche g_i et les poids d'attention conditionnés par l'entrée alpha_i(x) ; tout le reste de la façon dont le score de classe final est produit est un classifieur linéaire conventionnel avec une non-linéarité phi appliquée à la fin.

Parce que les poids d'attention alpha_i(x) sont appris et dépendent de l'entrée, ils peuvent être inspectés après entraînement pour voir sur quelles couches le modèle s'est appuyé pour quels types d'entrées, et la source traite cela comme une fonctionnalité de premier ordre plutôt qu'un effet secondaire. Des analyses d'interprétabilité quantitatives et qualitatives démontrent que les scores d'attention de LAYA reflètent étroitement la contribution réelle des couches individuelles [12]. LAYA révèle des motifs structurés et dépendants de la tâche d'utilisation de la profondeur tout en fournissant des explications intuitives de la manière dont différents niveaux d'abstraction contribuent à chaque prédiction [12]. Pour un développeur, cela signifie qu'adopter LAYA comme tête de classifieur n'est pas purement une décision de précision ou de latence ; cela offre également une explication intégrée, par prédiction, des profondeurs du réseau qui ont conduit la décision, au coût des paramètres supplémentaires d'adaptateur et d'attention décrits ci-dessus. Aucun de ces mécanismes n'a été décrit ou mesuré pour un squelette d'encodeur de texte dans les preuves rassemblées ici, donc l'appliquer à une pile de blocs Transformer de style BERT serait une extension directe et raisonnable à tester, pas quelque chose déjà rapporté.

La comparaison quantitative la plus claire disponible dans les preuves est entre les encodeurs affinés de la famille BERT et le prompting par LLM, pas entre BERT et LAYA. L'étude pertinente a mesuré le macro F1, la latence d'inférence et le coût monétaire sur quatre benchmarks (IMDB, SST-2, AG News et DBPedia), comparant les LLM par prompting zero- et few-shot tels que GPT-4o et Claude Sonnet 4.5 à des architectures encodeur seul entièrement affinées [1]. Le résultat était que les modèles encodeur de la famille BERT affinés atteignent des performances compétitives, et souvent supérieures, tout en opérant avec un coût et une latence inférieurs d'un à deux ordres de grandeur par rapport au prompting par LLM zero- et few-shot [1]. Le même article présente l'évaluation de modèle comme un problème de décision multi-objectif et analyse les compromis à l'aide de projections de frontière de Pareto et d'une fonction d'utilité paramétrée reflétant différents régimes de déploiement [1], ce qui est un point méthodologique qu'un développeur peut réutiliser : la précision seule n'est pas la bonne perspective lorsque la latence et le coût diffèrent par ordres de grandeur entre les candidats. Cette méthodologie, pas les chiffres spécifiques, est la partie qui se transfère bien à une étude Laya contre BERT, car elle donne un modèle pour rapporter trois axes ensemble plutôt que la précision isolément.

D'autres sources ajoutent d'autres chiffres séparés sur les variantes de BERT sans les comparer à LAYA. TinyBERT 4 avec 4 couches atteint plus de 96.8% de la performance de son enseignant BERT BASE sur le benchmark GLUE, tout en étant 7.5 fois plus petit et 9.4 fois plus rapide à l'inférence [7]. TinyBERT 6 avec 6 couches offre des performances comparables à son enseignant BERT BASE [7]. Ces chiffres décrivent la distillation, comprimant BERT BASE en un modèle étudiant plus petit, et établissent que la précision de BERT peut être préservée à une fraction de sa taille et de sa latence grâce à la compression architecturale, ce qui est directement pertinent pour le déploiement embarqué même si cela ne dit rien sur LAYA. Un développeur qui souhaite un budget taille-latence pour le côté BERT d'une comparaison a, dans ces chiffres, deux points de référence concrets déjà mesurés sur GLUE : un étudiant 4 couches 7.5 fois plus petit et 9.4 fois plus rapide avec plus de 96.8% de la performance de l'enseignant, et un étudiant 6 couches avec des performances comparables.

L'affinage de BERT pour des tâches de TALN spécifiques nécessite des ressources de calcul élevées et un temps d'inférence coûteux [2], un coût qui a motivé une approche hybride classique-quantique : le modèle BERT hybride classique-quantique proposé intègre un circuit quantique à n-qubits avec un modèle BERT classique pour la classification de texte [2], en utilisant le circuit quantique pour affiner le modèle classique [2]. Le modèle BERT hybride classique-quantique proposé atteint des performances compétitives, et dans certains cas meilleures, que les bases classiques sur des jeux de données de référence standard [2]. Cependant, le matériel quantique actuel n'est pas encore suffisamment tolérant aux pannes pour obtenir un véritable gain de calcul, donc les expériences sont réalisées avec des simulations de circuits quantiques [2], ce qui signifie que la compétitivité rapportée concerne la précision, non un avantage démontré en latence ou en coût par rapport à l'affinage classique de BERT ; la simulation s'exécute sur du matériel classique, donc aucun chiffre de latence embarquée n'est non plus disponible de cette comparaison.

La propre mesure rapportée de LAYA porte sur un domaine complètement différent. Les expériences sur des jeux de données de classification d'images montrent que LAYA atteint des performances prédictives compétitives tout en produisant des explications significatives et sensibles à la profondeur [12]. Aucun benchmark n'est nommé, aucun chiffre de précision n'est donné, et aucune tâche de classification de texte n'est impliquée dans cette mesure ; l'affirmation indique seulement que les performances sont compétitives et que les explications sont significatives, sur des données d'image. Parce qu'aucune des sources ne rapporte le macro F1, la latence ou le coût de LAYA sur IMDB, SST-2, AG News, DBPedia ou tout autre benchmark de classification de texte, et parce qu'aucune des sources n'exécute BERT et LAYA sur la même tâche avec le même protocole de mesure, il n'y a aucun chiffre partagé dans les preuves qui permettrait à un lecteur de placer LAYA et BERT sur la même frontière de Pareto pour la classification de texte. Cette lacune est le résultat central de cette note : non pas que LAYA perde ou gagne, mais que la comparaison n'a pas été mesurée, et toute affirmation contraire irait au-delà de ce que disent les sources.

Un développeur choisissant entre BERT et une tête ou architecture alternative doit également connaître les modes de défaillance spécifiques à l'affinage de BERT, indépendamment de la comparaison avec LAYA. L'affinage de BERT reste instable, en particulier lors de l'utilisation de BERTLarge sur de petits jeux de données, où des processus d'apprentissage identiques avec des graines aléatoires différentes donnent souvent des modèles significativement différents [5]. Cela signifie que les chiffres de précision rapportés pour un seul affinage de BERT peuvent être trompeurs à moins que l'affinage n'ait été répété sur plusieurs graines, car deux exécutions de la même configuration peuvent aboutir à des niveaux de précision significativement différents uniquement en raison du caractère aléatoire de l'initialisation ou de l'ordre des données. C'est un avertissement méthodologique direct pour quiconque conçoit une étude comparative : un chiffre de précision mono-graine pour une baseline BERT ne suffit pas pour tirer une conclusion contre une méthode concurrente telle que LAYA.

La même source identifie des causes concrètes de cette instabilité et une atténuation documentée. Les facteurs contribuant à l'instabilité de l'affinage de BERT sur peu d'échantillons incluent : l'utilisation d'une méthode d'optimisation non standard avec une estimation biaisée du gradient, l'applicabilité limitée de certaines parties du réseau BERT, et l'utilisation d'un petit nombre prédéterminé d'itérations d'entraînement [5]. L'affinage du modèle BERT pré-entraîné sur une grande tâche intermédiaire stabilise l'affinage ultérieur sur de petits jeux de données [5]. Pour un développeur travaillant avec un petit jeu de données de classification embarquée, cela donne une recette spécifique et exploitable : affiner d'abord sur une tâche intermédiaire plus grande et connexe avant d'affiner sur le petit jeu de données cible, plutôt que d'affiner directement sur le petit jeu de données à partir du point de contrôle pré-entraîné de base.

Le coût est un thème récurrent dans plusieurs sources indépendantes, pas seulement la comparaison LLM contre encodeur. L'affinage de BERT produit des performances similaires aux modèles classiques à un coût supplémentaire significatif dans la notation automatique d'essais [9]. C'est un résultat spécifique à un domaine, la notation d'essais, mais il renforce le schéma général observé dans la comparaison du prompting par LLM [1] et la motivation hybride quantique [2] : la précision de BERT est souvent égalée par des alternatives moins chères, et la décision d'utiliser BERT devrait peser ce coût supplémentaire par rapport au gain de précision, tâche par tâche, plutôt que de supposer que BERT vaut toujours son coût.

Enfin, il existe un argument structurel sur pourquoi les architectures d'encodeur telles que BERT pourraient ou non être la bonne forme computationnelle pour une tâche donnée, indépendamment de la précision. Les couches Transformer sont linéaires dans la dimensionnalité d'entrée et quadratiques dans la longueur d'entrée [10]. Les réseaux récurrents sont linéaires dans la longueur d'entrée et quadratiques dans la dimensionnalité d'entrée [10]. Ce compromis est documenté dans une application différente, la modélisation de séquences pour le contrôle, où Decision Transformer est un algorithme de RL hors ligne qui modélise de manière autorégressive des trajectoires en utilisant l'architecture GPT-2 [10], et rencontre des difficultés avec des problèmes de contrôle continu tels que la stabilisation du pendule inversé et du pendule de Furuta [10], tandis que Decision LSTM parvient à atteindre des performances de niveau expert sur les tâches de stabilisation du pendule inversé et du pendule de Furuta [10]. Ce résultat ne se transfère pas directement à la classification de texte ou à LAYA, mais il établit, comme un schéma général et reproductible, que la meilleure architecture pour une tâche dépend de la forme de l'entrée (longueur versus dimensionnalité), et que les conceptions basées sur Transformer ne sont pas universellement supérieures aux alternatives, même lorsque l'alternative est un réseau récurrent beaucoup plus simple. Un développeur devrait considérer cela comme une mise en garde contre l'hypothèse qu'un encodeur basé sur Transformer est automatiquement le bon squelette pour chaque environnement de classification, embarqué ou non, sans le mesurer directement par rapport aux alternatives sur la forme d'entrée spécifique à traiter.

Au-delà des chiffres bruts de précision et de latence, le contexte de déploiement importe pour une décision embarquée, et une source en parle directement. La nature open-source des encodeurs affinés permet un déploiement sur site, offrant des avantages en matière de vie privée, de gouvernance des données et de reproductibilité [1]. Pour la classification embarquée spécifiquement, cette propriété est presque une exigence : les poids du modèle doivent être disponibles localement, l'inférence ne doit pas dépendre d'un appel réseau à une API externe, et l'organisation déployant le modèle doit être capable de reproduire et d'auditer son comportement. Les modèles affinés de la famille BERT satisfont cela car ils sont open-source et peuvent être exportés et exécutés localement [1], alors que les API de LLM par prompting, en revanche, nécessitent typiquement un aller-retour réseau et sont facturées à l'usage, car les LLM génèrent la sortie jeton par jeton même lorsqu'ils produisent une seule étiquette de classe, introduisant une latence inhérente et des coûts basés sur l'usage [1].

Cette même propriété, des poids ouverts pouvant être exportés et exécutés localement, n'est pas abordée pour LAYA dans les preuves. Les affirmations décrivent LAYA comme un module de sortie léger [12], et léger implique généralement un petit nombre de paramètres supplémentaires et un faible coût de calcul supplémentaire par rapport au squelette sur lequel il repose, mais aucune affirmation n'indique le nombre de paramètres, l'empreinte mémoire de LAYA, ou si l'implémentation de référence est publiée ouvertement. Un développeur évaluant LAYA pour un usage embarqué devrait établir cela directement à partir de l'implémentation de LAYA plutôt qu'à partir des affirmations résumées ici, car aucune des affirmations vérifiées ne donne de chiffre à ce sujet.

L'empreinte de l'encodeur a déjà été considérablement réduite au sein de la famille BERT grâce à la distillation, ce qui est directement pertinent pour les budgets embarqués. TinyBERT 4 atteignant plus de 96.8% de la performance GLUE de BERT BASE avec une taille 7.5 fois plus petite et une inférence 9.4 fois plus rapide [7], et TinyBERT 6 performant au niveau de BERT BASE [7], décrivent tous deux des points de contrôle déployables plus petits qui conservent la recette d'affinage de BERT et sa tête de classification basée sur [CLS] [5] tout en réduisant le calcul et la mémoire nécessaires au moment de l'inférence. C'est la voie la plus concrète et reproductible dans les preuves vers un classifieur de la famille BERT à faible latence et faible mémoire adapté à l'usage embarqué, et c'est la baseline naturelle contre laquelle toute nouvelle conception de tête, y compris LAYA, devrait être mesurée si l'objectif est le déploiement embarqué.

Pris ensemble, les affirmations pertinentes au déploiement décrivent les modèles de la famille BERT comme open-source, exportables, préservant la vie privée lorsqu'ils sont auto-hébergés [1], compressibles sans grande perte de précision grâce à la distillation [7], mais instables entre graines sur de petits jeux de données à moins d'utiliser une étape d'affinage intermédiaire [5]. Aucune de ces propriétés de déploiement (statut open-source, nombre de paramètres, exportabilité) n'est documentée pour LAYA dans les preuves rassemblées ici ; les propriétés documentées de LAYA sont architecturales (son mécanisme d'agrégation [12]) et évaluatives (précision compétitive et interprétabilité sur des jeux de données d'images [12]), pas opérationnelles. Cette asymétrie dans ce qui a été mesuré est elle-même un résultat important pour un développeur : les deux candidats ne sont pas encore décrits sur les mêmes axes, donc une décision de déploiement embarqué ne peut pas être prise à partir de ces seules affirmations, et combler cette lacune est exactement l'expérience manquante vers laquelle cette note pointe.

La limite centrale de cette base de preuves est énoncée clairement : aucune affirmation ne rapporte d'expérience comparative directe entre LAYA et un modèle BERT-base affiné sur une tâche de classification de texte, binaire ou multi-classes, embarquée ou non. Les seules expériences rapportées de LAYA portent sur des jeux de données de classification d'images, où il atteint des performances prédictives compétitives tout en produisant des explications significatives et sensibles à la profondeur [12]. Les comparaisons rapportées de BERT sont contre le prompting zero- et few-shot par LLM [1], contre une variante d'affinage hybride quantique de lui-même [2], contre une version étudiante distillée de lui-même [7], et contre des modèles classiques non-BERT dans la notation d'essais [9]. Aucune de ces comparaisons n'implique LAYA, et aucune des comparaisons de LAYA n'implique BERT ou des données textuelles.

Une deuxième limite concerne spécifiquement la latence, qui est le terme nommé dans la question de recherche. Les seuls chiffres de latence dans les preuves sont : les modèles affinés de la famille BERT opérant avec une latence inférieure d'un à deux ordres de grandeur au prompting zero- et few-shot par LLM sur IMDB, SST-2, AG News et DBPedia [1], et TinyBERT 4 étant 9.4 fois plus rapide à l'inférence que l'enseignant BERT BASE sur GLUE [7]. Aucune affirmation ne rapporte un chiffre de latence d'inférence pour LAYA sur un jeu de données, image ou texte, et aucune affirmation ne rapporte un chiffre de latence embarquée (par opposition à serveur ou simulé) pour BERT ou LAYA. Un développeur ne peut donc citer aucun chiffre de latence pour LAYA du tout, seulement pour les modèles de la famille BERT par rapport aux LLM ou à une version distillée d'eux-mêmes.

Une troisième limite concerne l'inadéquation des architectures. LAYA est décrit et évalué comme une tête de sortie attachée à un squelette non spécifié sur des jeux de données de classification d'images [12], tandis que les résultats de la famille BERT résumés ici décrivent une architecture d'encodeur complète, un objectif de pré-entraînement et une recette d'affinage ensemble [6] [5]. Échanger uniquement la tête, en gardant un encodeur BERT comme squelette et en attachant un agrégateur de style LAYA à la place du classifieur linéaire [CLS], est une manière naturelle de combler cette lacune, mais cela n'a été fait dans aucune des affirmations vérifiées, donc son résultat (si cela aide, nuit, ou ne fait aucune différence mesurable pour la précision ou la latence) est inconnu à partir de ces preuves.

Une quatrième limite concerne la reproductibilité de toute comparaison future. Étant donné que l'affinage de BERT reste instable entre graines aléatoires sur de petits jeux de données [5], toute future étude comparant BERT et LAYA sur un petit jeu de données à l'échelle embarquée devrait rapporter les résultats sur plusieurs graines, pas un seul affinage, pour éviter de confondre la variance due aux graines avec une véritable différence architecturale. Étant donné que les résultats actuels du BERT hybride quantique reposent sur des simulations de circuits quantiques plutôt que sur du matériel réel [2], toute affirmation d'un avantage computationnel provenant de composants non standard devrait être vérifiée pour savoir si elle a été mesurée sur le matériel cible réel ou seulement en simulation. Étant donné que l'étude LLM contre encodeur a utilisé un cadre multi-objectif avec frontière de Pareto plutôt qu'un seul chiffre de précision [1], une future étude Laya contre BERT devrait adopter le même rapport multi-axes (précision, latence et coût des ressources ensemble), plutôt que de rapporter la précision seule et de déclarer la comparaison complète.

1. Définir la tâche et choisir des benchmarks qui correspondent à la question de recherche. Choisir une tâche binaire et une tâche multi-classes afin que la comparaison couvre les deux régimes nommés dans la question ; les preuves nomment IMDB et SST-2 comme benchmarks de sentiment de style binaire, et AG News et DBPedia comme benchmarks de sujet multi-classes [1]. Fixer l'ensemble d'étiquettes, la division train/validation/test, et la métrique d'évaluation (macro F1) pour correspondre à la métrique déjà utilisée pour la comparaison BERT contre LLM afin que les résultats soient comparables à ces travaux antérieurs [1].

2. Choisir un squelette commun pour les deux têtes. Parce que LAYA est documenté comme une tête de sortie qui lit toutes les couches cachées d'un squelette [12], et que le propre classifieur de BERT ne lit que l'incorporation finale [CLS] [5], le test le plus équitable maintient le squelette fixe, par exemple un encodeur BERT-base standard pré-entraîné sur la prédiction de mots masqués et la prédiction de phrases suivantes [6], et attache deux têtes différentes : la tête standard [CLS] plus linéaire [5], et un agrégateur de style LAYA [12].

3. Implémenter la tête de référence exactement comme décrit. Ajouter le jeton [CLS] à l'entrée, le faire passer à travers la pile Transformer, prendre l'incorporation [CLS] de la dernière couche, et la projeter à travers un classifieur linéaire vers des scores de classe non normalisés [5]. C'est la configuration de référence ; ne pas la modifier, car tout changement rendrait la comparaison injuste pour BERT.

4. Implémenter la tête LAYA en suivant son calcul publié. Collecter l'état caché h_i de chacune des L couches du squelette commun. Projeter chaque h_i dans un espace latent partagé avec un adaptateur léger g_i(.) [12]. Calculer les coefficients d'attention conditionnés par l'entrée alpha_i(x) [12], et former l'agrégat h_agg = sum_i alpha_i(x) g_i(h_i) [12]. Calculer la prédiction finale comme y_hat = phi(W h_agg + b) [12].

pour chaque entrée x :
  h_1 ... h_L = squelette(x)          # un état caché par couche
  pour i de 1 à L :
    z_i = adaptateur_i(h_i)            # g_i(.), espace latent partagé
  alpha = attention(x, z_1..z_L)     # poids conditionnés par l'entrée
  h_agg = sum_i alpha_i * z_i
  y_hat = phi(W * h_agg + b)

5. Affiner les deux configurations sur les mêmes données avec le même optimiseur et le même nombre d'époques, en ne modifiant que la tête. Étant donné que l'affinage des modèles basés sur BERT est connu pour être instable sur de petits jeux de données entre graines aléatoires [5], exécuter chaque configuration (tête de référence et tête LAYA) sur au moins trois ou quatre graines aléatoires différentes et rapporter la dispersion, pas un seul chiffre.

6. Si un jeu de données cible est petit, appliquer l'étape de stabilisation documentée avant l'affinage final : d'abord affiner le squelette pré-entraîné sur une tâche intermédiaire plus large et connexe, puis affiner sur le petit jeu de données cible [5]. Appliquer cela de manière identique aux deux configurations de tête afin que cela ne devienne pas un facteur de confusion.

7. Mesurer la précision avec le macro F1 sur les données de test retenues pour les deux configurations, correspondant à la métrique utilisée dans l'étude BERT contre LLM afin que les résultats se situent dans le même cadre de référence [1]. Rapporter la moyenne et la dispersion entre graines de l'étape 5.

8. Mesurer la latence d'inférence pour les deux configurations sur le matériel embarqué cible réel, pas un serveur ou un simulateur, car la base de preuves avertit que les résultats simulés, comme dans le cas hybride quantique, n'établissent pas d'accélération sur du matériel réel [2]. Enregistrer le temps horloge par exemple à une taille de lot fixe de un, correspondant au scénario de déploiement embarqué dans la question de recherche.

9. Mesurer l'empreinte mémoire et le nombre de paramètres pour les deux configurations de tête attachées au squelette commun. Utiliser les chiffres de compression de style TinyBERT (7.5 fois plus petit et 9.4 fois plus rapide pour un étudiant 4 couches par rapport à BERT BASE [7]) comme échelle de référence pour ce qu'une différence de taille ou de vitesse significative représente, afin que la différence LAYA contre tête de référence puisse être jugée par rapport à une magnitude connue.

10. Rapporter les résultats comme une comparaison multi-objectif, pas un simple tableau de précision, en suivant le cadre de frontière de Pareto et de fonction d'utilité utilisé pour l'étude BERT contre LLM [1]. Tracer la précision en fonction de la latence pour les deux configurations de tête et indiquer clairement si l'une domine l'autre ou s'il existe un véritable compromis.

11. Points de défaillance courants à vérifier avant de se fier au résultat : confirmer que l'adaptateur g_i est appliqué de manière identique à chaque couche afin qu'aucune couche ne reçoive un avantage d'échelle injuste [12] ; confirmer que les coefficients d'attention alpha_i(x) sont réellement dépendants de l'entrée et ne s'effondrent pas en une pondération fixe indépendante de l'entrée, car la valeur d'interprétabilité de LAYA dépend de cela [12] ; et confirmer que la variance due aux graines dans la tête BERT de référence, documentée comme une instabilité connue [5], n'est pas confondue avec un effet réel de la tête LAYA.

12. Rapporter les sorties d'interprétabilité parallèlement à la précision et à la latence si LAYA est utilisé, car ses poids d'attention sont censés servir d'explication d'attribution par couche sans méthode post-hoc séparée [12]. Vérifier qualitativement si le motif d'utilisation des couches semble structuré et dépendant de la tâche, comme rapporté pour la classification d'images [12], ou s'il semble uniforme ou bruité sur la tâche de texte, car cela n'a pas été testé auparavant et est une nouvelle observation que cette expérience produirait.