glossary
LAYA (Layer-wise Attention Aggregator)
A novel output head that dynamically aggregates internal representations through attention, learning input-conditioned attention weights over layer-wise features.
As used in: Non-Autoregressive Typed Decisions: How Does Laya Compare to BERT for On-Device Classification?
A novel output head that dynamically aggregates internal representations through attention, learning input-conditioned attention weights over layer-wise features.
رأس إخراج جديد يُجمِّع التمثيلات الداخلية ديناميكيًا عبر الانتباه، متعلمًا أوزان انتباه مشروطة بالمُدخل على السمات عبر الطبقات.
Una cabeza de salida novedosa que agrega dinámicamente representaciones internas mediante atención, aprendiendo pesos de atención condicionados a la entrada sobre características a nivel de capa.
Une nouvelle tête de sortie qui agrège dynamiquement les représentations internes via l'attention, apprenant des poids d'attention conditionnés par l'entrée sur les caractéristiques par couche.