glossary
input-conditioned attention weights
Learnable coefficients alpha_i(x) that depend on the specific input x, used by LAYA to weight each layer's representation when forming the aggregated representation.
As used in: Non-Autoregressive Typed Decisions: How Does Laya Compare to BERT for On-Device Classification?
Learnable coefficients alpha_i(x) that depend on the specific input x, used by LAYA to weight each layer's representation when forming the aggregated representation.
معاملات قابلة للتعلم alpha_i(x) تعتمد على المُدخل المحدَّد x، يستخدمها LAYA لترجيح تمثيل كل طبقة عند تكوين التمثيل المُجمَّع.
Coeficientes aprendibles alpha_i(x) que dependen de la entrada específica x, utilizados por LAYA para ponderar la representación de cada capa al formar la representación agregada.
Coefficients appris alpha_i(x) qui dépendent de l'entrée spécifique x, utilisés par LAYA pour pondérer la représentation de chaque couche lors de la formation de la représentation agrégée.