glossary
LLM prompting
Using a large language model with zero- or few-shot prompts to produce a class label, which introduces inherent latency and usage-based costs because the model generates output token by token.
As used in: Non-Autoregressive Typed Decisions: How Does Laya Compare to BERT for On-Device Classification?
Using a large language model with zero- or few-shot prompts to produce a class label, which introduces inherent latency and usage-based costs because the model generates output token by token.
استخدام نموذج لغة كبير بمطالبات بدون أمثلة أو بأمثلة قليلة لإنتاج تصنيف فئة، مما يُدخل زمن استجابة متأصلًا وتكاليف مبنية على الاستخدام لأن النموذج يولّد المخرج رمزًا تلو الآخر.
Usar un modelo de lenguaje grande con instrucciones de cero o pocos ejemplos para producir una etiqueta de clase, lo que introduce latencia inherente y costos basados en el uso porque el modelo genera salida token por token.
Utiliser un grand modèle de langage avec des prompts zero- ou few-shot pour produire une étiquette de classe, ce qui introduit une latence inhérente et des coûts basés sur l'usage car le modèle génère la sortie jeton par jeton.