قرارات مصنّفة غير تلقائية الانحدار: كيف يُقارَن Laya بـ BERT في التصنيف على الجهاز (On-Device Classification)؟

تصنيف النصوص بمجموعة ثابتة من التصنيفات، مثل تحليل المشاعر (ثنائي) أو الموضوع (متعدد الفئات)، يُحَلّ تقليديًا باستخدام معماريات ترميز فقط (encoder-only) تشمل BERT وRoBERTa وDistilBERT [1]. تحقق هذه النماذج دقة تنبؤية قوية مع الحفاظ على زمن استجابة استدلال منخفض وبصمة حسابية متواضعة [1]. يضيف النشر على الجهاز قيودًا لا يفرضها النشر على الخادم: ذاكرة محدودة، وقدرة حوسبة محدودة، ومتطلبًا صارمًا على زمن الاستجابة لكل استدلال. لهذا السبب يستحق أي ادعاء بوجود بديل أرخص أو أسرع من BERT تدقيقًا قبل اعتماده للاستخدام على الجهاز، ولهذا السبب فإن دراسة تقيس فعليًا زمن الاستجابة والتكلفة جنبًا إلى جنب مع الدقة أكثر فائدة لباني نظام من دراسة تُبلغ عن الدقة وحدها.

أظهرت نماذج اللغة الكبيرة مثل GPT-4o وClaude Sonnet 4.5 قدرات قوية في الاستدلال المفتوح ومهام اللغة التوليدية [1]. لكن نماذج LLM تولّد المخرج رمزًا (token) تلو الآخر حتى عند إنتاج تصنيف فئة واحدة، مما يُدخِل زمن استجابة متأصلًا وتكاليف مبنية على الاستخدام [1]. دراسة تُقيّم نماذج LLM القائمة على المطالبة بدون أمثلة (zero-shot) وبأمثلة قليلة (few-shot) مقابل معماريات ترميز فقط مضبوطة دقيقًا بالكامل عبر أربعة معايير، وهي IMDB وSST-2 وAG News وDBPedia، بقياس macro F1 وزمن استجابة الاستدلال والتكلفة المالية، وجدت أن النماذج المضبوطة دقيقًا القائمة على الترميز من عائلة BERT تحقق أداء تصنيف منافسًا، وغالبًا ما يكون متفوقًا، بينما تعمل بتكلفة وزمن استجابة أقل بمقدار رتبة إلى رتبتَي حجم مقارنةً بمطالبة LLM بدون أمثلة أو بأمثلة قليلة [1]. يُرسّخ هذا نماذج عائلة BERT كخط أساس عملي للتصنيف على الجهاز أو الحساس للتكلفة، لا LLM، وهو خط الأساس الذي تستخدمه هذه الملاحظة عند مناقشة ما يحتاج بديل مرشح لـ BERT أن يتفوق عليه.

وعلى صعيد آخر، يطرح خط عمل مختلف سؤالًا حول ما إذا كانت الممارسة القياسية المتمثلة في أخذ التنبؤ من الطبقة المخفية الأخيرة فقط هي الخيار التصميمي الصحيح لمصنّف عصبي. تشتقّ معظم المعماريات تنبؤاتها في النهاية حصريًا من التمثيل الناتج عن الطبقة المخفية الأخيرة [12]. تُشير دراسات تجريبية ونظرية إلى أن طبقات مختلفة تلتقط جوانب متمايزة ومتكاملة من المُدخل: الطبقات المبكرة تُرمِّز أنماطًا محلية، والطبقات الوسطى تلتقط علاقات بنيوية، والطبقات الأعمق تمثّل دلالات متزايدة التجريد [12]. LAYA (Layer-wise Attention Aggregator) هو رأس إخراج جديد يجمّع التمثيلات الداخلية ديناميكيًا عبر الانتباه (attention)، وقد بُني للاستفادة من هذه الملاحظة بدلًا من تجاهلها [12].

السؤال العملي الذي يواجه باني نظام هو ما إذا كان استبدال رأس مصنّف قياسي بشيء مثل LAYA، أو استبدال LLM كامل بـ BERT مضبوط دقيقًا، يمنح مقايضة أفضل بين الدقة وكل مللي ثانية على هاتف أو رقاقة مدمجة. الأدلة المجمَّعة هنا تجيب على السؤال الثاني مباشرة ولا تجيب على السؤال الأول لتصنيف النصوص، لأن LAYA لم يُختبر إلا على مجموعات بيانات صور [12]. تتعامل بقية هذه الملاحظة مع هذين الجسمين من الأدلة كجسمين منفصلين موثَّقين جيدًا، وتصف الآلية والأرقام المُبلَّغ عنها لكل منهما، وتوضّح صراحةً أينما لا يلتقيان، ليعرف باني نظام يريد المقارنة المفقودة بالضبط أيَّ تجربة يُجريها وما الذي يحتاج ضبطه. تقدّم دراسة تُؤطِّر تقييم النموذج كمسألة قرار متعددة الأهداف وتُحلّل المقايضات باستخدام إسقاطات جبهة باريتو (Pareto frontier) ودالة منفعة معلمَنة تعكس أنظمة نشر مختلفة العدسة الصحيحة لهذا النوع من المقارنة بمجرد سدّ القياس المفقود [1].

يعتمد BERT على مُحوِّل (Transformer) ثنائي الاتجاه متعدد الطبقات، ويُدرَّب على نص عادي لمهام التنبؤ بالكلمة المُقنَّعة (masked word prediction) والتنبؤ بالجملة التالية (next sentence prediction) [6]. وهو أول نموذج تمثيل قائم على الضبط الدقيق (fine-tuning) يحقق نتائج متقدمة في مجموعة من مهام معالجة اللغة الطبيعية [6]. يعني هذا أن BERT يُدرَّب مسبقًا مرة واحدة على نص كبير غير مُوسَم باستخدام هدفين إشرافيين ذاتيين، ثم تُكيَّف الأوزان المُدرَّبة مسبقًا نفسها، أي تُضبط دقيقًا، لمهام لاحقة عديدة مختلفة ببيانات موسومة قليلة نسبيًا. هذه الوصفة ذات المرحلتين، التدريب المسبق ثم الضبط الدقيق، هي سبب كون BERT وسليلاته الخيار الافتراضي لتصنيف النصوص ذي التصنيفات الثابتة بدلًا من نموذج مُدرَّب من الصفر لكل مهمة.

آليًا، يُولّد BERT متجه تضمين (embedding) سياقيًا عبر مكدّس من كتل المُحوّل لكل رمز (token) مُدخَل، ويُضيف رمزًا خاصًا [CLS] في بداية جملة الإدخال لمهام التصنيف [5]. لتصنيف على مستوى الجملة، يُسقِط مصنّف خطي مُضاف تضمين [CLS] إلى متجه احتمالات غير مُطبَّع (unnormalized) عبر فئات الإخراج [5]. هذا هو رأس التصنيف القياسي: طبقة خطية واحدة مُتعلَّمة توضع فوق مخرج كتلة المُحوّل الأخيرة لرمز واحد مُحدَّد، تليها خطوة تطبيع تحوّل الدرجات غير المُطبَّعة إلى احتمالات فئات. المكدّس بأكمله، الترميز مع الرأس الخطي، يُدرَّب من طرف إلى طرف أثناء الضبط الدقيق، وهو ما يفسّر أن ضبط BERT دقيقًا لمهمة جديدة يتطلب تحديث كل معلماته ما لم يُستخدم متغير كفء المعلمات (parameter-efficient).

يتّخذ LAYA نظرة مختلفة لما يجب أن ينظر إليه الرأس. LAYA (Layer-wise Attention Aggregator) هو وحدة إخراج خفيفة الوزن تتعلم وزن ودمج كل التمثيلات المخفية بطريقة تعتمد على المُدخل [12]. يتعلم LAYA أوزان انتباه مشروطة بالمُدخل على السمات عبر الطبقات [12]. فبدلًا من أن يقرأ الرأس الطبقة المخفية الأخيرة فقط، كما يفعل مصنّف BERT القائم على [CLS]، يقرأ رأس LAYA كل طبقة مخفية ينتجها شبكة العمود الفقري (backbone) ويترك آلية انتباه تُقرِّر، لكل مُدخل فردي، مقدار الوزن الذي يجب أن يُمنح لتمثيل كل طبقة. يوفّر LAYA درجات إسناد على مستوى الطبقة (layer-attribution) جوهرية تُحدِّد صراحةً مساهمة كل تمثيل في القرار النهائي دون طرق تفسير لاحقة خارجية [12]، مما يعني أن أوزان الانتباه نفسها تعمل بمثابة تفسير للأعماق التي كان لها أهمية في التنبؤ المُعطى، دون الحاجة لأداة تفسيرية منفصلة.

يختلف التصميمان إذن عند النقطة نفسها التي يُتّخذ فيها قرار التصنيف. رأس مصنّف BERT ثابت ويقرأ تمثيلًا نهائيًا واحدًا، وهو تضمين [CLS] بعد كتلة المُحوّل الأخيرة [5]. أما رأس LAYA فهو بحد ذاته وحدة انتباه صغيرة قابلة للتدريب تقرأ كل التمثيلات الوسيطة وتُنتج ترجيحًا لكل مُدخل ولكل طبقة قبل إصدار التنبؤ النهائي [12]. يقوم كلا النهجين على عمود فقري (backbone) مستخرج للسمات، وهو ترميز في حالة BERT، لكن وصف LAYA في المصدر لا يُحدّد عمودًا فقريًا نصيًا؛ فالتجارب المُبلَّغ عنها تستخدم مجموعات بيانات تصنيف صور [12]. هذا التمييز، بين العمود الفقري والرأس، هو سبب حاجة أي مقارنة عادلة بين Laya وBERT لتصنيف النصوص إلى تحديد العمود الفقري الدقيق الذي يقوم عليه مُجمِّع LAYA قبل أن تُقارن أي أرقام دقة أو زمن استجابة. كما يعني أن وصف LAYA كمنافس لـ BERT دقيق جزئيًا فقط: فـ LAYA يستبدل رأس التصنيف، بينما يُوصف BERT عادةً ويُقاس كترميز كامل مع رأس معًا، لذا يحتاج اختبار عادل إلى تثبيت العمود الفقري وتبديل الرأس فقط، أو التوضيح صراحةً أن المعمارية بأكملها، بما فيها العمود الفقري، يجري تبديلها.

الحوسبة الداخلية لـ LAYA موصوفة بدقة كافية في المصدر لإعادة إنتاجها. يستبدل LAYA رأس المصنّف القياسي بمُجمِّع قائم على الانتباه: h_agg = sum_{i=1}^{L} alpha_i(x) g_i(h_i)، حيث alpha_i(x) هي معاملات قابلة للتعلم ومشروطة بالمُدخل [12]. بعبارة بسيطة، ينتج العمود الفقري L تمثيلًا مخفيًا، واحدًا لكل طبقة، وبدلًا من الاحتفاظ بالأخير فقط، يحسب LAYA مجموعًا مُرجَّحًا لكل هذه التمثيلات، حيث يعتمد الوزن الممنوح لكل طبقة على المُدخل المحدَّد x قيد المعالجة حاليًا، وليس على جدول ثابت مستقل عن المُدخل. هذا هو الادعاء البنيوي الأساسي للطريقة: الترجيح دالة للمُدخل، لذا يمكن لمُدخلين مختلفين يمرّان عبر نفس الشبكة المدرَّبة أن يعتمدا في النهاية على أعماق مختلفة من التمثيل.

قبل حساب المجموع المُرجَّح، يُوضَع تمثيل كل طبقة على أرضية مشتركة. تُعرَّف كل حالة مخفية في LAYA إلى فضاء كامن مشترك عبر مُهايئ (adapter) خفيف الوزن g_i(.)، لضمان قابلية المقارنة عبر الطبقات [12]. تهمّ خطوة المُهايئ هذه لأن الحالات المخفية من أعماق مختلفة للشبكة قد تختلف في المقياس أو الأبعاد أو الدقة الدلالية، وجمعها مباشرة دون إسقاطها أولًا في فضاء مشترك قد يسمح لطبقة ما بالهيمنة على المجموع لأسباب لا تتعلق بمدى فائدة تمثيلها فعليًا. يُوصف المُهايئ الخفيف بأنه صغير، مما يُبقي إجمالي معلمات LAYA وعبء الحوسبة الإضافي منخفضًا نسبيًا مقارنةً بالعمود الفقري الذي يقوم عليه، رغم أن المصدر لا يعطي عدد معلمات دقيقًا ولا صيغة لحجم المُهايئ نسبةً إلى البُعد المخفي للعمود الفقري.

مرحلة الإخراج هي خطوة خطية بسيطة متبوعة بلا-خطية (nonlinearity) تُطبَّق على التمثيل المُجمَّع. يُحسَب التنبؤ النهائي في LAYA كـ y_hat = phi(W h_agg + b) [12]. هذا مشابه بنيويًا لرأس تصنيف BERT نفسه، وهو إسقاط خطي متبوع بلا-خطية، مع اختلاف رئيسي في ما يُغذَّى إلى تلك الطبقة الخطية: يُدخِل BERT تضمين [CLS] من الطبقة الأخيرة فقط [5]، بينما يُدخِل LAYA المزيج المُجمَّع بالانتباه من كل التمثيلات المُهايَئة عبر الطبقات [12]. الآلية الإضافية في LAYA، بالمقارنة برأس قياسي، هي إذن المُهايئ لكل طبقة g_i وأوزان الانتباه المشروطة بالمُدخل alpha_i(x)؛ أما بقية طريقة إنتاج درجة الفئة النهائية فهي مصنّف خطي تقليدي مع لا-خطية phi تُطبَّق في النهاية.

ولأن أوزان الانتباه alpha_i(x) مُتعلَّمة وتعتمد على المُدخل، يمكن فحصها بعد التدريب لمعرفة الطبقات التي اعتمد عليها النموذج لأنواع مُدخلات معينة، ويعامل المصدر ذلك سمةً أساسية لا أثرًا جانبيًا. تُظهر تحليلات تفسيرية كمّية ونوعية أن درجات انتباه LAYA تعكس عن قرب المساهمة الفعلية لكل طبقة على حدة [12]. يكشف LAYA أنماطًا مُنظَّمة تعتمد على المهمة لاستخدام العمق، بينما يقدّم تفسيرات بديهية لكيفية مساهمة مستويات التجريد المختلفة في كل تنبؤ [12]. بالنسبة لباني نظام، يعني هذا أن اعتماد LAYA كرأس مصنّف ليس قرارًا مبنيًا على الدقة أو زمن الاستجابة فقط؛ بل يوفّر أيضًا تفسيرًا مدمجًا لكل تنبؤ حول أعماق الشبكة التي دفعت القرار، بتكلفة المُهايئ الإضافي ومعلمات الانتباه الموصوفة أعلاه. لم تُوصف أو تُقاس أي من هذه الآلية على عمود فقري نصي في الأدلة المجمَّعة هنا، لذا فإن تطبيقها على مكدّس بأسلوب BERT من كتل المُحوّل يمثل امتدادًا مباشرًا ومعقولًا يجب اختباره، لا شيئًا مُبلَّغًا عنه سابقًا.

أوضح مقارنة كمّية متاحة في الأدلة هي بين مُشفِّرات عائلة BERT المضبوطة دقيقًا ومطالبة LLM، لا بين BERT وLAYA. قاست الدراسة ذات الصلة macro F1 وزمن استجابة الاستدلال والتكلفة المالية عبر أربعة معايير، وهي IMDB وSST-2 وAG News وDBPedia، مقارنةً نماذج LLM القائمة على المطالبة بدون أمثلة وبأمثلة قليلة مثل GPT-4o وClaude Sonnet 4.5 مقابل معماريات ترميز فقط مضبوطة دقيقًا بالكامل [1]. كانت النتيجة أن النماذج المضبوطة دقيقًا القائمة على الترميز من عائلة BERT تحقق أداء تصنيف منافسًا، وغالبًا متفوقًا، بينما تعمل بتكلفة وزمن استجابة أقل بمقدار رتبة إلى رتبتَي حجم مقارنةً بمطالبة LLM بدون أمثلة أو بأمثلة قليلة [1]. تُؤطِّر الورقة نفسها تقييم النموذج كمسألة قرار متعددة الأهداف وتُحلّل المقايضات باستخدام إسقاطات جبهة باريتو ودالة منفعة معلمَنة تعكس أنظمة نشر مختلفة [1]، وهذه نقطة منهجية يمكن لباني نظام إعادة استخدامها: الدقة وحدها ليست العدسة الصحيحة عندما تختلف التكلفة وزمن الاستجابة بمقدار رتب حجم بين المرشحين. هذه المنهجية، لا الأرقام تحديدًا، هي الجزء الذي ينتقل بسلاسة إلى دراسة Laya مقابل BERT، لأنها تقدّم نموذجًا للتبليغ عن ثلاثة محاور معًا بدلًا من الدقة معزولة.

تضيف مصادر أخرى أرقامًا إضافية منفصلة عن متغيرات BERT دون مقارنتها بـ LAYA. يحقق TinyBERT 4 بأربع طبقات أكثر من 96.8% من أداء معلّمه BERT BASE على معيار GLUE، بينما يكون أصغر بـ 7.5 مرة وأسرع بـ 9.4 مرة في الاستدلال [7]. يؤدي TinyBERT 6 بست طبقات أداءً مماثلًا لمعلّمه BERT BASE [7]. تصف هذه الأرقام التقطير (distillation)، أي ضغط BERT BASE في نموذج طالب أصغر، وتُرسّخ أن دقة BERT يمكن الحفاظ عليها بجزء صغير من حجمها وزمن استجابتها عبر الضغط المعماري، وهذا ذو صلة مباشرة بالنشر على الجهاز رغم أنه لا يقول شيئًا عن LAYA. باني نظام يريد ميزانية حجم-زمن استجابة لجانب BERT من المقارنة لديه، في هذه الأرقام، نقطتَي مرجع محددتين مُقاستين بالفعل على GLUE: طالب من 4 طبقات أصغر بـ 7.5 مرة وأسرع بـ 9.4 مرة بأكثر من 96.8% من أداء المعلّم، وطالب من 6 طبقات بأداء مماثل.

يتطلب ضبط BERT دقيقًا لمهام معالجة لغة طبيعية محددة موارد حسابية عالية وزمن استدلال مكلفًا [2]، وهي تكلفة حفّزت نهجًا هجينًا كلاسيكيًا-كموميًا: يدمج نموذج BERT الهجين الكلاسيكي-الكمومي المقترح دارة كمومية ذات n-كيوبت مع نموذج BERT كلاسيكي لتصنيف النصوص [2]، مستخدمًا الدارة الكمومية لضبط النموذج الكلاسيكي دقيقًا [2]. يحقق نموذج BERT الهجين الكلاسيكي-الكمومي المقترح أداءً منافسًا، وفي بعض الحالات أفضل، من خطوط الأساس الكلاسيكية على مجموعات بيانات معيارية قياسية [2]. لكن الأجهزة الكمومية الحالية ليست مقاومة للأخطاء (fault-tolerant) بما يكفي لتحقيق تسريع حسابي فعلي، لذا تُجرى التجارب عبر محاكاة الدارات الكمومية [2]، ما يعني أن التنافسية المُبلَّغ عنها متعلقة بالدقة فقط، لا بأي ميزة زمن استجابة أو تكلفة مُثبتة على BERT الكلاسيكي المضبوط دقيقًا؛ والمحاكاة تعمل على أجهزة كلاسيكية، لذا لا يتوفر رقم زمن استجابة على الجهاز من هذه المقارنة أيضًا.

القياس المُبلَّغ عنه الخاص بـ LAYA يقع في مجال مختلف تمامًا. تُظهر التجارب على مجموعات بيانات تصنيف الصور أن LAYA يحقق أداءً تنبؤيًا منافسًا مع إنتاج تفسيرات واعية بالعمق ذات معنى [12]. لا يوجد اسم معيار، ولا رقم دقة مُعطى، ولا مهمة تصنيف نصوص متضمَّنة في هذا القياس؛ ينصّ الادعاء فقط على أن الأداء منافس وأن التفسيرات ذات معنى، على بيانات صور. ولأن أيًّا من المصادر لا يُبلغ عن macro F1 أو زمن الاستجابة أو التكلفة لـ LAYA على IMDB أو SST-2 أو AG News أو DBPedia أو أي معيار تصنيف نصوص آخر، ولأن أيًّا من المصادر لا يُشغِّل BERT وLAYA على نفس المهمة بنفس بروتوكول القياس، لا يوجد رقم مشترك في الأدلة يسمح لقارئ بوضع LAYA وBERT على نفس جبهة باريتو لتصنيف النصوص. هذه الفجوة هي النتيجة المحورية لهذه الملاحظة: ليس أن LAYA يخسر أو يفوز، بل أن المقارنة لم تُقَس، وأي بيان يخالف ذلك سيتجاوز ما تقوله المصادر.

باني نظام يختار بين BERT وأي رأس أو معمارية بديلة يحتاج أيضًا إلى معرفة أنماط فشل خاصة بضبط BERT دقيقًا، مستقلة عن المقارنة بـ LAYA. يظلّ ضبط BERT دقيقًا غير مستقر، خصوصًا عند استخدام BERTLarge على مجموعات بيانات صغيرة، حيث تؤدي عمليات تعلّم مطابقة بمصادر عشوائية (random seeds) مختلفة غالبًا إلى نماذج مختلفة اختلافًا كبيرًا [5]. يعني هذا أن أرقام الدقة المُبلَّغ عنها لتشغيل ضبط دقيق واحد لـ BERT قد تكون مضللة ما لم يُكرَّر التشغيل عبر عدة مصادر عشوائية، لأن تشغيلين من نفس الإعداد قد ينتهيان بمستويات دقة مختلفة جوهريًا لمجرد العشوائية في التهيئة أو ترتيب البيانات. هذا تحذير منهجي مباشر لأي شخص يصمم دراسة مقارنة: رقم دقة من مصدر عشوائي واحد لخط أساس BERT لا يكفي لاستخلاص استنتاج ضد طريقة منافسة مثل LAYA.

يحدّد المصدر نفسه أسبابًا محددة لعدم الاستقرار هذا وحلًا موثَّقًا. تشمل العوامل المسبّبة لعدم الاستقرار في ضبط BERT دقيقًا بعينات قليلة: استخدام طريقة تحسين غير قياسية مع تقدير تدرّج مُتحيِّز، وتطبيقية محدودة لأجزاء من شبكة BERT، واستخدام عدد محدَّد مسبقًا وصغير من تكرارات التدريب [5]. ضبط نموذج BERT المُدرَّب مسبقًا دقيقًا على مهمة وسيطة كبيرة يُثبّت الضبط الدقيق اللاحق على مجموعات بيانات صغيرة [5]. لباني نظام يعمل بمجموعة بيانات تصنيف صغيرة على الجهاز، يوفّر هذا وصفة محددة قابلة للتنفيذ: الضبط الدقيق أولًا على مهمة وسيطة أكبر ذات صلة قبل الضبط الدقيق على مجموعة البيانات الهدف الصغيرة، بدلًا من الضبط الدقيق المباشر على مجموعة البيانات الصغيرة من نقطة التحقق (checkpoint) المُدرَّبة مسبقًا الأساسية.

تتكرر التكلفة كموضوع عبر مصادر مستقلة متعددة، ليس فقط في مقارنة LLM مقابل الترميز. ينتج ضبط BERT دقيقًا أداءً مماثلًا للنماذج الكلاسيكية بتكلفة إضافية كبيرة في تصحيح المقالات آليًا (automated essay scoring) [9]. هذه نتيجة خاصة بمجال معين، تصحيح المقالات آليًا، لكنها تُعزّز النمط العام المُلاحَظ في مقارنة مطالبة LLM [1] والتحفيز الهجين الكمومي [2]: غالبًا ما تُطابَق دقة BERT من قِبل بدائل أرخص، ويجب أن يُوازن قرار استخدام BERT بين هذه التكلفة الإضافية والدقة المكتسبة، مهمةً بمهمة، بدلًا من افتراض أن BERT يستحق تكلفته دائمًا.

أخيرًا، توجد حجة بنيوية حول ما إذا كانت معماريات الترميز مثل BERT الشكل الحسابي الصحيح لمهمة مُعطاة، بمعزل عن الدقة. طبقات المُحوّل خطية في أبعاد المُدخل وتربيعية في طول المُدخل [10]. تتوسّع الشبكات المتكررة خطيًا في طول المُدخل وتربيعيًا في أبعاد المُدخل [10]. هذه المقايضة موثَّقة في تطبيق مختلف، نمذجة التسلسل للتحكم، حيث Decision Transformer هو خوارزمية تعلّم معزز غير متصل (offline RL) تُنمذج المسارات تلقائي الانحدار باستخدام معمارية GPT-2 [10]، وتُعاني مع مسائل التحكم المستمر مثل تثبيت البندول المقلوب وبندول Furuta [10]، بينما يستطيع Decision LSTM تحقيق أداء بمستوى الخبير في مهام تثبيت البندول المقلوب وبندول Furuta [10]. هذه النتيجة لا تنتقل مباشرة إلى تصنيف النصوص أو إلى LAYA، لكنها تُرسّخ، كنمط عام وقابل للتكرار، أن أفضل معمارية لمهمة تعتمد على شكل المُدخل، الطول مقابل الأبعاد، وأن التصميمات القائمة على المُحوّل ليست متفوقة عالميًا حتى عندما يكون البديل شبكة متكررة أبسط بكثير. يجب على باني نظام أن يعامل هذا كتحذير ضد افتراض أن ترميزًا قائمًا على المُحوّل هو تلقائيًا العمود الفقري الصحيح لكل إعداد تصنيف، على الجهاز أو غير ذلك، دون قياسه مباشرة مقابل البدائل على شكل المُدخل المحدَّد المطروح.

إلى جانب أرقام الدقة وزمن الاستجابة الخام، يهمّ سياق النشر في قرار على الجهاز، ويتحدث أحد المصادر مباشرة عن هذا. طبيعة المصدر المفتوح للمُشفِّرات المضبوطة دقيقًا تُمكِّن النشر داخل المؤسسة (on-premise)، مقدِّمةً مزايا في الخصوصية وحوكمة البيانات وقابلية إعادة الإنتاج [1]. بالنسبة للتصنيف على الجهاز تحديدًا، تقترب هذه الخاصية من كونها متطلبًا: يجب أن تكون أوزان النموذج متاحة محليًا، ويجب ألا يعتمد الاستدلال على استدعاء شبكة إلى واجهة برمجية خارجية، وتحتاج المؤسسة التي تنشر النموذج إلى القدرة على إعادة إنتاج ومراجعة سلوكه. تُلبّي نماذج عائلة BERT المضبوطة دقيقًا هذا لأنها مفتوحة المصدر ويمكن تصديرها وتشغيلها محليًا [1]، في حين أن واجهات برمجة LLM القائمة على المطالبة، بالمقابل، تتطلب عادة رحلة ذهاب وإياب عبر الشبكة وتُفوتَر حسب الاستخدام، بما أن نماذج LLM تولّد المخرج رمزًا تلو الآخر حتى عند إنتاج تصنيف فئة واحدة، مما يُدخِل زمن استجابة متأصلًا وتكاليف مبنية على الاستخدام [1].

هذه الخاصية نفسها، الأوزان المفتوحة القابلة للتصدير والتشغيل محليًا، لم تُتناوَل لـ LAYA في الأدلة. تصف الادعاءات LAYA كوحدة إخراج خفيفة الوزن [12]، وخفيف الوزن يعني عمومًا عددًا صغيرًا من المعلمات الإضافية وحوسبة إضافية منخفضة نسبيًا للعمود الفقري الذي يقوم عليه، لكن لا يوجد ادعاء يذكر عدد معلمات LAYA أو بصمته في الذاكرة أو ما إذا كان التطبيق المرجعي متاحًا علنًا. باني نظام يُقيِّم LAYA للاستخدام على الجهاز سيحتاج إلى إثبات ذلك مباشرة من تطبيق LAYA بدلًا من الادعاءات الملخَّصة هنا، إذ لا تعطي أي من الادعاءات الموثَّقة رقمًا لذلك.

خُفِّضت بصمة الترميز فعلًا بشكل كبير داخل عائلة BERT عبر التقطير، وهو أمر ذو صلة مباشرة بميزانيات الجهاز. يحقق TinyBERT 4 أكثر من 96.8% من أداء BERT BASE على GLUE بحجم أصغر بـ 7.5 مرة واستدلال أسرع بـ 9.4 مرة [7]، ويؤدي TinyBERT 6 أداءً مماثلًا لـ BERT BASE [7]، ويصف كلاهما نقاط تحقق (checkpoints) أصغر قابلة للنشر تحافظ على وصفة الضبط الدقيق الخاصة بـ BERT ورأس تصنيفها القائم على [CLS] [5] بينما تُقلّص الحوسبة والذاكرة اللازمتين وقت الاستدلال. هذا هو المسار الأكثر تحديدًا وقابلية للتكرار في الأدلة نحو مصنّف من عائلة BERT منخفض زمن الاستجابة ومنخفض الذاكرة مناسب للاستخدام على الجهاز، وهو خط الأساس الطبيعي الذي ينبغي قياس أي تصميم رأس جديد، بما فيه LAYA، مقابله إذا كان الهدف هو النشر على الجهاز.

مُجمَلةً، تصف ادعاءات ذات صلة بالنشر نماذج عائلة BERT بأنها مفتوحة المصدر وقابلة للتصدير، وحافظة للخصوصية عند استضافتها ذاتيًا [1]، وقابلة للضغط دون خسارة دقة كبيرة عبر التقطير [7]، لكنها غير مستقرة عبر المصادر العشوائية على مجموعات بيانات صغيرة ما لم تُستخدم خطوة ضبط دقيق وسيطة [5]. لم تُوثَّق أيٌّ من خصائص النشر هذه، حالة المصدر المفتوح وعدد المعلمات وقابلية التصدير، لـ LAYA في الأدلة المجمَّعة هنا؛ فخصائص LAYA الموثَّقة معمارية، آلية تجميعه [12]، وتقييمية، دقة تنافسية وقابلية تفسير على مجموعات بيانات صور [12]، لا تشغيلية. هذا التفاوت في ما تم قياسه هو بحد ذاته نتيجة مهمة لباني نظام: المرشحان غير موصوفَين بعد على نفس المحاور، لذا لا يمكن اتخاذ قرار نشر على الجهاز من هذه الادعاءات وحدها، وسدّ هذه الفجوة هو بالضبط ما تشير إليه هذه الملاحظة كتجربة مفقودة.

الحد المركزي لهذه القاعدة من الأدلة مذكور بوضوح: لا يُبلغ أي ادعاء عن تجربة مباشرة بين LAYA ونموذج BERT-base مضبوط دقيقًا على أي مهمة تصنيف نصوص، ثنائية أو متعددة الفئات، على الجهاز أو غير ذلك. التجارب الوحيدة المُبلَّغ عنها لـ LAYA هي على مجموعات بيانات تصنيف الصور، حيث يحقق أداءً تنبؤيًا منافسًا مع إنتاج تفسيرات واعية بالعمق ذات معنى [12]. مقارنات BERT المُبلَّغ عنها هي مع مطالبة LLM بدون أمثلة وبأمثلة قليلة [1]، ومع متغير هجين كمّي لضبطه الدقيق من نفسه [2]، ومع نسخة طالب مُقطَّرة من نفسه [7]، ومع نماذج كلاسيكية غير BERT في تصحيح المقالات [9]. لا تتضمن أيٌّ من هذه المقارنات LAYA، ولا تتضمن أيٌّ من مقارنات LAYA BERT أو بيانات نصية.

يتعلق حد ثانٍ بزمن الاستجابة تحديدًا، وهو المصطلح المذكور في سؤال البحث. الأرقام الوحيدة لزمن الاستجابة في الأدلة هي: نماذج عائلة BERT المضبوطة دقيقًا تعمل بزمن استجابة أقل بمقدار رتبة إلى رتبتَي حجم من مطالبة LLM بدون أمثلة وبأمثلة قليلة على IMDB وSST-2 وAG News وDBPedia [1]، وTinyBERT 4 أسرع بـ 9.4 مرة في الاستدلال من معلّمه BERT BASE على GLUE [7]. لا يُبلغ أي ادعاء عن رقم زمن استجابة استدلال لـ LAYA على أي مجموعة بيانات، صور أو نصوص، ولا يُبلغ أي ادعاء عن رقم زمن استجابة على الجهاز (بخلاف الخادم أو المُحاكاة) لأيٍّ من BERT أو LAYA. لا يستطيع باني نظام إذن الاستشهاد برقم زمن استجابة لـ LAYA على الإطلاق، بل فقط لنماذج عائلة BERT مقابل LLM أو مقابل نسخة مُقطَّرة من نفسها.

يتعلق حد ثالث بعدم تطابق المعمارية. يُوصف LAYA ويُقيَّم كرأس إخراج مرفق بعمود فقري غير محدَّد على مجموعات بيانات تصنيف صور [12]، بينما تصف نتائج عائلة BERT الملخَّصة هنا معمارية ترميز كاملة، وهدف تدريب مسبق، ووصفة ضبط دقيق معًا [6] [5]. تبديل الرأس فقط، أي الإبقاء على ترميز BERT كعمود فقري وإرفاق مُجمِّع بأسلوب LAYA بدلًا من المصنّف الخطي [CLS]، طريقة طبيعية لسدّ هذه الفجوة، لكنها لم تُنفَّذ في أيٍّ من الادعاءات الموثَّقة، لذا فإن نتيجتها، سواء تساعد أو تضر أو لا تُحدث فرقًا مقيسًا في الدقة أو زمن الاستجابة، غير معروفة من هذه الأدلة.

يتعلق حد رابع بقابلية تكرار أي مقارنة مستقبلية. بما أن ضبط BERT دقيقًا يظل غير مستقر عبر المصادر العشوائية على مجموعات بيانات صغيرة [5]، فإن أي دراسة مستقبلية تقارن BERT وLAYA على مجموعة بيانات بحجم على الجهاز صغيرة ستحتاج إلى الإبلاغ عن نتائج عبر مصادر عشوائية متعددة، لا تشغيل واحد، لتجنب الخلط بين تباين المصدر العشوائي وفرق معماري حقيقي. وبما أن نتائج BERT الهجينة الكمومية الحالية تعتمد على محاكاة الدارات الكمومية بدلًا من الأجهزة الفعلية [2]، ينبغي التحقق من أي ادعاء بميزة حسابية من مكونات غير قياسية لمعرفة ما إذا كان قد قيس على الجهاز الهدف الفعلي أو في المحاكاة فقط. وبما أن دراسة LLM مقابل الترميز استخدمت إطارًا متعدد الأهداف قائمًا على جبهة باريتو بدلًا من رقم دقة واحد [1]، ينبغي لدراسة Laya مقابل BERT المستقبلية اعتماد نفس التبليغ متعدد المحاور، الدقة وزمن الاستجابة وتكلفة الموارد معًا، بدلًا من الإبلاغ عن الدقة وحدها واعتبار المقارنة مكتملة.

1. حدِّد المهمة واختر معايير تطابق سؤال البحث. اختر مهمة ثنائية واحدة ومهمة متعددة الفئات واحدة لكي تغطي المقارنة كلا النظامين المذكورين في السؤال؛ تُسمّي الأدلة IMDB وSST-2 كمعيارَي مشاعر ذي طابع ثنائي وAG News وDBPedia كمعيارَي موضوع متعدد الفئات [1]. ثبّت مجموعة التصنيفات، وتقسيم التدريب/التحقق/الاختبار، ومقياس التقييم، macro F1، ليطابق المقياس المُستخدم بالفعل في مقارنة BERT مقابل LLM حتى تكون النتائج قابلة للمقارنة مع ذلك العمل السابق [1].

2. اختر عمودًا فقريًا مشتركًا لكلا الرأسين. بما أن LAYA موثَّق كرأس إخراج يقرأ كل الطبقات المخفية لعمود فقري [12]، وبما أن مصنّف BERT نفسه يقرأ فقط تضمين [CLS] النهائي [5]، فإن الاختبار الأكثر عدلًا يُثبّت العمود الفقري، مثل مُشفِّر BERT-base قياسي مُدرَّب مسبقًا على التنبؤ بالكلمة المُقنَّعة والتنبؤ بالجملة التالية [6]، ويُرفق رأسين مختلفين به: الرأس القياسي [CLS] مع خطي [5]، ومُجمِّع بأسلوب LAYA [12].

3. طبِّق الرأس الأساسي كما هو موصوف تمامًا. أضف رمز [CLS] في بداية المُدخل، مرّره عبر مكدّس المُحوّل، خذ تضمين [CLS] من الطبقة الأخيرة، وأسقطه عبر مصنّف خطي إلى درجات فئات غير مُطبَّعة [5]. هذا هو الإعداد المرجعي؛ لا تُعدِّله، لأن أي تغيير سيجعل المقارنة غير عادلة تجاه BERT.

4. طبِّق رأس LAYA وفق حوسبته المنشورة. اجمع الحالة المخفية h_i من كل طبقة من الطبقات L للعمود الفقري المشترك. أسقِط كل h_i إلى فضاء كامن مشترك بمُهايئ خفيف الوزن g_i(.) [12]. احسب معاملات انتباه مشروطة بالمُدخل alpha_i(x) [12]، وكوِّن المجموع h_agg = sum_i alpha_i(x) g_i(h_i) [12]. احسب التنبؤ النهائي كـ y_hat = phi(W h_agg + b) [12].

لكل مُدخل x:
  h_1 ... h_L = backbone(x)          # حالة مخفية واحدة لكل طبقة
  لكل i في 1..L:
    z_i = adapter_i(h_i)            # g_i(.)، فضاء كامن مشترك
  alpha = attention(x, z_1..z_L)     # أوزان مشروطة بالمُدخل
  h_agg = sum_i alpha_i * z_i
  y_hat = phi(W * h_agg + b)

5. اضبط كلا الإعدادين دقيقًا على نفس البيانات بنفس المُحسِّن (optimizer) وعدد الحقب (epochs)، مع تغيير الرأس فقط. بما أن ضبط النماذج المبنية على BERT دقيقًا معروف بعدم استقراره على مجموعات بيانات صغيرة عبر المصادر العشوائية [5]، شغِّل كل إعداد، الرأس الأساسي ورأس LAYA، عبر ثلاثة أو أربعة مصادر عشوائية مختلفة على الأقل وأبلغ عن التباين، لا رقم واحد.

6. إذا كانت أي مجموعة بيانات هدف صغيرة، طبِّق خطوة التثبيت الموثَّقة قبل تشغيل الضبط الدقيق النهائي: اضبط أولًا العمود الفقري المُدرَّب مسبقًا دقيقًا على مهمة وسيطة أكبر ذات صلة، ثم اضبط دقيقًا على مجموعة البيانات الهدف الصغيرة [5]. طبِّق هذا بشكل مطابق على كلا إعدادَي الرأس حتى لا يصبح متغيرًا مربكًا.

7. قِس الدقة باستخدام macro F1 على بيانات اختبار محجوزة لكلا الإعدادين، بمطابقة المقياس المُستخدم في دراسة BERT مقابل LLM حتى تقع النتائج في نفس الإطار المرجعي [1]. أبلغ عن المتوسط والتباين عبر المصادر العشوائية من الخطوة 5.

8. قِس زمن استجابة الاستدلال لكلا الإعدادين على أجهزة الجهاز الهدف الفعلية، لا خادم أو مُحاكٍ، بما أن قاعدة الأدلة تحذّر من أن النتائج المُحاكاة، كما في الحالة الهجينة الكمومية، لا تُثبت تسريعًا حقيقيًا للأجهزة [2]. سجّل زمن الجدار الحقيقي لكل مثال بحجم دفعة (batch size) ثابت يساوي واحدًا، مطابقًا لسيناريو النشر على الجهاز في سؤال البحث.

9. قِس بصمة الذاكرة وعدد المعلمات لكلا إعدادَي الرأس المرفقين بالعمود الفقري المشترك. استخدم أرقام الضغط بأسلوب TinyBERT، 7.5 مرة أصغر و9.4 مرة أسرع لطالب من 4 طبقات مقابل BERT BASE [7]، كمقياس مرجعي لما يبدو عليه فرق حجم أو سرعة ذو دلالة، حتى يمكن الحكم على فرق LAYA مقابل الرأس الأساسي مقابل مقدار معروف.

10. أبلغ عن النتائج كمقارنة متعددة الأهداف، لا جدول دقة واحد، باتباع إطار جبهة باريتو ودالة المنفعة المُستخدم في دراسة BERT مقابل LLM [1]. ارسم الدقة مقابل زمن الاستجابة لكلا إعدادَي الرأس وأوضِح بجلاء ما إذا كان أحدهما يهيمن على الآخر أو ما إذا كانت هناك مقايضة حقيقية.

11. نقاط فشل شائعة يجب التحقق منها قبل الوثوق بالنتيجة: تأكّد أن المُهايئ g_i يُطبَّق بنفس الطريقة على كل طبقة حتى لا تُمنح أي طبقة ميزة مقياس غير عادلة [12]؛ تأكّد أن معاملات الانتباه alpha_i(x) تعتمد فعليًا على المُدخل ولا تنهار إلى ترجيح ثابت مستقل عن المُدخل، بما أن قيمة قابلية تفسير LAYA تعتمد على صحة ذلك [12]؛ وتأكّد أن التباين بين المصادر العشوائية في رأس BERT الأساسي، الموثَّق كعدم استقرار معروف [5]، لا يُخلط عن طريق الخطأ بأثر حقيقي لرأس LAYA.

12. أبلغ عن مخرجات قابلية التفسير جنبًا إلى جنب مع الدقة وزمن الاستجابة إذا استُخدم LAYA، بما أن أوزان انتباهه مُصمَّمة لتعمل بمثابة تفسير إسناد على مستوى الطبقة دون طريقة لاحقة منفصلة [12]. تحقق نوعيًا مما إذا كان نمط استخدام الطبقة يبدو مُنظَّمًا ومعتمدًا على المهمة، كما أُبلغ عنه لتصنيف الصور [12]، أو ما إذا كان يبدو موحدًا أو مشوَّشًا على مهمة النصوص، بما أن هذا لم يُختبر سابقًا وسيكون ملاحظة جديدة تُنتجها هذه التجربة.