ميزات اختلال تدفق الأوامر (Order-Flow Imbalance): أي الإشارات تتنبأ بتحركات العملات الرقمية/الأسهم خلال 1 إلى 5 دقائق القادمة؟

اختلال تدفق الأوامر وما يتصل به من ميزات هي مرشحات جذابة لميزات الأسعار قصيرة الأفق لأن عدة دراسات مستقلة، عبر فئات أصول مختلفة وفترات زمنية مختلفة، تُبلغ عن علاقة بين الاختلال في دفتر الأوامر المحدودة (limit order book) واتجاه أو حجم حركة السعر التالية [2][4][6]. يذكر مصدر ثانوي أن Cont وزملاءه يجدون اعتماداً خطياً بسيطاً بين تغيرات السعر ومؤشر يقيس الاختلالات بين تدفق الأوامر على جانبي الشراء والبيع في LOB [3]، وهو ما يتسق مع هذه النتائج الأولية لكنه ليس بحد ذاته نتيجة أولية. تجمع هذه المذكرة ما تم قياسه فعلاً بشأن هذه الميزات، وتوضح بدقة أين تتوقف الأدلة، وتقدم خطة بناء ملموسة.

المخاطر العملية هي أن اتجاه منتصف السعر خلال الأحداث القليلة القادمة في دفتر الأوامر غالباً ما يكون هدفاً مبسّطاً أكثر من اللازم: تنص الفقرة 644 مباشرة على أن التنبؤ بتغير اتجاه منتصف السعر خلال الأحداث القليلة القادمة مبسّط أكثر من اللازم وغير مناسب لاستراتيجية تداول عملية [1]. هذا تحذير من أبسط تصميم ممكن للتسمية (label)؛ ولا يحدد بحد ذاته ما ينبغي أن يحل محل هذا التصميم (الحجم، وقت الانتظار، أو تصميم متعدد الآفاق)، لذا فإن أي تحول نحو هدف مختلف هو استنتاجنا الخاص، وليس شيئاً تنص عليه المطالبة، ويُستخدم هذا الاستنتاج لاحقاً في خطوات البناء عندما نوصي بالإبلاغ عن وقت الانتظار وحركة السعر المُطبّعة كدوال لميزة الاختلال.

أخيراً، يمتد السؤال ليشمل العملات الرقمية والأسهم، والدراسات المُستشهد بها مقسمة حسب فئة الأصل: دراسات اختلال LOB والقفزة السعرية على الأسهم الصينية [1]، وديناميكيات طوابير دفتر الأوامر المحدودة العامة [2][3]، وأسهم CAC40 الفرنسية [4]، وأسهم Nasdaq [6]، بينما يدمج نظام منفصل تدفقات بيانات العملات الرقمية (BTC) للاستدلال الحي [5].

يُعرَّف اختلال العرض والطلب في أعلى الدفتر بدقة في إحدى الأوراق المُستشهد بها: I=(qb-qa)/(qb+qa)، حيث qb وqa هما كميتا العرض والطلب المنشورتان في أعلى الدفتر [2, الفقرة 649]. يشير الاختلال الموجب إلى دفتر أوامر أثقل من جانب العرض (bid)، ويشير الاختلال السالب إلى دفتر أثقل من جانب الطلب (ask) [2, الفقرة 649]. هذه هي أبسط وأرخص نسخة من الميزة: عملية طرح واحدة، وجمع واحد، وقسمة واحدة، تُحسب من لقطة واحدة من LOB.

يُعمِّم اختلال تدفق الأوامر متعدد المستويات (Multi-Level Order-Flow Imbalance)، أو MLOFI، هذه الفكرة. يُوصف MLOFI بأنه كمية متجهة تقيس صافي تدفق أوامر الشراء والبيع عند مستويات سعرية مختلفة في دفتر أوامر محدودة [6]. على عكس الاختلال أحادي المستوى I، فإن MLOFI متجه، لذا يحمل معلومات من عدة مستويات عمق في آن واحد بدلاً من ضغط كل شيء في نسبة واحدة عند أفضل عرض وطلب.

تُشكِّل ميزات تدفق التداول والسيولة عائلة ثالثة. تُعرّف إحدى الأوراق القفزة السعرية بدقة على أنها وصول أمر سوق بيع (شراء) يُنفَّذ بسعر أصغر (أكبر) من سعر أفضل عرض (أفضل طلب) مباشرة بعد وصول أمر السوق السابق [4, الفقرة 661]. تستخرج نفس الورقة ميزات من أحجام الأوامر المحدودة، وفجوات أسعار الأوامر المحدودة، ومعلومات أوامر السوق، ومعلومات أحداث الأوامر المحدودة [4, الفقرة 661]، وهي مجموعة ميزات أوسع من الاختلال وحده: تشمل إشارة التداول وحجمه، وليس فقط السيولة القائمة. تنص الفقرة 661 بشكل منفصل على أن توازن السيولة عند أفضل عرض وأفضل طلب معلوماتي جداً في التنبؤ باتجاه أمر السوق المستقبلي [4]، وهو هدف تنبؤ مختلف عن القفزة السعرية نفسها.

يعالج خط عمل منفصل دفتر الأوامر المحدودة وعملية التداول كنظام عشوائي مشترك بدلاً من لقطة ثابتة. تدرس إحدى الأوراق احتمال تحركات السعر ووصول الصفقات كدالة لاختلال العرض عند أعلى دفتر الأوامر المحدودة، وتقترح نموذجاً عشوائياً لالتقاط الديناميكيات المشتركة لطوابير أعلى الدفتر وعملية التداول [2, الفقرة 647]. بشكل منفصل، تذكر الفقرة 653، كسرد ثانوي لنتيجة Cont وزملائه وليس كنتيجة أولية خاصة بها، أن Cont وزملاءه يجدون اعتماداً خطياً بسيطاً بين تغيرات السعر ومؤشر يقيس الاختلالات بين تدفق الأوامر على جانبي الشراء والبيع في LOB [3, الفقرة 653]، وهو ما يتسق روحياً مع نهج قائم على الاختلال، رغم أنها دراسة منفصلة وليست معياراً مشتركاً مقابل الأخريات.

تُعبَّر الآلية المُبلَّغ عنها لاختلال أعلى الدفتر من خلال كميتين: متوسط حركة منتصف السعر مُطبّعاً بفارق العرض والطلب (bid-ask spread)، ووقت الانتظار حتى حركة منتصف السعر التالية، وكلاهما دُرس كدالة لاختلال الدفتر [2, الفقرة 646]. هذا يمنح البنّاء مخرجين لاستهدافهما، وليس واحداً: مقدار (الحركة المُطبّعة) وتوقيت (وقت الانتظار)، وكلاهما مفهرس بنفس مدخل الاختلال.

بالنسبة لأمر موضوع على جانب العرض، فإن وقت التوقف ذا الصلة هو زمن أول وصول لصفقة بيع، وبالنسبة لأمر موضوع على جانب الطلب، فهو زمن أول وصول لصفقة شراء [2, الفقرة 651]. هذا تعريف دقيق ومدفوع بالأحداث، مفيد لمن يريد إعادة إنتاج حساب وقت الانتظار بدلاً من تقريبه بزمن ساعة ثابت.

حجم التأثير محدود. في الحالة المعروضة، يمكن أن تصل حركة السعر المتوسطة إلى ثلث الفارق في دفتر شديد الاختلال [2, الفقرة 646]، وبشكل أعم فإن تغير السعر حتى الجزء (tick) التالي يُقرَّب جيداً بدالة خطية للاختلال، ويكون عادةً أقل بكثير من فارق العرض والطلب، حتى في دفاتر الأوامر شديدة الاختلال [2, الفقرة 650]. اختلال الدفتر المرتفع هو، في المتوسط، مؤشر جيد للتنبؤ بحركات منتصف السعر [2, الفقرة 650]، والدفاتر شديدة الاختلال تدل على أن حركة السعر من المرجح أن تأتي خلال وقت قصير نسبياً [2, الفقرة 650]. لكن نفس الورقة صريحة في أن هذا لا يُترجم بحد ذاته إلى ميزة تداولية: على الرغم من أن اختلال الدفتر قد يُستخدم كمؤشر للحركة السعرية التالية، فإنه لا يوفر بحد ذاته فرصة لمراجحة إحصائية مباشرة [2, الفقرة 650]. هذا تحذير مهم لمن يميل إلى تداول الإشارة الخام مباشرة.

يكمن وراء كل هذا بيان بشأن البيانات: تُظهر البيانات الطبيعة غير المارتينغالية (non-martingale) للأسعار على المقاييس الزمنية القصيرة المدروسة [2, الفقرة 646]. هذا هو الأساس التجريبي لتوقع أي قابلية للتنبؤ قصير الأفق في هذا الخط من العمل على الإطلاق؛ إنها خاصية للبيانات المدروسة، وليست قانوناً عاماً، وتأتي من هذه الدراسة تحديداً.

تبني دراسة القفزة السعرية على CAC40 مجموعة ميزات أوسع من الاختلال وحده. تستخرج ميزات من أحجام الأوامر المحدودة، وفجوات أسعار الأوامر المحدودة، ومعلومات أوامر السوق، ومعلومات أحداث الأوامر المحدودة [4, الفقرة 661]، وتطبق انحداراً لوجستياً للتنبؤ بالقفزة السعرية من ميزات دفتر الأوامر المحدودة [4, الفقرة 661]. لمعالجة عدد الميزات المرشحة، تُدخِل انحداراً لوجستياً بطريقة LASSO لأداء اختيار المتغيرات وإبراز أهمية الميزات المختلفة في التنبؤ بالقفزة السعرية المستقبلية [4, الفقرة 661]. يعطي LASSO ترتيباً قابلاً للتفسير: أي الميزات تبقى بعد الانكماش (shrinkage) وأيها لا يبقى.

نتيجة اختيار المتغيرات ذاك، بناءً على أربعين من أكبر الأسهم الفرنسية في CAC40، هي أن إشارة التداول وحجم أمر السوق بالإضافة إلى السيولة عند أفضل عرض وأفضل طلب معلوماتية باستمرار في التنبؤ بالقفزة السعرية القادمة [4, الفقرة 661]. هذه إجابة مباشرة ومحددة عن أي الميزات هي الأهم في ذلك الإعداد الخاص بالأسهم: إشارة التداول، وحجم أمر السوق، وسيولة أعلى الدفتر، والتي أُبقيَ عليها عبر انكماش LASSO بدلاً من اختيارها يدوياً [4, الفقرة 661].

تظهر عدة أرقام ملموسة عبر هذه الأوراق، كل منها مرتبط بمعياره الخاص وفئة أصوله. يغطي معيار السوق الصيني لدفتر الأوامر المحدودة بضعة آلاف من الأسهم من يونيو إلى سبتمبر 2020 [1]، ويتنبأ بروتوكوله بتغير السعر المتوسط المرجّح بالحجم (volume-weighted average price) القادم والحجم في نهاية كل ثانية عبر 12 أفقاً زمنياً يتراوح من ثانية واحدة إلى 300 ثانية [1]. ضمن هذا البروتوكول، تُقارَن النتائج المبنية على نموذج انحدار خطي ونماذج تعلّم عميق [1]، وتقترح نفس الورقة مجموعة ميزات أكثر فعالية عملياً لالتقاط كل من لقطات LOB والبيانات الدورية [1]. هذه هي مجموعة المطالبات الوحيدة هنا التي تقارن مباشرة نموذجاً خطياً بنماذج تعلّم عميق على معيار محدد [1]؛ تُثبت المقارنة أن عائلتي النماذج اختُبرتا وجهاً لوجه، لكن المطالبات لا تحدد أيهما حقق أداءً أفضل، لذا لا يمكن للقارئ أن يعرف من هذا الدليل ما إذا كان النموذج الخطي أو التعلم العميق هو الفائز.

بالنسبة لـMLOFI، النتيجة المقاسة هي مقارنة جودة المطابقة عبر مستويات العمق، وليس عبر عائلات الميزات. باستخدام بيانات 6 أسهم عالية السيولة في Nasdaq، تُلائم الورقة علاقة خطية بين MLOFI والتغير المتزامن في منتصف السعر [6]، وبالنسبة لجميع الأسهم الستة المدروسة، تتحسن جودة المطابقة خارج العينة مع كل مستوى سعري إضافي يُدرج في متجه MLOFI [6]. هذه مقارنة داخل الميزة نفسها (المستوى 1 مقابل المستوى 2 مقابل مستويات أعمق من نفس بناء MLOFI)، وليست مقارنة بين MLOFI وتدفق التداول أو الاختلال أحادي المستوى I.

الشروط الكامنة وراء نتيجة CAC40 محددة، ووردت مرة واحدة، في قسم ملاحظات التنفيذ أدناه: نافذة مجموعة البيانات، والتسجيل بالميلي ثانية، وعمق الرؤية الخمسة مستويات، والاقتصار على الفترة من 09h05 إلى 17h25، ومجموعتا البيانات الصباحية والمسائية المنفصلتان [4].

بالنسبة لدراسة اختلال أعلى الدفتر، الكميات المقاسة هي متوسط حركة السعر المُطبّع ووقت الانتظار كدوال لـI، والرقم المحدد الوحيد المُبلَّغ عنه هو أن متوسط حركة السعر يمكن أن يصل إلى ثلث الفارق في دفتر شديد الاختلال [2, الفقرة 646]. لا يوجد رقم للدقة (accuracy) أو الضبط (precision) أو R-squared مرتبط بهذه المطالبة في المصدر؛ إنها بيان مقدار عن حركات السعر، وليست إحصائية تقييم نموذج. مجتمعةً، تجيب الأدلة المقاسة عن أسئلة أضيق من السؤال المطروح هنا: كم عدد مستويات العمق التي يجب إدراجها في متجه MLOFI [6]، وأي الميزات تنجو من اختيار LASSO على أسهم CAC40 [4]، وما مدى كبر حركة السعر التالية نسبة إلى الفارق [2, الفقرة 646]، وكيف يقارن نموذج خطي بنماذج تعلّم عميق على معيار صيني بمقياس الثانية [1].

يحتاج البنّاء الذي يعيد إنتاج أياً من عائلات الميزات هذه إلى معرفة البيانات الدقيقة التي استخدمتها كل دراسة، لأن تردد أخذ العينات والعمق يختلفان بشكل حاد. تستخدم دراسة القفزة السعرية على CAC40 مجموعة بيانات تضم صفقات وأنشطة أوامر محدودة لأسهم CAC40 الأربعين الأعضاء بين 1 أبريل 2011 و30 أبريل 2011 [4]، مع تسجيل كل معاملة وكل تعديل لدفتر الأوامر المحدودة بالميلي ثانية [4]. تستخدم عمق رؤية خمسة مستويات، بحيث L=5 [4]، ولتجنب ساعات الافتتاح والإغلاق، تُقيَّد البيانات على الفترة من 09h05 إلى 17h25 [4]. كما تُهمل صراحةً أوامر الإيقاف (stop orders) وأوامر الجبل الجليدي (iceberg orders) لأنها نادرة نسبياً مقارنة بأحداث الأوامر المحدودة وأوامر السوق [4]، ولإزالة الموسمية داخل اليوم، يُبنى التحليل على مجموعتي بيانات صباحية ومسائية منفصلتين [4]. كل من هذه قرار معالجة أولية ملموس ينبغي على البنّاء نسخه أو الانحراف عنه بوعي.

يمتد معيار السوق الصيني على بضعة آلاف من الأسهم خلال يونيو إلى سبتمبر 2020 [1]، بتسميات بمقياس الثانية عبر 12 أفقاً زمنياً من 1 إلى 300 ثانية [1]. هذه دقة زمنية أخشن بكثير من تعديلات LOB بمقياس الميلي ثانية، لذا فهي تناسب هندسة ميزات بمقياس الثانية أكثر من مقياس الجزء (tick).

تعمل دراسة MLOFI على Nasdaq انطلاقاً من 6 أسهم عالية السيولة [6]، وهي عينة صغيرة ومنتقاة يدوياً اختيرت بسبب السيولة، وليست عالماً واسعاً. البنّاء الذي يعمم MLOFI إلى عالم جديد من الأصول ينبغي أن يعامل التحسن المُبلَّغ عنه في المطابقة خارج العينة مع كل مستوى سعري مُضاف [6] كفرضية يُعاد اختبارها على بياناته الخاصة، وليس كخاصية مُثبتة بالفعل خارج نطاق تلك الأسهم الستة.

يُوصف في المصادر نظام حديث واحد بُني صراحة للنشر في الوقت الفعلي بدلاً من الدراسة غير المتصلة، وهو مرجع معماري مفيد رغم أنه لم يُختبر هنا مقابل ميزات الاختلال أعلاه. يدمج النظام مجموعات بيانات تاريخية (FI-2010، LOBSTER، BTC) مع تغذيات سوق حية قائمة على WebSocket، ومحرك معالجة أولية معياري (modular)، وعدة معماريات تعلّم عميق للتنبؤ بدفتر الأوامر المحدودة في الوقت الفعلي [5]. تُطبِّع معالجته الأولية لقطات دفتر الأوامر الواردة باستخدام Z-score وBatch-Instance Normalization (BiN) [5]، وتستخرج ميزات سعرية وحجمية متعددة المستويات وتولّد تسميات حركة متعددة الآفاق [5]، وهو ما يتسق مفاهيمياً مع التصاميم متعددة المستويات ومتعددة الآفاق المستخدمة في أدبيات الاختلال أعلاه، رغم كونه ورقة هندسية منفصلة، وليس دراسة مقارنة للميزات.

النماذج المُسمّاة هي MLPLOB، وTLOB، وDeepLOB، وBinCTABL، مُدرَّبة على بيانات مُعالجة مسبقاً ومُقدَّمة عبر خلفية FastAPI [5]. للاستدلال الحي، تبث واجهة أمامية بيانات بورصة في الوقت الفعلي مثل Binance عبر WebSockets، وتُعالج الخلفية هذه البيانات لإنتاج تنبؤات فورية [5]. ولأن هذا الأنبوب (pipeline) يتعامل مع بيانات العملات الرقمية (BTC) مباشرة، فهو الجزء الوحيد من قاعدة الأدلة هذه الذي يلامس الاستدلال الإنتاجي على العملات الرقمية، رغم أنه لا يُبلغ عن مقارنة عائلات الميزات بين OFI مقابل اختلال العمق مقابل تدفق التداول على تلك البيانات.

بشكل مفيد للبنّاء الذي يريد مقارنة مجموعات الميزات أو عائلات النماذج بأمانة، يسمح النظام بتحميل عدة نماذج في وقت واحد لكن تُعاد تنبؤاتها بشكل مستقل لتمكين مقارنة شفافة [5]. هذا التصميم، تشغيل عدة نماذج جنباً إلى جنب والإبلاغ عن كل مخرَج بشكل منفصل بدلاً من متوسط تجميعي (ensemble)، هو بالضبط النمط اللازم لتشغيل مقارنة walk-forward عادلة بين مجموعات الميزات القائمة على OFI، وMLOFI، وتدفق التداول دون أن يُخفي أحدها نمط خطأ الآخر.

لا شيء من هذا مبني على تشغيل CPU فقط بحكم البنية: بحسب قراءتنا الخاصة، وليس كمطالبة مصدرية، فإن DeepLOB وTLOB والمعماريات المشابهة هي عادةً شبكات تعلّم عميق تُدرَّب على GPU. بالنسبة لهدف إنتاجي يعتمد على CPU فقط مثل sam، من الأفضل قراءة هذا النظام كنمط معماري (نماذج متعددة، تقديم مستقل، تلقّي حي عبر WebSocket) لتقليده باستخدام نماذج خطية أو لوجستية رخيصة بدلاً من الشبكات العميقة، وليس كنظام يُنشر دون تعديل.

كما ذُكر في الإجابة المباشرة أعلاه، لا تحتوي قاعدة الأدلة هذه على اختبار وجهاً لوجه بين OFI واختلال العمق متعدد المستويات ومجموعات ميزات تدفق التداول على نفس البيانات ضمن تحقق متقاطع من نوع walk-forward مُنقّى ومحاط بعزل، ولا يُجرى أي منها بشكل مشترك عبر ثلاث بورصات عملات رقمية مُسمّاة والأسهم. تقارن دراسة السوق الصيني الانحدار الخطي بنماذج التعلّم العميق على أهداف السعر والحجم المرجّحين بالحجم بمقياس الثانية [1]، لكنها لا تعزل OFI مقابل اختلال العمق مقابل تدفق التداول كمدخلات منفصلة. تُبلغ دراسة MLOFI عن تحسن المطابقة مع العمق على 6 أسهم في Nasdaq [6]، لكنها لا تقارن MLOFI بميزات تدفق التداول. تختار دراسة CAC40 إشارة التداول، وحجم الأمر، وسيولة أعلى الدفتر كمعلوماتية باستمرار [4]، لكن هذه نتيجة اختيار متغيرات داخل النموذج، وليست مقارنة معتمدة على تحقق متقاطع خارج العينة مقابل نموذج اختلال عمق مُعرَّف بشكل منفصل. تُثبت دراسة اختلال أعلى الدفتر علاقة تنبؤية وتحذر صراحة من أنها ليست فرصة مراجحة قائمة بذاتها [2]، وهو تحذير قوي ضد المبالغة في بيع أي استراتيجية قائمة على الاختلال وحده.

الحد الثاني هو تغطية فئة الأصول. جميع دراسات الاختلال وMLOFI والقفزة السعرية هي على الأسهم (الأسهم الصينية [1]، أسهم Nasdaq [6]، أسهم CAC40 [4])؛ النظام الوحيد الذي يلامس العملات الرقمية هنا هو معمارية النشر الحي [5]، التي لا تُبلغ عن مقارنة ميزات. لذا فإن تطبيق ترتيبات الميزات المستمدة من الأسهم على دفاتر أوامر العملات الرقمية، عبر ثلاث بورصات، هو استقراء لا تدعمه الأدلة؛ يجب اختباره، لا افتراضه.

الحد الثالث هو أن أياً من المطالبات المُستشهد بها لا يذكر تحقق walk-forward المُنقّى والمحاط بعزل كبروتوكول تقييمه. يستخدم المعيار الصيني بنية أفق زمني محددة [1]، وتستخدم دراسة CAC40 بيانات مقسمة صباحاً/مساءً [4]، وتُبلغ أوراق الاختلال عن علاقات متوسطة على مستوى الجمهور دون بروتوكول تقسيم تدريب/اختبار محدد على الإطلاق [2][3]. البنّاء الذي يحتاج إلى تحقق walk-forward مُنقّى ومحاط بعزل لنموذج إنتاجي يجب أن يفرض هذا البروتوكول بنفسه؛ فهو غير موجود مسبقاً في أي طريقة مُستشهد بها.

أخيراً، تحذير تصميم التسمية الذي نُوقش في المقدمة يأتي من دراسة واحدة فقط [1]. بناءً على ذلك، الاستجابة العملية هي بناء أنبوب الميزات الموصوف هنا، لكن تقييمه بالبروتوكول الأكثر صرامة الذي يتطلبه السؤال، على بيانات العملات الرقمية والأسهم الخاصة بالبنّاء، قبل استخلاص أي استنتاج مقارن.

خطوات بناء مستندة إلى المطالبات (كل منها مستندة إلى فقرة مُستشهد بها):

1. استوعب لقطات LOB أولاً. كل خطوة أدناه تتطلب تغذية عاملة للقطات دفتر الأوامر المحدودة، لأن الميزات المُعرَّفة في المطالبات المُستشهد بها تعمل على كميات أعلى الدفتر ومتعددة المستويات، وليس على أشرطة OHLCV وحدها.
2. اجمع لقطات LOB لكل سلسلة بورصة أو أسهم مستهدفة. احتفظ بعدة مستويات عمق لكل لقطة؛ للمرجعية، استخدمت دراسة CAC40 عمق رؤية خمسة مستويات، بحيث L=5 [4]، وتحسنت المطابقة خارج العينة مع كل مستوى سعري إضافي يُدرج في متجه MLOFI على أسهم Nasdaq الستة المدروسة [6].
3. احسب الاختلال أحادي المستوى I=(qb-qa)/(qb+qa) من كمية أفضل عرض qb وكمية أفضل طلب qa، متبعاً تعريف تلك الصيغة على الكميات المنشورة في أعلى الدفتر [2]. خزّن إشارتها (الموجب يعني أثقل من جانب العرض، والسالب يعني أثقل من جانب الطلب) [2] كميزة أساسية.
4. ابنِ متجه MLOFI بتوسيع فكرة الاختلال إلى صافي تدفق الأوامر عند مستويات سعرية متعددة بدلاً من نسبة لقطة أحادية المستوى، متبعاً تعريف MLOFI كمية متجهة تقيس صافي تدفق أوامر الشراء والبيع عند مستويات سعرية مختلفة [6]. احتفظ بأكبر عدد ممكن من المستويات يسمح به عمق لقطة LOB لديك، إذ تحسنت المطابقة مع كل مستوى مُضاف في دراسة الأسهم المُستشهد بها [6].
5. ابنِ مجموعة ميزات تدفق التداول بشكل منفصل: أحجام الأوامر المحدودة، وفجوات أسعار الأوامر المحدودة، ومعلومات أوامر السوق، ومعلومات أحداث الأوامر المحدودة [4]، بما في ذلك إشارة التداول وحجم أمر السوق [4] والسيولة عند أفضل عرض وأفضل طلب [4]. استبعد أوامر الإيقاف وأوامر الجبل الجليدي من بناء هذه الميزة إن كانت نادرة في بياناتك، متبعاً منطق دراسة CAC40 [4].
6. إذا أردت تسمية اتجاهية (قفزة/لا قفزة)، عرّفها بالضبط كما فعلت دراسة CAC40: وصول أمر سوق بيع (شراء) يُنفَّذ بسعر أصغر (أكبر) من سعر أفضل عرض (أفضل طلب) مباشرة بعد وصول أمر السوق السابق [4].
7. قسّم البيانات داخل اليوم حسب نصف الجلسة (صباحاً/مساءً أو ما يعادلها) للسيطرة على الموسمية داخل اليوم قبل المطابقة، كما فُعل في دراسة CAC40 [4]، وقيّد الابتعاد عن ساعات الافتتاح/الإغلاق إذا كانت بورصتك تعاني من تأثيرات حافة مماثلة، متبعاً منطق نفس الورقة في التقييد بـ09h05-17h25 [4].
8. لائم نموذجين أساسيين لكل عائلة ميزات: انحدار خطي لهدف مقدار (متبعاً النموذج الخطي المستخدم كأساس واحد في مقارنة المعيار الصيني [1] والمطابقة الخطية المستخدمة لـMLOFI مقابل تغير منتصف السعر [6]) وانحدار لوجستي، اختيارياً مع اختيار متغيرات LASSO، لهدف اتجاهي/قفزة (متبعاً منهجية دراسة CAC40 [4]).
9. قيّم مكوّن وقت الانتظار باستخدام تعريف وقت التوقف المُعطى في دراسة الاختلال: بالنسبة لأمر عند العرض، أول وصول لصفقة بيع؛ وبالنسبة لأمر عند الطلب، أول وصول لصفقة شراء [2]. أبلغ عن وقت الانتظار وحركة السعر المُطبّعة كدوال لميزة الاختلال (هذه الخطوة مبنية على استنتاجنا الخاص من تحذير تصميم التسمية [1]، وليست تعليمات مباشرة من تلك المطالبة)، محاكياً النتيجة المُبلَّغ عنها بأن الدفتر شديد الاختلال يدل على أن حركة السعر من المرجح أن تأتي قريباً [2].
10. لا تعامل رقم المطابقة التنبؤية على أنه استراتيجية: تنص الأدلة المصدرية صراحة على أن اختلال الدفتر، حتى عندما يكون تنبؤياً، لا يوفر بحد ذاته فرصة لمراجحة إحصائية مباشرة [2].

استنتاج المؤلف الخاص، غير منصوص عليه من أي مطالبة مُستشهد بها: الفقرة التي تنتقد تسميات اتجاه منتصف السعر أحادية الجزء (single-tick) [1] تنص على أن هذه التسمية مبسّطة أكثر من اللازم لاستراتيجية تداول عملية، لكنها لا تصف بديلاً. بناءً على استدلالنا الخاص، قد يفكر البنّاء بدلاً من ذلك في تسمية بأفق 1 إلى 5 دقائق، أو التصميم ثنائي المخرَج الذي يحاكي ما قِيس لاختلال أعلى الدفتر (متوسط حركة سعر مُطبّع، ووقت انتظار حتى حركة منتصف السعر التالية) [2]، بدلاً من الافتراضي وهو تسمية اتجاه أحادية الجزء. هذه التوصية هي توصيتنا، وليست توصية المطالبة.

مقارنة عائلات الميزات ببعضها البعض (الاختلال مقابل MLOFI مقابل تدفق التداول، على نفس البيانات، ضمن بروتوكول walk-forward مُنقّى ومحاط بعزل) ليست شيئاً تفعله أي مطالبة مُستشهد بها بالفعل؛ انظر الإجابة المباشرة أعلاه لهذا التحذير، المذكور مرة واحدة.

ملحق: كود توضيحي لبنية عمل (harness)، بناء المؤلف الخاص، غير مستند إلى أي مطالبة مُستشهد بها. لا شيء من الهندسة الملموسة أدناه (خطوة StandardScaler، مقسّم walk-forward المُنقّى/المحاط بعزل، تهيئة LASSO اللوجستي، بناء نطاقات الكميّات) محدد من قبل أي مطالبة في هذه المذكرة؛ توفر المطالبات فقط تعريفات الميزات وعائلات النماذج، وليس هذا التطبيق. أُدرج هذا كبنية عمل توضيحية (harness) للأنبوب.

وهو أيضاً ليس تطبيقاً لخطوات البناء أعلاه. تعمل الطرق المُستشهد بها هنا على لقطات دفتر الأوامر المحدودة: الاختلال أحادي المستوى I=(qb-qa)/(qb+qa) مُعرَّف على كميات العرض والطلب المنشورة في أعلى الدفتر [2, الفقرة 649]، وMLOFI مُعرَّف على صافي تدفق الأوامر عند عدة مستويات عمق [6]. يحتوي جدولنا bars فقط على بيانات OHLCV ولا يحتوي على جدول LOB، لذا فإن الميزات أدناه هي بدائل مبنية على OHLCV فقط تشترك في شكل تلك الميزات ولكن ليس في مدخلاتها. بسبب ذلك، تتطلب خطوات البناء في القسم أعلاه خطوة استيعاب لقطات LOB منفصلة قبل كتابة كود ميزات مستند إلى المطالبات؛ يمارس سكريبت هذا الملحق الآليات المحيطة (تجميع الميزات، مطابقات منفصلة لكل عائلة: اختلال فقط، MLOFI فقط، تدفق تداول فقط، ومجموعة مشتركة، تقييم walk-forward، كتابة التنبؤات) بحيث تكون بنية العمل جاهزة بمجرد إضافة قارئ LOB حقيقي.

لا يمكن تقديم تطبيق قابل للتنفيذ مستند إلى المطالبات المُستشهد بها من المطالبات والبيانات المُعطاة. تتطلب الطرق الموصوفة في هذه المذكرة لقطات دفتر أوامر محدودة كمدخل: الاختلال أحادي المستوى I=(qb-qa)/(qb+qa) مُعرَّف على كميات العرض والطلب المنشورة في أعلى الدفتر [2, الفقرة 649]، وMLOFI كمية متجهة على صافي تدفق الأوامر عند مستويات سعرية مختلفة في الدفتر [6]، وتُستخرج ميزات تدفق التداول من أحجام الأوامر المحدودة، وفجوات أسعار الأوامر المحدودة، ومعلومات أوامر السوق، ومعلومات أحداث الأوامر المحدودة [4, الفقرة 661]. الجداول المتاحة لتنفيذ الكود (bars، forecasts، trades، book) لا تُثبت أن لقطات دفتر الأوامر المحدودة بالشكل الذي تتطلبه هذه المطالبات موجودة: bars هو جدول OHLCV، وأي بديل مشتق من OHLCV لاختلال أو MLOFI أو تدفق التداول لن يكون اختباراً للمطالبات المُستشهد بها، بل مجرد محاكاة لشكلها على بيانات مدخل مختلفة وغير موثّقة. بدلاً من تقديم كود يبدو وكأنه يطبق الطرق المُستشهد بها بينما يعمل فعلياً على بيانات مختلفة وغير موثّقة، ينص هذا القسم بوضوح على أنه لا يمكن بناء مثل هذا التطبيق دون التأكد أولاً من أن جدول book (أو مصدر لقطة LOB مكافئ) يحتوي على كميات العرض/الطلب عند أعلى الدفتر ومتعددة المستويات كما تُعرّفها المطالبات، بالإضافة إلى تحديد كيفية محاذاة تلك اللقطات زمنياً مع جدولي trades وbars. لا شيء من هذا مُثبت في المطالبات المُعطاة.

يقرأ السكريبت أشرطة (bars) دقيقة واحدة لجميع الرموز في قاعدة البيانات من bars(symbol, tf, ts, open, high, low, close, volume)، ويبني الميزات البديلة، ويُلائم انحداراً خطياً للتنبؤ بعائد الشريط التالي وانحداراً لوجستياً بعقوبة L1 للتنبؤ بإشارة الحركة التالية، ويُلائم ويقيّم كل عائلة ميزات بشكل منفصل (اختلال فقط، MLOFI فقط، تدفق تداول فقط) بالإضافة إلى المجموعة المشتركة تحت تقسيم walk-forward المُنقّى والمحاط بعزل الخاص بالمؤلف، ويكتب تنبؤات q10/q50/q90/p_up في جدول forecasts. الأفق الزمني هو معلمة يضبطها المستخدم في أعلى main() (HORIZON)، في أي مكان ضمن نافذة 1 إلى 5 دقائق؛ لا تختار أي مطالبة مُستشهد بها قيمة محددة داخل تلك النافذة، لذا فالاختيار متروك للمُستدعي. كل صف تنبؤ مختوم بـmade_atالذي يسجّل الطابع الزمني للشريط الذي صدر منه التنبؤ (حقل ts الخاص بالشريط نفسه)، وليس الوقت الفعلي (wall-clock) الذي نُفِّذ فيه السكريبت؛ هذا يسمح لجدول التنبؤات بربط كل تنبؤ بلقطة السوق الدقيقة التي وُلِّد منها. المعيار الذي يجب التفوق عليه هو نموذج استمرارية ساذج (predict zero return, predict p_up=0.5)؛ والرقم الذي يجب التحقق منه هو R-squared خارج العينة للنموذج الخطي والدقة (accuracy) خارج العينة للنموذج اللوجستي، وكلاهما مقابل ذلك المعيار الساذج.

""" Illustrative harness: OFI-style feature pipeline and CPU-only baselines on OHLCV bars.
This script is the author's own construction. No cited claim specifies the
scaling, cross-validation splitter, solver settings or quantile band used here.
Runs fully offline (no network). Python 3.12, numpy, pandas, scikit-learn, sqlite3.

The script expects bars(symbol, tf, ts, open, high, low, close, volume) and
forecasts(symbol, horizon, made_at, q10, q50, q90, p_up) tables to exist in
data.sqlite.

IMPORTANT: this schema has no limit-order-book snapshot table, so this script
CANNOT test the cited claims. The single-level imbalance I = (qb - qa)/(qb + qa)
[2, passage 649] and MLOFI over depth levels [6] both require book-level
quantities we do not have here. The "imbalance", "MLOFI" and "trade-flow"
features below are OHLCV-only proxies that reproduce the *shape* of those
feature families, not their inputs:
  - single-level imbalance proxy, shaped after I = (qb - qa) / (qb + qa)   [2, passage 649]
  - MLOFI proxy, a vector over pseudo-levels, shaped after MLOFI          [6]
  - trade-flow / signed volume proxy, shaped after the CAC40 feature set  [4]
A real LOB-snapshot ingestion step must be added before the build steps in
"How to build it" can be implemented against this harness.
"""

import sqlite3
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression, LogisticRegression
from sklearn.preprocessing import StandardScaler

DB_PATH = "data.sqlite"

# User-set parameters. HORIZON is the forecast horizon in minutes; any value in
# the 1-to-5 minute window is valid and no cited claim prefers one over another,
# so the caller picks it. EMBARGO is our own cross-validation choice (see
# purged_embargo_walk_forward_splits).
HORIZON = 3
EMBARGO = 5


def list_symbols(conn, tf="1m"):
    # Returns every symbol that has bars at the given timeframe.
    q = "SELECT DISTINCT symbol FROM bars WHERE tf = ? ORDER BY symbol ASC"
    return [r[0] for r in conn.execute(q, (tf,)).fetchall()]


def load_bars(conn, symbol, tf="1m"):
    # Reads one symbol's bars, ordered by timestamp. Input: sqlite3 connection,
    # symbol string, timeframe string. Output: pandas DataFrame.
    q = """
        SELECT symbol, tf, ts, open, high, low, close, volume
        FROM bars WHERE symbol = ? AND tf = ? ORDER BY ts ASC
    """
    df = pd.read_sql_query(q, conn, params=(symbol, tf))
    return df


def build_single_level_imbalance_proxy(df):
    # Proxy only. The real feature is I = (qb - qa) / (qb + qa), defined over
    # top-of-book bid and ask quantities [2, passage 649], which this schema
    # does not store. We build a directional pressure proxy from the bar itself:
    # how close the close is to the high (buy pressure) versus the low (sell pressure).
    rng = (df["high"] - df["low"]).replace(0, np.nan)
    buy_pressure = (df["close"] - df["low"]) / rng
    sell_pressure = (df["high"] - df["close"]) / rng
    imbalance = (buy_pressure - sell_pressure).fillna(0.0)
    return imbalance


def build_mlofi_proxy(df, levels=(1, 2, 3, 5)):
    # Proxy only. Real MLOFI is a vector of net order flow across depth levels
    # of the book [6]. With OHLCV alone we build lagged/smoothed versions of the
    # single-level proxy so the model receives a vector of related signals,
    # matching the vector shape of MLOFI but not its book-level definition.
    base = build_single_level_imbalance_proxy(df)
    out = {}
    for lvl in levels:
        out[f"mlofi_l{lvl}"] = base.rolling(lvl, min_periods=1).mean()
    return pd.DataFrame(out)


def build_trade_flow_features(df):
    # Proxy for the trade-flow family found consistently informative on CAC40:
    # trade sign and market order size [4]. Signed volume: sign of the bar
    # return times the bar volume.
    ret = df["close"].pct_change().fillna(0.0)
    sign = np.sign(ret)
    signed_volume = sign * df["volume"]
    trade_intensity = df["volume"].rolling(5, min_periods=1).mean()
    return pd.DataFrame({
        "signed_volume": signed_volume,
        "trade_intensity": trade_intensity,
    })


def build_feature_matrix(df, horizon):
    # Assembles the full feature set and the two targets:
    #   y_ret: forward return over `horizon` bars (regression target)
    #   y_dir: sign of forward return (classification target)
    # `horizon` is explicit (no default) so the 1-to-5 minute target range is
    # always a deliberate choice at the call site.
    imb = build_single_level_imbalance_proxy(df).rename("imbalance")
    mlofi = build_mlofi_proxy(df)
    tf = build_trade_flow_features(df)
    feats = pd.concat([imb, mlofi, tf], axis=1)

    fwd_close = df["close"].shift(-horizon)
    y_ret = (fwd_close / df["close"] - 1.0)
    y_dir = (y_ret > 0).astype(int)

    data = pd.concat(
        [df["ts"], feats, y_ret.rename("y_ret"), y_dir.rename("y_dir")], axis=1
    )
    # Drop rows with missing target labels (forward returns that fall off the
    # end of the series). This determines which rows are used for training.
    data = data.dropna().reset_index(drop=True)
    return data


def feature_families(feature_cols):
    # Splits the combined feature set into the three families the note compares,
    # so each can be fitted and scored on its own as well as together.
    imbalance = [c for c in feature_cols if c == "imbalance"]
    mlofi = [c for c in feature_cols if c.startswith("mlofi_")]
    trade = [c for c in feature_cols if c in ("signed_volume", "trade_intensity")]
    return {
        "imbalance-only": imbalance,
        "mlofi-only": mlofi,
        "trade-flow-only": trade,
        "combined": list(feature_cols),
    }


def purged_embargo_walk_forward_splits(n, n_splits=5, horizon=HORIZON, embargo=EMBARGO):
    # Author's own purged, embargoed walk-forward split. Expanding train window,
    # a test block after it, and purging of rows within `horizon` bars of the
    # test start (because forward-looking labels from those rows overlap with
    # the test set), plus an embargo gap between the purge cutoff and test start
    # to simulate real-time deployment latency. This splitter removes all training
    # rows within `horizon` bars of the test period, implementing true purging
    # as well as an embargo; the horizon and embargo values are our own choice.
    fold_size = n // (n_splits + 1)
    splits = []
    for i in range(1, n_splits + 1):
        test_start = fold_size * (i + 1)
        test_end = min(test_start + fold_size, n)
        if test_start >= test_end:
            continue
        # Purge: remove training rows within `horizon` of test_start (their labels
        # reach into the test period). Embargo: add a further gap of `embargo` bars.
        purge_cutoff = test_start - horizon - embargo
        if purge_cutoff  0 else 0.0
    acc_naive = max(y_dir_test.mean(), 1 - y_dir_test.mean())
    return r2_naive, acc_naive


def make_lasso_logistic():
    # L1-penalized (LASSO) logistic regression. Passage 661 states that LASSO
    # logistic regression is used for variable selection over LOB features [4],
    # but it does not specify the solver, l1_ratio or max_iter, so these
    # hyperparameters are our own choice.
    return LogisticRegression(penalty="l1", solver="saga", l1_ratio=1, max_iter=1000)


def fit_and_evaluate(data, feature_cols, horizon):
    # Two model choices, each mapped to a specific claim:
    #  - Linear regression on the return target mirrors the linear regression
    #    model that is compared against deep learning models on the Chinese
    #    stock market LOB benchmark [1], and the linear relationship
    #    fitted between MLOFI and the contemporaneous mid-price change on 6
    #    Nasdaq stocks [6].
    #  - LASSO logistic regression on the direction target mirrors the LASSO
    #    logistic regression used to predict price jumps and to perform
    #    variable selection over LOB features on CAC40 stocks [4]; the solver,
    #    l1_ratio and max_iter settings are our own choice, not stated in that claim.
    # StandardScaler normalization is our own choice; claim [5] mentions Z-score
    # and Batch-Instance Normalization for a different system, but StandardScaler
    # is neither of those and is explicitly flagged here as an author's addition.
    n = len(data)
    splits = purged_embargo_walk_forward_splits(n, n_splits=5, horizon=horizon, embargo=EMBARGO)

    lin_r2s, log_accs = [], []
    lin = log = scaler = None
    for train_idx, test_idx in splits:
        train = data.iloc[train_idx]
        test = data.iloc[test_idx]

        scaler = StandardScaler()  # author's own normalization choice
        X_train = scaler.fit_transform(train[feature_cols])
        X_test = scaler.transform(test[feature_cols])

        # Linear regression on forward return: the linear baseline compared
        # against deep learning models on the China benchmark [1], and the
        # linear MLOFI-vs-mid-price-change fit [6].
        lin = LinearRegression()
        lin.fit(X_train, train["y_ret"])
        pred_ret = lin.predict(X_test)
        ss_res = np.sum((test["y_ret"] - pred_ret) ** 2)
        ss_tot = np.sum((test["y_ret"] - test["y_ret"].mean()) ** 2)
        r2 = 1 - ss_res / ss_tot if ss_tot > 0 else 0.0
        lin_r2s.append(r2)

        # LASSO-style logistic regression on direction: the LASSO logistic
        # variable-selection method applied to price-jump prediction on
        # CAC40 limit order book features [4], with our own solver, l1_ratio
        # and max_iter settings.
        if train["y_dir"].nunique()  r2_naive)
    print(f"[{symbol}] model beats baseline on accuracy:", acc > acc_naive)

    write_forecasts(conn, symbol, horizon, lin, log, scaler, feature_cols, data)


def main():
    conn = sqlite3.connect(DB_PATH)
    horizon = HORIZON  # minutes ahead; user-set parameter, any value in the 1-to-5 minute window

    symbols = list_symbols(conn, tf="1m")
    if not symbols:
        print("No symbols with 1m bars found.")
        conn.close()
        return
    print("Symbols found:", symbols)

    for symbol in symbols:
        run_symbol(conn, symbol, horizon)

    conn.close()


if __name__ == "__main__":
    main()