مسرّع ترحيل SSIS إلى Databricks: كيف حصلت Emulus للتوصيل على بيانات الشحنات كل ساعة

Table of Contents
مسرّع ترحيل SSIS إلى Databricks: كيف حصلت Emulus للتوصيل على بيانات الشحنات كل ساعة
― 410 حزم SSIS، منها 85 حزمة بمهام سكربت C#، انتقلت بمساعدة مسرّع Pulse Convert إلى PySpark وخطوط Lakeflow ومهام Lakeflow خلال 12 أسبوعاً، فأصبحت مؤشرات التوصيل في الموعد تُحدّث كل ساعة بدلاً من مرة يومياً
نبذة عن العميل
تقدم وحدة التوصيل في Emulus خدمات توصيل الميل الأخير للمتاجر الإلكترونية في المملكة العربية السعودية، بأسطول يضم أكثر من 2,800 مندوب و14 مركز فرز، وتسلّم نحو 120 ألف شحنة يومياً.
التحدي
- 410 حزم SSIS تجمع بيانات الشحنات من نظام إدارة الشحن، وتطبيق المندوبين، وأنظمة المتاجر الشريكة.
- 85 حزمة تحتوي على مهام C# لقراءة ملفات المتاجر بتنسيقات مختلفة واستدعاء واجهات برمجية.
- تحميل يومي واحد، فلا يعرف مديرو المراكز نسب التوصيل في الموعد إلا في اليوم التالي.
- فريق علوم البيانات يبني نموذج تحسين المسارات على Databricks، ويحتاج إلى بيانات حديثة.
- ثلاثة خوادم SQL Server وSSIS بلا قدرة على التوسع في مواسم التخفيضات.
الحل ودور Pulse Convert
- التحليل: قرأ المسرّع ملفات dtsx وكتالوج SSISDB، وبنى خريطة الاعتماديات، فتبين أن 70 حزمة غير مستخدمة و46 حزمة متشابهة لكل متجر شريك يمكن دمجها.
- Unity Catalog: صُممت كتالوجات ومخططات للطبقات، مع أقنعة لأرقام هواتف العملاء.
- التحويل: تحولت الحزم إلى PySpark وخطوط Lakeflow تصريحية، بنسبة تحويل آلي 86%، مع تحويل مكونات SCD إلى APPLY CHANGES.
- مهام السكربت: أعيدت كتابة مهام C# بلغة Python، ودُمجت قراءة ملفات المتاجر في إطار واحد قابل للتهيئة لكل متجر.
- الاستيعاب: تحولت ملفات المتاجر وأحداث تطبيق المندوبين إلى استيعاب تزايدي عبر Auto Loader كل ساعة.
- الجدولة: تحولت وظائف SQL Agent إلى Lakeflow Jobs، مع نشر عبر Asset Bundles.
- المطابقة: قورنت جداول الوجهة بين SQL Server وDelta لثلاثة أسابيع.
النتائج
- أصبحت مؤشرات التوصيل في الموعد تُحدّث كل ساعة لكل مركز فرز.
- ارتفعت نسبة التوصيل في الموعد من 88% إلى 93% خلال أربعة أشهر بفضل المتابعة خلال اليوم.
- تعامل النظام مع حجم موسم التخفيضات (ثلاثة أضعاف الحجم المعتاد) دون أي تأخير.
- أُوقفت الخوادم الثلاثة، وانخفضت التكاليف بنسبة 35%.
- أصبح نموذج تحسين المسارات يعمل على بيانات الساعة الأخيرة.
يقول مدير العمليات في وحدة التوصيل لدى Emulus: "في التوصيل، معرفة المشكلة غداً تعني أنها حدثت بالفعل. الآن نعرفها خلال ساعة ونعيد توزيع المندوبين في اليوم نفسه."
الأسئلة الشائعة
ابدأ الآن
- إثبات المفهوم المجاني (POC): إثبات المفهوم المجاني (Pulse Convert)
- الموقع الرسمي: innovationalofficesolution.com
- البريد الإلكتروني: Admin@innovationalofficesolution.com
مسرّع ترحيل حزم SSIS إلى مهام Databricks
تحديث خطوط نقل وتكامل البيانات القديمة من SSIS إلى بنية Lakehouse سحابية مرنة مع تسريع أوقات التشغيل ومطابقة تامة للبيانات.