مسرّع ترحيل SSIS إلى Databricks: كيف حصلت Emulus للتوصيل على بيانات الشحنات كل ساعة

18 Nov 202610 Min Readviews 0comments 0
مسرّع ترحيل SSIS إلى Databricks: كيف حصلت Emulus للتوصيل على بيانات الشحنات كل ساعة — Pulse Convert

مسرّع ترحيل SSIS إلى Databricks: كيف حصلت Emulus للتوصيل على بيانات الشحنات كل ساعة

― 410 حزم SSIS، منها 85 حزمة بمهام سكربت C#، انتقلت بمساعدة مسرّع Pulse Convert إلى PySpark وخطوط Lakeflow ومهام Lakeflow خلال 12 أسبوعاً، فأصبحت مؤشرات التوصيل في الموعد تُحدّث كل ساعة بدلاً من مرة يومياً

نبذة عن العميل

تقدم وحدة التوصيل في Emulus خدمات توصيل الميل الأخير للمتاجر الإلكترونية في المملكة العربية السعودية، بأسطول يضم أكثر من 2,800 مندوب و14 مركز فرز، وتسلّم نحو 120 ألف شحنة يومياً.

التحدي

  • 410 حزم SSIS تجمع بيانات الشحنات من نظام إدارة الشحن، وتطبيق المندوبين، وأنظمة المتاجر الشريكة.
  • 85 حزمة تحتوي على مهام C# لقراءة ملفات المتاجر بتنسيقات مختلفة واستدعاء واجهات برمجية.
  • تحميل يومي واحد، فلا يعرف مديرو المراكز نسب التوصيل في الموعد إلا في اليوم التالي.
  • فريق علوم البيانات يبني نموذج تحسين المسارات على Databricks، ويحتاج إلى بيانات حديثة.
  • ثلاثة خوادم SQL Server وSSIS بلا قدرة على التوسع في مواسم التخفيضات.

الحل ودور Pulse Convert

  1. التحليل: قرأ المسرّع ملفات dtsx وكتالوج SSISDB، وبنى خريطة الاعتماديات، فتبين أن 70 حزمة غير مستخدمة و46 حزمة متشابهة لكل متجر شريك يمكن دمجها.
  2. Unity Catalog: صُممت كتالوجات ومخططات للطبقات، مع أقنعة لأرقام هواتف العملاء.
  3. التحويل: تحولت الحزم إلى PySpark وخطوط Lakeflow تصريحية، بنسبة تحويل آلي 86%، مع تحويل مكونات SCD إلى APPLY CHANGES.
  4. مهام السكربت: أعيدت كتابة مهام C# بلغة Python، ودُمجت قراءة ملفات المتاجر في إطار واحد قابل للتهيئة لكل متجر.
  5. الاستيعاب: تحولت ملفات المتاجر وأحداث تطبيق المندوبين إلى استيعاب تزايدي عبر Auto Loader كل ساعة.
  6. الجدولة: تحولت وظائف SQL Agent إلى Lakeflow Jobs، مع نشر عبر Asset Bundles.
  7. المطابقة: قورنت جداول الوجهة بين SQL Server وDelta لثلاثة أسابيع.

النتائج

  • أصبحت مؤشرات التوصيل في الموعد تُحدّث كل ساعة لكل مركز فرز.
  • ارتفعت نسبة التوصيل في الموعد من 88% إلى 93% خلال أربعة أشهر بفضل المتابعة خلال اليوم.
  • تعامل النظام مع حجم موسم التخفيضات (ثلاثة أضعاف الحجم المعتاد) دون أي تأخير.
  • أُوقفت الخوادم الثلاثة، وانخفضت التكاليف بنسبة 35%.
  • أصبح نموذج تحسين المسارات يعمل على بيانات الساعة الأخيرة.

يقول مدير العمليات في وحدة التوصيل لدى Emulus: "في التوصيل، معرفة المشكلة غداً تعني أنها حدثت بالفعل. الآن نعرفها خلال ساعة ونعيد توزيع المندوبين في اليوم نفسه."

الأسئلة الشائعة

A.معظم تدفق التحكم وتدفق البيانات نعم، مع مراجعة مهام السكربت.
A.Lakeflow Jobs بمشغلات زمنية أو عند وصول الملفات.
A.تُدمج في خط واحد قابل للتهيئة.
A.عادة بين 10 و16 أسبوعاً.

ابدأ الآن

إثبات مفهوم مجاني (PoC)
Microsoft Solution Partner

مسرّع ترحيل حزم SSIS إلى مهام Databricks

تحديث خطوط نقل وتكامل البيانات القديمة من SSIS إلى بنية Lakehouse سحابية مرنة مع تسريع أوقات التشغيل ومطابقة تامة للبيانات.

دقة تحويل آلية أولية 70%–90%إثبات مفهوم مجاني لـ 5 حزم SSIS معقدة مهام C#تحويل مهام السكربت والتدفق إلى كود PySparkتحديث البيانات كل ساعة لدعم اتخاذ القرارات اللوجستية
مقدم من: Office Solution AI Labs (شريك حلول مايكروسوفت المعتمد للبيانات والذكاء الاصطناعي)
#العربية#SSIS#Databricks#Delta Lake#التوصيل#الخدمات اللوجستية#الرياض#دراسة حالة

Contact Us

Advance Analytics of next generation

We are an authorized implementation partner of Snowflake, Databricks, Amazon, Automation Anywhere, Denodo, DataDog, New Relic, and Elastic.

Copyrights © 2026 Office Solution AI Labs