من Informatica إلى Databricks: كيف سرّعت Emulus للتجارة الإلكترونية بيانات العملاء لنماذج التوصية

Table of Contents
من Informatica إلى Databricks: كيف سرّعت Emulus للتجارة الإلكترونية بيانات العملاء لنماذج التوصية
― 820 تعييناً ومهمة في Informatica Cloud انتقلت بمساعدة Pulse Convert إلى PySpark وخطوط Lakeflow التصريحية خلال 13 أسبوعاً، فأصبحت بيانات السلوك متاحة لنماذج التوصية كل 30 دقيقة بدلاً من مرة يومياً
نبذة عن العميل
تدير وحدة التجارة الإلكترونية في Emulus منصة تسوق إلكتروني في المملكة العربية السعودية تضم أكثر من 1,200 بائع و350 ألف منتج، وتخدم نحو 2.5 مليون عميل نشط. تعتمد فرق التسويق والتسعير وعلوم البيانات على بيانات الطلبات وسلوك التصفح لنماذج التوصية والحملات.
التحدي
اعتمدت الوحدة على Informatica Intelligent Data Management Cloud لتجميع البيانات:
- 820 تعييناً ومهمة تعيين ومهمة تزامن، و95 Taskflow.
- مصادر متعددة: قاعدة الطلبات، ونظام المخزون، وأحداث التصفح، وبيانات شركات الشحن.
- تحميل يومي واحد لأحداث التصفح، بأكثر من 40 مليون حدث يومياً.
- فريق علوم البيانات يعمل على Databricks، وينتظر وصول البيانات من المستودع كل صباح.
- تكلفة استهلاك IDMC ترتفع مع نمو الأحداث.
- نماذج التوصية تعمل على بيانات عمرها يوم، فلا تعكس سلوك العميل في الجلسة نفسها أو اليوم نفسه.
لماذا Databricks؟
- منصة واحدة لهندسة البيانات وعلوم البيانات.
- Auto Loader واستيعاب متدفق لأحداث التصفح.
- خطوط Lakeflow التصريحية مع توقعات جودة البيانات.
- Unity Catalog لحوكمة بيانات العملاء الحساسة.
الحل ودور Pulse Convert
- الفهرسة: صدّرت Pulse Convert أصول IDMC وفهرستها، وربطتها بسجلات التشغيل. تبين أن 140 تعييناً غير مستخدم.
- التصنيف إلى أنماط: صُنّف 72% من التعيينات ضمن 8 أنماط قياسية، مثل التحميل التزايدي، والأبعاد المتغيرة، وتجميعات المبيعات اليومية.
- التحويل: تحولت التعيينات إلى PySpark وخطوط Lakeflow تصريحية، بنسبة تحويل آلي 87%، مع قوالب موحدة لكل نمط.
- الاستيعاب المتدفق: استُبدل التحميل اليومي لأحداث التصفح باستيعاب متدفق عبر Auto Loader، مع معالجة كل 30 دقيقة.
- الجودة: تحولت قواعد الجودة إلى توقعات في الخطوط، مثل رفض الطلبات بلا رمز عميل وتسجيل الأحداث بتواريخ مستقبلية.
- Taskflows: تحولت 95 Taskflow إلى Lakeflow Jobs بالاعتماديات نفسها.
- الحوكمة: نُظمت البيانات في Unity Catalog، مع أقنعة أعمدة لأرقام الهواتف والعناوين.
مراحل التنفيذ
- الأسابيع 1–2: الفهرسة والتصنيف.
- الأسابيع 3–8: التحويل على ثلاث دفعات.
- الأسابيع 9–11: الاستيعاب المتدفق وربط نماذج التوصية.
- الأسبوعان 12–13: التشغيل المتوازي وإيقاف IDMC.
النتائج
- أصبحت بيانات السلوك متاحة لنماذج التوصية كل 30 دقيقة بدلاً من مرة يومياً.
- ارتفع معدل النقر على التوصيات بنسبة 14% بعد الانتقال إلى بيانات اليوم نفسه.
- انخفضت تكاليف التكامل والبنية بنسبة 46%.
- أصبحت نسب البيانات متتبعة بالكامل في Unity Catalog.
- انخفضت الأخطاء في بيانات الطلبات بفضل التوقعات من 0.9% إلى 0.1%.
يقول رئيس علوم البيانات في وحدة التجارة الإلكترونية لدى Emulus: "كانت نماذجنا تقترح على العميل ما كان يبحث عنه بالأمس. اليوم تقترح ما يبحث عنه الآن، والفرق ظهر مباشرة في المبيعات."
الأسئلة الشائعة
ابدأ الآن
- إثبات المفهوم المجاني (POC): innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>AnyBI to Power BI & AnyETL to Fabric
- الموقع الرسمي: innovationalofficesolution.com
- البريد الإلكتروني: Admin@innovationalofficesolution.com
الترحيل من Informatica إلى Databricks Lakehouse
تسريع تجهيز ميزات العملاء لنماذج التوصية من 5 ساعات إلى 28 دقيقة عبر تحويل مهام IDMC إلى PySpark وLakeflow Jobs.