کیس اسٹڈی: "ڈیٹا تو روز آتا ہے، ماڈل تک کیوں نہیں پہنچتا؟" — Emulus Consulting کا Informatica سے Databricks تک کا سفر

کیس اسٹڈی: "ڈیٹا تو روز آتا ہے، ماڈل تک کیوں نہیں پہنچتا؟" — Emulus Consulting کا Informatica سے Databricks تک کا سفر

― ETL جو صرف ڈیٹا ڈھوتا تھا، اب مشین لرننگ کے لیے تیار ڈیٹا بناتا ہے

خلاصہ (Executive Summary)

• پلیٹ فارم: Innovational Office Solution (Pulse Convert)
• کلائنٹ: Emulus Consulting
• منتقل شدہ اثاثے: [X] PowerCenter میپنگز، [X] ورک فلوز، [X] ٹارگٹ ٹیبلز جن میں [X] SCD Type 2 ڈائمینشنز
• خودکار درستگی: 70%–90% ابتدائی تبدیلی؛ باقی ماہرین اور بزنس ٹیم کی تصدیق سے
• رابطہ: Admin@innovationalofficesolution.com
• مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ

1. مسئلہ: دو الگ دنیائیں

Emulus Consulting ایک ڈیٹا اسٹریٹیجی اور ڈیجیٹل کنسلٹنگ فرم ہے۔ اس کے کلائنٹس کا ETL برسوں سے Informatica PowerCenter پر چل رہا تھا اور اپنا کام بخوبی کر رہا تھا: آپریشنل سسٹمز سے ڈیٹا نکال کر رات بھر میں ڈیٹا ویئر ہاؤس بھرنا۔

مسئلہ ETL کے بعد شروع ہوتا تھا۔ ڈیٹا سائنس ٹیم کو کسٹمر churn اور کریڈٹ رسک کے ماڈلز بنانے تھے، مگر:

• انہیں ڈیٹا ویئر ہاؤس سے CSV ایکسپورٹ مانگنی پڑتی، جو ایک ٹکٹ اور کئی دنوں کا انتظار تھا
• کسٹمر کی تاریخ (پیکج کب بدلا، شہر کب بدلا، کریڈٹ لمٹ کب بڑھی) SCD Type 2 ٹیبلز میں تھی، مگر ماڈل کے لیے "اس وقت کی حالت" نکالنا ہر بار دستی SQL کا کام تھا
• ایک ہی ڈیٹا تین جگہ پڑا تھا: ویئر ہاؤس، ڈیٹا سائنس کا سرور، اور کسی کے لیپ ٹاپ پر
• ماڈل کس ڈیٹا ورژن پر بنا، یہ کوئی ثابت نہیں کر سکتا تھا — جو ریگولیٹڈ ماحول میں ماڈل ویلیڈیشن کے لیے ایک سنگین کمزوری ہے

اسی دوران Informatica نے PowerCenter 10.5 کی اسٹینڈرڈ سپورٹ 31 مارچ 2026 کو ختم کر دی، اور ایکسٹینڈڈ سپورٹ بھی 31 مارچ 2027 تک ہی ہے۔ یعنی ETL کو بہرحال کہیں منتقل کرنا تھا۔ Emulus نے فیصلہ کیا کہ اسے ایسی جگہ لے جایا جائے جہاں ڈیٹا انجینئرنگ اور مشین لرننگ ایک ہی پلیٹ فارم پر ہوں۔

2. Databricks کیوں

3. Emulus کا ماحول

• [X] میپنگز جو کور سسٹم، CRM، بلنگ اور موبائل ایپ کے ایونٹس سے ڈیٹا یکجا کرتی تھیں
• کسٹمر، پروڈکٹ اور برانچ کی ڈائمینشنز SCD Type 2 کے طور پر، Update Strategy اور Lookup کے ذریعے
• [X] پیرامیٹر فائلز جن میں ہر رن کی تاریخ اور کنکشن درج
• ڈیٹا سائنس ٹیم کے [X] Python اسکرپٹس جو ہفتہ وار CSV پر چلتے تھے

4. منتقلی کا طریقہ

مرحلہ 1 — ڈیٹا سائنس کی ضرورت سے آغاز

عام طور پر ETL منتقلی "پہلے سب کچھ منتقل کرو" سے شروع ہوتی ہے۔ Emulus نے الٹا کیا: پہلے یہ دیکھا گیا کہ churn اور کریڈٹ ماڈلز کو کون سی ٹیبلز چاہییں، اور انہی میپنگز کو پہلی لہر میں رکھا گیا۔ اس سے کاروبار کو چند ہفتوں میں پہلا نتیجہ نظر آیا۔

مرحلہ 2 — ریپوزٹری کا تجزیہ

PowerCenter کے XML ایکسپورٹ کو Pulse Convert نے پارس کیا، ہر میپنگ کی پیچیدگی ناپی، اور lineage گراف بنایا کہ کون سی ٹیبل کس میپنگ سے بنتی ہے۔ [X]% میپنگز غیر فعال نکلیں۔

مرحلہ 3 — AI کے ذریعے تبدیلی

• میپنگز → PySpark یا Spark SQL نوٹ بکس
• Lookups → broadcast joins
• Update Strategy اور SCD Type 2 → Delta Lake کا MERGE INTO، جس میں valid_from اور valid_to کی منطق برقرار
• Mapplets → مشترکہ Python ماڈیولز
• ورک فلوز → Lakeflow Jobs کی task dependencies
• پیرامیٹر فائلز → job parameters اور widgets

70%–90% منطق خودکار طور پر تبدیل ہوئی۔

مرحلہ 4 — ML کے لیے تیار Gold لیئر

Bronze میں خام ڈیٹا، Silver میں صفائی اور SCD، اور Gold میں ماڈلز کے لیے فیچر ٹیبلز بنائی گئیں — مثلاً "ہر کسٹمر کی گزشتہ 90 دن کی سرگرمی" یا "ہر ماہ کے آخر پر کسٹمر کی حالت"۔ Delta کی time travel کی بدولت ڈیٹا سائنس ٹیم اب بتا سکتی ہے کہ کوئی ماڈل بالکل کس ڈیٹا ورژن پر تربیت پایا۔

مرحلہ 5 — موازنہ (PulseQA)

PowerCenter اور Databricks کو ایک ہی ان پٹ پر متوازی چلا کر قطاروں، مجموعوں، ہیش ویلیوز اور SCD ٹیبلز میں ہر کسٹمر کی تاریخ کے ادوار (validity periods) کا خودکار موازنہ کیا گیا۔

5. PowerCenter سے Databricks: اجزاء کا نقشہ

6. نتائج

• [X] میپنگز 70%–90% ابتدائی خودکار درستگی کے ساتھ منتقل
• منصوبہ [X] ہفتوں میں مکمل
• ڈیٹا سائنس ٹیم کو ڈیٹا ملنے کا وقت [X] دن سے کم ہو کر اسی دن
• منتقلی کے [X] ماہ بعد [X] ML ماڈلز production میں
• ETL لائسنس اور سرورز کے خاتمے سے TCO میں [X]% کمی

اپنا ڈیٹا ماڈل تک پہنچائیں

اپنی SCD والی 5 میپنگز کے ساتھ مفت POC کریں — ہم Databricks پر چلنے والا کوڈ اور موازنہ رپورٹ دکھائیں گے۔

• مفت POC: innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>مفت POC (Pulse Convert)
• ویب سائٹ: innovationalofficesolution.com
• ای میل: Admin@innovationalofficesolution.com