کیس اسٹڈی: کوڈ بدلنا آسان تھا، "نتیجہ وہی ہے" ثابت کرنا اصل کام — Emulus Consulting کا SAS سے Databricks کا سفر

Table of Contents
کیس اسٹڈی: کوڈ بدلنا آسان تھا، "نتیجہ وہی ہے" ثابت کرنا اصل کام — Emulus Consulting کا SAS سے Databricks کا سفر
― کریڈٹ رسک کا کوڈ PySpark میں — اور یہ ثبوت کہ نتیجہ ایک ہی ہے
ایک نظر میں (Executive Summary)
- پلیٹ فارم: Innovational Office Solution
- کلائنٹ: Emulus Consulting
- منتقل شدہ اثاثے: [X] SAS پروگرامز، [X] macros، [X] PROC FORMAT تعریفیں، [X] بیچ جابز، [X] GB SAS ڈیٹا سیٹس
- خودکار درستگی: 70%–90%؛ شماریاتی ماڈلز ماڈل ویلیڈیشن ٹیم کے ساتھ
- رابطہ: Admin@innovationalofficesolution.com
- مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ
1. SAS کی جگہ، اور اس سے آگے کی ضرورت
Emulus Consulting کا کلائنٹ ایک مالیاتی ادارہ تھا جس کی کریڈٹ رسک، اسکور کارڈز، provisioning کے حسابات اور ریگولیٹری رپورٹنگ کے لیے ڈیٹا کی تیاری برسوں سے SAS پر تھی۔ SAS نے بخوبی کام کیا: مستحکم، آڈٹ کے قابل، اور ہزاروں سطروں کا آزمودہ کوڈ۔
منتقلی کی وجوہات ایک سے زیادہ تھیں:
- نئی ٹیم: نئے ڈیٹا انجینئرز اور ماڈلرز Python، SQL اور Spark کے ساتھ آ رہے تھے؛ SAS کوڈ کی دیکھ بھال چند سینئر لوگوں تک محدود ہو گئی تھی۔
- ڈیٹا کی جگہ: ادارے کا ڈیٹا پلیٹ فارم پہلے ہی Databricks پر تھا، مگر SAS میں تجزیے کے لیے ڈیٹا الگ SAS سرور پر نقل کرنا پڑتا۔
- مہینے اور سہ ماہی کے آخر کا بوجھ: SAS سرورز کو چوٹی کے بوجھ کے لیے بنایا گیا تھا؛ باقی دنوں میں وسائل بیکار۔
- ریگولیٹری وضاحت: اسٹیٹ بینک آف پاکستان کے 2023 کے "Framework on Outsourcing to Cloud Service Providers" نے ریگولیٹڈ اداروں کو خطرے کی بنیاد پر کلاؤڈ اپنانے کا واضح طریقہ دیا، جس کے تحت ادارے نے اپنے ورک لوڈز کی material / non-material درجہ بندی کی۔
2. دو راستے، اور ایک حقیقت
| راستہ | کب موزوں | وضاحت |
|---|---|---|
| A. سب کچھ PySpark / Spark SQL میں | ڈیٹا تیاری، پروسیسنگ اور رپورٹنگ والا کوڈ | SAS رن ٹائم سے مکمل آزادی |
| B. SAS Viya رکھیں، کام Databricks پر | فوری طور پر نہ بدلنے والے شماریاتی ماڈلز | SAS Viya، access engine کے ذریعے ٹرانسفارمیشنز Databricks میں SQL کے طور پر چلا سکتا ہے |
| C. ملا جلا | اکثر مالیاتی اداروں کی حقیقت | ڈیٹا پروسیسنگ Databricks پر؛ چند ماڈلز کا مرحلہ وار جائزہ |
Emulus نے راستہ C اپنایا۔ ایک اہم حقیقت یہ تھی کہ Databricks کے مفت ٹول Lakebridge کی سرکاری کنورژن گائیڈ میں SAS بطور سورس شامل نہیں۔ SAS کوڈ کی تبدیلی کے لیے خصوصی پارسنگ اور کنورژن درکار تھی — یہی اس ایکسلریٹر کا کام ہے۔
3. منتقلی کیسے ہوئی
مرحلہ 1 — کوڈ کی درجہ بندی
- ڈیٹا تیاری (DATA steps، PROC SQL، PROC SORT، MERGE) — سب سے پہلے
- خلاصہ اور رپورٹنگ (PROC MEANS / SUMMARY / FREQ / TABULATE) — SQL اور ڈیش بورڈز
- شماریاتی ماڈلنگ (PROC LOGISTIC، PROC REG) — ہر ماڈل کا الگ جائزہ، ماڈل ویلیڈیشن ٹیم کے ساتھ
- شیڈولنگ اور ڈھانچہ (%INCLUDE زنجیریں، LIBNAME، بیچ اسکرپٹس) — Lakeflow Jobs اور Unity Catalog
مرحلہ 2 — macros کو پہلے کھولنا
ایکسلریٹر نے پہلے macros کو resolve کر کے دیکھا کہ وہ اصل میں کیا کوڈ بناتے ہیں، پھر اس نتیجے کا ترجمہ کیا — صرف ٹیمپلیٹ کا نہیں۔
مرحلہ 3 — تبدیلی (AI کے ذریعے)
- DATA step (SET / WHERE / IF) → DataFrame filter / withColumn
- BY-group FIRST. / LAST. → window functions
- RETAIN اور cumulative sums → sum().over()
- LAG / DIF → lag()
- ARRAY + DO loops → list comprehensions / stack / explode
- MERGE (BY) → join (many-to-many رویے کی جانچ کے ساتھ) / Delta MERGE
- PROC SQL → Spark SQL؛ PROC SORT NODUPKEY → dropDuplicates
- PROC FORMAT → mapping Delta ٹیبلز
- Macros → Python فنکشنز، پیرامیٹرائزڈ نوٹ بکس، job parameters
70%–90% کوڈ خودکار طور پر تبدیل ہوا۔
4. پانچ فرق جو نتیجہ خاموشی سے بدل دیتے ہیں
① Missing values: SAS میں عددی missing value موازنے میں سب سے چھوٹی مانی جاتی ہے، یعنی `if x < 0` اس پر درست ہوتا ہے۔ Spark میں NULL کا موازنہ NULL دیتا ہے اور قطار خارج ہو جاتی ہے۔ کریڈٹ پالیسی کے ہر threshold اصول کو الگ جانچا گیا۔
② MERGE بمقابلہ JOIN: many-to-many میں SAS کا MERGE cartesian product نہیں بناتا، SQL کا JOIN بناتا ہے۔ ہر جوڑ کی کلید کی انفرادیت پہلے جانچی گئی۔
③ ترتیب کا مفروضہ: SAS کا BY-processing پہلے سے ترتیب دیے ڈیٹا پر چلتا ہے اور "پہلا ریکارڈ" کا مطلب ترتیب سے ہوتا ہے۔ Spark میں ترتیب کی ضمانت نہیں؛ ترتیب ہر جگہ واضح لکھی گئی۔
④ تاریخیں: SAS تاریخ کو یکم جنوری 1960 سے دنوں کی تعداد کے طور پر رکھتا ہے؛ درآمد پر درست تبدیلی ضروری۔
⑤ رقوم: floating point کی جگہ DECIMAL کی واضح precision۔
5. ثبوت کا پیکج (PulseQA)
مالیاتی ادارے میں ماڈل ویلیڈیشن اور آڈٹ کو یہ ثبوت چاہیے کہ "نتیجہ وہی ہے"۔ ہر پروگرام کے لیے یہ تیار ہوا:
- قطاروں کی گنتی، پرائمری کی فرق، کالم وار مجموعے
- missing / NULL کی تعداد کا موازنہ
- اہم متغیرات کی تقسیم (اوسط، percentiles)
- اسکورنگ پروگرامز میں اسکور کی تقسیم اور ریکارڈ وار فرق کی فہرست
یہ پیکج ادارے کے مائیگریشن ریکارڈ کا حصہ بنا۔
6. SAS سے Databricks: اجزاء کا نقشہ
| SAS | Databricks |
|---|---|
| DATA step | PySpark DataFrame / نوٹ بک |
| FIRST. / LAST. / RETAIN / LAG | window functions |
| MERGE (BY) | join / Delta MERGE |
| PROC SQL | Spark SQL |
| PROC MEANS / FREQ / TRANSPOSE | groupBy().agg() / crosstab / pivot |
| PROC FORMAT | mapping Delta ٹیبلز |
| Macros | Python فنکشنز / پیرامیٹرائزڈ نوٹ بکس |
| SAS datasets (.sas7bdat) | Delta ٹیبلز |
| LIBNAME | Unity Catalog catalog / schema |
| بیچ اسکرپٹس | Lakeflow Jobs |
| SAS ODS رپورٹس | Databricks AI/BI / BI ٹول |
7. نتائج
- [X] SAS پروگرامز 70%–90% خودکار درستگی کے ساتھ منتقل
- منصوبہ [X] ہفتوں میں
- مہینے کے آخر کی بیچ [X] گھنٹوں سے [X] منٹ
- SAS سرورز اور لائسنسنگ میں [X]% کمی
- تمام فرق بند؛ ماڈل ویلیڈیشن ٹیم کی منظوری کے ساتھ cutover
اپنے سب سے پیچیدہ 5 پروگرامز
macros اور BY-processing والے 5 SAS پروگرامز بھیجیں — ہم PySpark کوڈ اور ثبوت کا پیکج مفت دکھائیں گے۔
- مفت POC: innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>مفت POC (Pulse Convert)
- ویب سائٹ: innovationalofficesolution.com
- ای میل: Admin@innovationalofficesolution.com
SAS رسک اینالیٹکس کوڈ کو Databricks PySpark پر منتقل کریں
DATA steps، پروسیجرز اور میکروز کو ماڈرن PySpark میں تبدیل کریں، ریاضیاتی ثبوت کے ساتھ کہ نتائج بالکل وہی ہیں۔ ابتدائی 70%–90% خودکار درستگی کے ساتھ محفوظ منتقلی۔