کیس اسٹڈی: کوڈ بدلنا آسان تھا، "نتیجہ وہی ہے" ثابت کرنا اصل کام — Emulus Consulting کا SAS سے Databricks کا سفر

16 Nov 202610 Min Readviews 0comments 0
SAS سے Databricks — ایکسلریٹر — Pulse Convert

کیس اسٹڈی: کوڈ بدلنا آسان تھا، "نتیجہ وہی ہے" ثابت کرنا اصل کام — Emulus Consulting کا SAS سے Databricks کا سفر

― کریڈٹ رسک کا کوڈ PySpark میں — اور یہ ثبوت کہ نتیجہ ایک ہی ہے

ایک نظر میں (Executive Summary)

  • پلیٹ فارم: Innovational Office Solution
  • کلائنٹ: Emulus Consulting
  • منتقل شدہ اثاثے: [X] SAS پروگرامز، [X] macros، [X] PROC FORMAT تعریفیں، [X] بیچ جابز، [X] GB SAS ڈیٹا سیٹس
  • خودکار درستگی: 70%–90%؛ شماریاتی ماڈلز ماڈل ویلیڈیشن ٹیم کے ساتھ
  • رابطہ: Admin@innovationalofficesolution.com
  • مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ

1. SAS کی جگہ، اور اس سے آگے کی ضرورت

Emulus Consulting کا کلائنٹ ایک مالیاتی ادارہ تھا جس کی کریڈٹ رسک، اسکور کارڈز، provisioning کے حسابات اور ریگولیٹری رپورٹنگ کے لیے ڈیٹا کی تیاری برسوں سے SAS پر تھی۔ SAS نے بخوبی کام کیا: مستحکم، آڈٹ کے قابل، اور ہزاروں سطروں کا آزمودہ کوڈ۔

منتقلی کی وجوہات ایک سے زیادہ تھیں:

  • نئی ٹیم: نئے ڈیٹا انجینئرز اور ماڈلرز Python، SQL اور Spark کے ساتھ آ رہے تھے؛ SAS کوڈ کی دیکھ بھال چند سینئر لوگوں تک محدود ہو گئی تھی۔
  • ڈیٹا کی جگہ: ادارے کا ڈیٹا پلیٹ فارم پہلے ہی Databricks پر تھا، مگر SAS میں تجزیے کے لیے ڈیٹا الگ SAS سرور پر نقل کرنا پڑتا۔
  • مہینے اور سہ ماہی کے آخر کا بوجھ: SAS سرورز کو چوٹی کے بوجھ کے لیے بنایا گیا تھا؛ باقی دنوں میں وسائل بیکار۔
  • ریگولیٹری وضاحت: اسٹیٹ بینک آف پاکستان کے 2023 کے "Framework on Outsourcing to Cloud Service Providers" نے ریگولیٹڈ اداروں کو خطرے کی بنیاد پر کلاؤڈ اپنانے کا واضح طریقہ دیا، جس کے تحت ادارے نے اپنے ورک لوڈز کی material / non-material درجہ بندی کی۔

2. دو راستے، اور ایک حقیقت

راستہکب موزوںوضاحت
A. سب کچھ PySpark / Spark SQL میںڈیٹا تیاری، پروسیسنگ اور رپورٹنگ والا کوڈSAS رن ٹائم سے مکمل آزادی
B. SAS Viya رکھیں، کام Databricks پرفوری طور پر نہ بدلنے والے شماریاتی ماڈلزSAS Viya، access engine کے ذریعے ٹرانسفارمیشنز Databricks میں SQL کے طور پر چلا سکتا ہے
C. ملا جلااکثر مالیاتی اداروں کی حقیقتڈیٹا پروسیسنگ Databricks پر؛ چند ماڈلز کا مرحلہ وار جائزہ

Emulus نے راستہ C اپنایا۔ ایک اہم حقیقت یہ تھی کہ Databricks کے مفت ٹول Lakebridge کی سرکاری کنورژن گائیڈ میں SAS بطور سورس شامل نہیں۔ SAS کوڈ کی تبدیلی کے لیے خصوصی پارسنگ اور کنورژن درکار تھی — یہی اس ایکسلریٹر کا کام ہے۔

3. منتقلی کیسے ہوئی

مرحلہ 1 — کوڈ کی درجہ بندی

  1. ڈیٹا تیاری (DATA steps، PROC SQL، PROC SORT، MERGE) — سب سے پہلے
  2. خلاصہ اور رپورٹنگ (PROC MEANS / SUMMARY / FREQ / TABULATE) — SQL اور ڈیش بورڈز
  3. شماریاتی ماڈلنگ (PROC LOGISTIC، PROC REG) — ہر ماڈل کا الگ جائزہ، ماڈل ویلیڈیشن ٹیم کے ساتھ
  4. شیڈولنگ اور ڈھانچہ (%INCLUDE زنجیریں، LIBNAME، بیچ اسکرپٹس) — Lakeflow Jobs اور Unity Catalog

مرحلہ 2 — macros کو پہلے کھولنا

ایکسلریٹر نے پہلے macros کو resolve کر کے دیکھا کہ وہ اصل میں کیا کوڈ بناتے ہیں، پھر اس نتیجے کا ترجمہ کیا — صرف ٹیمپلیٹ کا نہیں۔

مرحلہ 3 — تبدیلی (AI کے ذریعے)

  • DATA step (SET / WHERE / IF) → DataFrame filter / withColumn
  • BY-group FIRST. / LAST. → window functions
  • RETAIN اور cumulative sums → sum().over()
  • LAG / DIF → lag()
  • ARRAY + DO loops → list comprehensions / stack / explode
  • MERGE (BY) → join (many-to-many رویے کی جانچ کے ساتھ) / Delta MERGE
  • PROC SQL → Spark SQL؛ PROC SORT NODUPKEY → dropDuplicates
  • PROC FORMAT → mapping Delta ٹیبلز
  • Macros → Python فنکشنز، پیرامیٹرائزڈ نوٹ بکس، job parameters

70%–90% کوڈ خودکار طور پر تبدیل ہوا۔

4. پانچ فرق جو نتیجہ خاموشی سے بدل دیتے ہیں

① Missing values: SAS میں عددی missing value موازنے میں سب سے چھوٹی مانی جاتی ہے، یعنی `if x < 0` اس پر درست ہوتا ہے۔ Spark میں NULL کا موازنہ NULL دیتا ہے اور قطار خارج ہو جاتی ہے۔ کریڈٹ پالیسی کے ہر threshold اصول کو الگ جانچا گیا۔

② MERGE بمقابلہ JOIN: many-to-many میں SAS کا MERGE cartesian product نہیں بناتا، SQL کا JOIN بناتا ہے۔ ہر جوڑ کی کلید کی انفرادیت پہلے جانچی گئی۔

③ ترتیب کا مفروضہ: SAS کا BY-processing پہلے سے ترتیب دیے ڈیٹا پر چلتا ہے اور "پہلا ریکارڈ" کا مطلب ترتیب سے ہوتا ہے۔ Spark میں ترتیب کی ضمانت نہیں؛ ترتیب ہر جگہ واضح لکھی گئی۔

④ تاریخیں: SAS تاریخ کو یکم جنوری 1960 سے دنوں کی تعداد کے طور پر رکھتا ہے؛ درآمد پر درست تبدیلی ضروری۔

⑤ رقوم: floating point کی جگہ DECIMAL کی واضح precision۔

5. ثبوت کا پیکج (PulseQA)

مالیاتی ادارے میں ماڈل ویلیڈیشن اور آڈٹ کو یہ ثبوت چاہیے کہ "نتیجہ وہی ہے"۔ ہر پروگرام کے لیے یہ تیار ہوا:

  • قطاروں کی گنتی، پرائمری کی فرق، کالم وار مجموعے
  • missing / NULL کی تعداد کا موازنہ
  • اہم متغیرات کی تقسیم (اوسط، percentiles)
  • اسکورنگ پروگرامز میں اسکور کی تقسیم اور ریکارڈ وار فرق کی فہرست

یہ پیکج ادارے کے مائیگریشن ریکارڈ کا حصہ بنا۔

6. SAS سے Databricks: اجزاء کا نقشہ

SASDatabricks
DATA stepPySpark DataFrame / نوٹ بک
FIRST. / LAST. / RETAIN / LAGwindow functions
MERGE (BY)join / Delta MERGE
PROC SQLSpark SQL
PROC MEANS / FREQ / TRANSPOSEgroupBy().agg() / crosstab / pivot
PROC FORMATmapping Delta ٹیبلز
MacrosPython فنکشنز / پیرامیٹرائزڈ نوٹ بکس
SAS datasets (.sas7bdat)Delta ٹیبلز
LIBNAMEUnity Catalog catalog / schema
بیچ اسکرپٹسLakeflow Jobs
SAS ODS رپورٹسDatabricks AI/BI / BI ٹول

7. نتائج

  • [X] SAS پروگرامز 70%–90% خودکار درستگی کے ساتھ منتقل
  • منصوبہ [X] ہفتوں میں
  • مہینے کے آخر کی بیچ [X] گھنٹوں سے [X] منٹ
  • SAS سرورز اور لائسنسنگ میں [X]% کمی
  • تمام فرق بند؛ ماڈل ویلیڈیشن ٹیم کی منظوری کے ساتھ cutover

اپنے سب سے پیچیدہ 5 پروگرامز

macros اور BY-processing والے 5 SAS پروگرامز بھیجیں — ہم PySpark کوڈ اور ثبوت کا پیکج مفت دکھائیں گے۔

مفت پروف آف کانسیپٹ (POC)
Microsoft Solution Partner

SAS رسک اینالیٹکس کوڈ کو Databricks PySpark پر منتقل کریں

DATA steps، پروسیجرز اور میکروز کو ماڈرن PySpark میں تبدیل کریں، ریاضیاتی ثبوت کے ساتھ کہ نتائج بالکل وہی ہیں۔ ابتدائی 70%–90% خودکار درستگی کے ساتھ محفوظ منتقلی۔

ابتدائی خودکار تبدیلی کی درستگی 70%–90%اہم رسک اور فنانس کے 5 SAS پروگرامز پر مفت POCاعشاریائی درستگی اور مسنگ ویلیوز کا سخت خودکار موازنہSAS کے بھاری پروپرائٹری لائسنسز کے اخراجات کا خاتمہ
پیش کردہ: Office Solution AI Labs (Microsoft Solution Partner for Data & AI)
#اردو#SAS#Databricks#PySpark#DATA Step#PROCs#ایکسلریٹر#کیس اسٹڈی

Contact Us

Advance Analytics of next generation

We are an authorized implementation partner of Snowflake, Databricks, Amazon, Automation Anywhere, Denodo, DataDog, New Relic, and Elastic.

Copyrights © 2026 Office Solution AI Labs