کیس اسٹڈی: "ہر مہینے کا Azure بل ایک معمہ" — Emulus Consulting نے اپنا ڈیٹا پلیٹ فارم Fabric پر کیسے یکجا کیا

کیس اسٹڈی: "ہر مہینے کا Azure بل ایک معمہ" — Emulus Consulting نے اپنا ڈیٹا پلیٹ فارم Fabric پر کیسے یکجا کیا

― ڈالر میں آنے والے الگ الگ Azure بلز سے ایک Fabric کیپیسٹی تک

ایک نظر میں (Executive Summary)

• پلیٹ فارم: Innovational Office Solution
• کلائنٹ: Emulus Consulting
• منتقل شدہ اثاثے: 170 ADF پائپ لائنز، 32 Mapping Data Flows، 240 Synapse dedicated SQL pool ٹیبلز اور 120 اسٹورڈ پروسیجرز، 40 Synapse Spark نوٹ بکس
• خودکار درستگی: 70%–90% ابتدائی تبدیلی
• رابطہ: Admin@innovationalofficesolution.com
• مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ

1. کلاؤڈ پر ہونا کافی نہیں تھا

Emulus Consulting کے کلائنٹس کا ڈیٹا پلیٹ فارم پہلے سے Azure پر تھا۔ مسئلہ ٹیکنالوجی کا نہیں، تقسیم کا تھا:

• Azure Data Factory سے ڈیٹا آتا، ADLS Gen2 میں رکھا جاتا، Synapse dedicated SQL pool میں حساب ہوتا، Spark پول میں کچھ اور پروسیسنگ، اور آخر میں Power BI
• ہر سروس کا الگ بل، الگ اجازتیں، الگ مانیٹرنگ
• dedicated SQL pool رات کو بھی DWU کے حساب سے چارج ہوتا، اور اسے pause کرنا ایک دستی کام تھا جو اکثر بھول جاتا
• ایک ہی ڈیٹا کی دو کاپیاں: ایک SQL کے لیے، ایک Spark کے لیے

پاکستان میں یہ مسئلہ دوگنا محسوس ہوتا ہے۔ کلاؤڈ کا بل ڈالر میں آتا ہے اور ادائیگی روپے میں ہوتی ہے۔ جب بل کئی سروسز میں بکھرا ہو اور استعمال کے ساتھ اوپر نیچے ہو، تو فنانس ٹیم کے لیے اگلے مہینے کا اندازہ لگانا تقریباً ناممکن ہو جاتا ہے۔

2. Microsoft کی سمت کیا ہے؟

Microsoft نے واضح کیا ہے کہ Azure Data Factory مکمل طور پر سپورٹڈ رہے گا، مگر نئی جدت Fabric Data Factory میں شامل کی جائے گی۔ Synapse dedicated SQL pool سے Fabric Data Warehouse تک منتقلی کے لیے Microsoft نے باقاعدہ گائیڈ اور "Migration Assistant" بھی جاری کیا ہے۔ یعنی منتقلی فوری مجبوری نہیں، مگر نئی خصوصیات کا فائدہ اٹھانے کے لیے Fabric ہی راستہ ہے۔

اس کے علاوہ Power BI Premium کی پرانی P SKUs ریٹائر ہو چکی ہیں اور نئی کیپیسٹی Fabric F SKUs کے ذریعے ملتی ہے — اس لیے Emulus کے لیے Power BI اور ڈیٹا پلیٹ فارم کو ایک ہی کیپیسٹی پر لانا منطقی تھا۔

3. منتقلی کے مراحل

مرحلہ 1 — لاگت اور استعمال کا جائزہ

Azure کی بلنگ، ADF کی رن ہسٹری، Synapse کی query ہسٹری اور Power BI کے استعمال کو ملا کر دیکھا گیا کہ کون سی پائپ لائن اور کون سی ٹیبل واقعی کسی رپورٹ تک پہنچتی ہے۔ 28% غیر ضروری اثاثے ختم کیے گئے، اور یہ بھی معلوم ہوا کہ لاگت کا 42% حصہ صرف بیکار چلتے SQL pool کا تھا۔

مرحلہ 2 — ADF پائپ لائنز

ADF کے "View in Fabric" فیچر سے موجودہ فیکٹری کو Fabric ورک اسپیس میں mount کر کے تیاری کا جائزہ لیا گیا۔ پھر AI ایکسلریٹر نے linked services کو Fabric connections میں، datasets کو ایکٹیویٹیز کے اندر، اور global parameters کو Variable Library میں خودکار طور پر تبدیل کیا۔ Self-hosted integration runtime کی جگہ آن پریمیسز ڈیٹا گیٹ وے آیا۔

مرحلہ 3 — Synapse dedicated SQL pool سے Fabric Warehouse

DDL میں distribution (HASH / ROUND_ROBIN) اور indexing جیسی ہدایات، جن کی Fabric Warehouse میں ضرورت نہیں، خودکار طور پر ہٹائی گئیں۔ ڈیٹا CETAS سے نکالا اور COPY سے لوڈ کیا گیا۔ اسٹورڈ پروسیجرز کے غیر مطابق حصے AI نے دوبارہ لکھے — 70%–90% خودکار۔

مرحلہ 4 — Synapse Spark سے Fabric Spark

نوٹ بکس میں mssparkutils اور linked service کے حوالے Fabric کے مطابق بدلے گئے۔ ADLS Gen2 کا ڈیٹا OneLake shortcuts سے جوڑا گیا، یعنی ڈیٹا کاپی کیے بغیر SQL اور Spark دونوں ایک ہی Delta ٹیبل استعمال کرنے لگے۔

مرحلہ 5 — موازنہ اور منتقلی (PulseQA)

Synapse اور Fabric میں ایک جیسی queries چلا کر قطاروں، مجموعوں اور KPIs کا خودکار موازنہ ہوا۔ Power BI رپورٹس Direct Lake ماڈلز سے جوڑ کر ADF کے triggers بند کیے گئے۔

Microsoft کی شائع کردہ "Synapse to Fabric Migration Guide" کے مطابق TPC-DS 1TB پر Fabric Spark، Synapse Spark سے 3.5 گنا تک، اور TPC-H 1TB پر Fabric Data Warehouse 1.9 گنا تک تیز رہا (Microsoft کے اپنے اعداد)۔ Emulus کے حقیقی نتائج نیچے دیے گئے ہیں۔

4. Azure سے Fabric: اجزاء کا نقشہ

5. نتائج

• 170 پائپ لائنز اور 120 پروسیجرز 70%–90% خودکار درستگی کے ساتھ منتقل
• Azure کی 24 الگ سروسز کی جگہ ایک Fabric کیپیسٹی
• ماہانہ ڈیٹا پلیٹ فارم لاگت میں 38% کمی، اور بل اب ہر ماہ پیشگی معلوم
• روزانہ پروسیسنگ 4.5 گھنٹوں سے کم ہو کر 35 منٹ
• SQL اور Spark کے لیے ڈیٹا کی دوہری کاپی ختم؛ اسٹوریج میں 44% کمی

اپنے Azure سیٹ اپ کا جائزہ لیں

اپنی 5 ADF پائپ لائنز یا Synapse پروسیجرز کے ساتھ مفت POC کریں۔

• مفت POC: مفت POC (Pulse Convert)
• ویب سائٹ: innovationalofficesolution.com
• ای میل: Admin@innovationalofficesolution.com