کیس اسٹڈی: ہر DirectQuery ایک بل — Emulus Consulting نے Snowflake سے Fabric تک کا راستہ کیسے بنایا

Table of Contents
کیس اسٹڈی: ہر DirectQuery ایک بل — Emulus Consulting نے Snowflake سے Fabric تک کا راستہ کیسے بنایا
― پہلے دن mirroring، آخری دن cutover — درمیان میں کوئی رپورٹ نہیں رکی
ایک نظر میں (Executive Summary)
- پلیٹ فارم: Innovational Office Solution
- کلائنٹ: Emulus Consulting
- منتقل شدہ اثاثے: [X] Snowflake databases، [X] ٹیبلز، [X] views، [X] stored procedures، [X] tasks اور streams
- خودکار درستگی: 70%–90%؛ باقی ماہرین کی تصدیق سے
- رابطہ: Admin@innovationalofficesolution.com
- مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ
1. مسئلہ ٹیکنالوجی کا نہیں، بل کا تھا
Emulus Consulting کا کلائنٹ کئی برس سے Snowflake استعمال کر رہا تھا اور اس سے مطمئن تھا۔ مسئلہ رپورٹنگ کی سمت سے آیا: کمپنی کی تمام رپورٹس Power BI پر تھیں، اور بہت سی DirectQuery کے ذریعے Snowflake سے جڑی تھیں۔
ہر صبح جب سینکڑوں صارف ڈیش بورڈز کھولتے، تو ہر visual ایک query بن کر Snowflake warehouse کو جگاتا، اور کریڈٹس خرچ ہوتے۔ مہینے کے آخر میں Snowflake کا بل ڈالر میں آتا، اور فنانس یہ نہیں سمجھ پاتی تھی کہ اس کا کتنا حصہ ETL کا ہے اور کتنا صرف رپورٹس دیکھنے کا۔ ساتھ ہی Power BI کی اپنی کیپیسٹی کا بل الگ۔
فیصلہ: تجزیاتی پلیٹ فارم Microsoft Fabric پر یکجا ہو، جہاں ڈیٹا، ETL اور Power BI ایک کیپیسٹی پر ہوں۔
2. Microsoft اور Snowflake کے درمیان پل
Emulus کے لیے سب سے اہم بات یہ تھی کہ منتقلی "سب کچھ ایک ساتھ" نہیں ہونی تھی۔ آج Fabric اور Snowflake کے درمیان کئی باقاعدہ راستے موجود ہیں:
| سہولت | کیا کرتی ہے |
|---|---|
| Fabric Mirroring for Snowflake (GA) | Snowflake کے CDC streams کے ذریعے ڈیٹا تقریباً real-time میں OneLake میں نقل؛ عام mirroring مفت |
| Views mirroring (GA) | Snowflake views کے نتائج کو OneLake میں Delta ٹیبل کے طور پر؛ ہر 12 گھنٹے refresh؛ اضافی compute کی بلنگ |
| Iceberg ٹیبلز کی mirroring | Iceberg ٹیبلز کی metadata shortcuts کے ذریعے، Delta کے طور پر قابلِ استعمال |
| OneLake–Snowflake interoperability (GA) | Snowflake-managed Iceberg ٹیبلز OneLake میں، دونوں پلیٹ فارمز سے پڑھنے کے قابل |
3. منتقلی کے مراحل
مرحلہ 1 — Mirroring سے فوری فائدہ
سب سے پہلے Snowflake کی اہم databases کو Fabric میں mirror کیا گیا۔ Power BI رپورٹس کو Snowflake DirectQuery سے ہٹا کر mirrored ڈیٹا پر Direct Lake ماڈلز سے جوڑا گیا۔ نتیجہ: رپورٹس دیکھنے سے Snowflake کریڈٹس کا خرچ پہلے مہینے ہی رک گیا — جبکہ ETL ابھی Snowflake پر ہی چل رہا تھا۔
مرحلہ 2 — استعمال کا جائزہ
Snowflake کی QUERY_HISTORY اور ACCESS_HISTORY سے معلوم ہوا کہ کون سی ٹیبلز، views اور procedures واقعی استعمال ہو رہی ہیں۔ [X]% objects غیر فعال نکلے۔
مرحلہ 3 — کوڈ کی تبدیلی (AI کے ذریعے)
- Snowflake SQL → Fabric Warehouse کا T-SQL: QUALIFY، FLATTEN، VARIANT / semi-structured ڈیٹا، IFF، DATEADD کے فرق، ARRAY_AGG
- JavaScript / SQL stored procedures → T-SQL procedures یا PySpark نوٹ بکس
- Tasks اور task trees → Data Factory پائپ لائنز اور شیڈول
- Streams (CDC) → Delta change data feed یا incremental MERGE
- Snowpipe → Data Factory یا Eventstream ingestion
- Zero-copy clones (dev / test کے لیے) → Fabric workspaces اور shortcuts
70%–90% کوڈ خودکار طور پر تبدیل ہوا۔
مرحلہ 4 — ETL کی منتقلی اور cutover
تبدیل شدہ پائپ لائنز Fabric پر Snowflake کے ساتھ متوازی چلیں۔ PulseQA نے ہر ٹیبل کی قطاریں، مجموعے اور اہم KPIs ملائے۔ یکسانیت کے بعد Snowflake کے ETL tasks بند اور mirroring ختم کی گئی۔
مرحلہ 5 — اجازتیں اور گورننس
Snowflake کے roles اور row access policies کو Fabric workspace roles اور Row-Level Security میں ڈھالا گیا۔
4. Snowflake سے Fabric: اجزاء کا نقشہ
| Snowflake | Microsoft Fabric |
|---|---|
| Database / Schema / Table | Fabric Warehouse / Lakehouse |
| Virtual Warehouse (کریڈٹس) | Fabric کیپیسٹی (F SKU) |
| Views | Warehouse views / views mirroring |
| Stored Procedures (JS / SQL) | T-SQL procedures / PySpark |
| Tasks | Data Factory پائپ لائن شیڈول |
| Streams | Delta change data feed / incremental MERGE |
| Snowpipe | Data Factory / Eventstream |
| VARIANT / FLATTEN | JSON functions / OPENJSON / Spark explode |
| Zero-copy clone | Workspaces / shortcuts |
| Iceberg tables | OneLake (دو طرفہ interoperability) |
| Row Access Policies | Row-Level Security |
| Power BI DirectQuery to Snowflake | Direct Lake |
5. نتائج
- پہلے مہینے سے رپورٹنگ کا Snowflake کریڈٹ خرچ ختم
- [X] views اور [X] procedures 70%–90% خودکار درستگی کے ساتھ منتقل
- منصوبہ [X] ہفتوں میں مکمل؛ کسی دن رپورٹس بند نہیں ہوئیں
- ڈیش بورڈ لوڈ ہونے کا وقت [X] سیکنڈ سے [X] سیکنڈ
- ڈیٹا پلیٹ فارم اور BI کی مجموعی لاگت میں [X]% کمی، اور ماہانہ بل قابلِ پیشگوئی
Mirroring سے آغاز کریں
5 Snowflake procedures یا tasks بھیجیں — ہم Fabric ورژن اور mirroring پر مبنی منتقلی کا منصوبہ مفت دکھائیں گے۔
- مفت POC: innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>مفت POC (Pulse Convert)
- ویب سائٹ: innovationalofficesolution.com
- ای میل: Admin@innovationalofficesolution.com
Snowflake سے Microsoft Fabric مائیگریشن
پہلے دن Mirroring، آخری دن Cutover۔ Snowflake views اور stored procedures کو Fabric Warehouse پر منتقل کریں اور رپورٹنگ لاگت کم کریں۔