کیس اسٹڈی: ایپ AWS پر، رپورٹس Microsoft پر — Emulus Consulting نے Redshift سے Fabric تک بغیر بڑی کاپی کے آغاز کیسے کیا

Table of Contents
کیس اسٹڈی: ایپ AWS پر، رپورٹس Microsoft پر — Emulus Consulting نے Redshift سے Fabric تک بغیر بڑی کاپی کے آغاز کیسے کیا
― دو کلاؤڈز، دو بل — S3 shortcuts کے ساتھ مرحلہ وار ایک پلیٹ فارم تک
ایک نظر میں (Executive Summary)
- پلیٹ فارم: Innovational Office Solution
- کلائنٹ: Emulus Consulting
- منتقل شدہ اثاثے: [X] Redshift ٹیبلز ([X] TB)، [X] views، [X] stored procedures، [X] Spectrum external tables، [X] Glue جابز
- خودکار درستگی: 70%–90%؛ باقی ماہرین کی تصدیق سے
- رابطہ: Admin@innovationalofficesolution.com
- مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ
1. دو دنیاؤں کے بیچ
Emulus Consulting کا کلائنٹ ایک تیزی سے بڑھتی ہوئی ڈیجیٹل کمپنی تھا۔ اس کی موبائل ایپ اور بیک اینڈ شروع سے AWS پر تھے، اس لیے ڈیٹا ویئر ہاؤس کے لیے Amazon Redshift ایک فطری انتخاب تھا۔ وقت کے ساتھ کمپنی بڑی ہوئی، اور فنانس، HR اور منیجمنٹ کے لیے Microsoft 365 آیا — Teams، Excel، SharePoint اور پھر Power BI۔
نتیجہ ایک دلچسپ مگر مہنگا ڈھانچہ تھا:
- ایپ کا ڈیٹا S3 میں، ڈیٹا ویئر ہاؤس Redshift پر، ETL AWS Glue پر
- رپورٹس Power BI پر، جو ہر ریفریش پر Redshift سے ڈیٹا AWS سے باہر کھینچتی
- دو کلاؤڈز کے دو بل، دونوں ڈالر میں، دو الگ اجازتوں کے نظام، اور دو الگ ٹیموں کی مہارت
- Redshift کلسٹر کی distribution اور sort keys کی مسلسل ٹیوننگ ایک انجینئر کا مستقل کام بن چکی تھی
فیصلہ یہ ہوا کہ ایپ AWS پر رہے گی، مگر تجزیاتی پلیٹ فارم Microsoft Fabric پر آئے گا، جہاں Power BI، ڈیٹا ویئر ہاؤس اور ETL ایک کیپیسٹی پر ہوں۔
2. اہم سوال: کیا سب کچھ پہلے دن کاپی کرنا ضروری ہے؟
نہیں۔ OneLake کے Amazon S3 shortcuts کے ذریعے S3 buckets کا ڈیٹا بغیر کاپی یا تبدیلی کے Fabric Lakehouse میں read-only دستیاب ہو جاتا ہے۔ اور S3 shortcuts کے لیے caching بھی ہے: جو فائل ایک بار پڑھی جائے، وہ workspace cache میں 24 گھنٹے رہتی ہے (ہر رسائی پر یہ مدت دوبارہ شروع ہوتی ہے)، جس سے AWS کی egress لاگت نمایاں کم ہوتی ہے۔
اس سے Emulus نے ایک مرحلہ وار حکمتِ عملی بنائی:
| مرحلہ | کیا ہوا | فائدہ |
|---|---|---|
| 1. Shortcuts سے آغاز | ایپ کے خام ڈیٹا (S3) کو shortcuts سے Fabric میں جوڑا گیا | پہلے ہفتے سے Fabric میں تجزیہ شروع |
| 2. Redshift ٹیبلز کی منتقلی | UNLOAD سے Parquet، پھر Fabric Warehouse میں COPY | ویئر ہاؤس کا ڈیٹا ایک جگہ |
| 3. ETL کی منتقلی | Glue جابز اور procedures کی تبدیلی | AWS کی تجزیاتی سروسز بند |
| 4. Redshift کی بندش | متوازی رن اور موازنے کے بعد | ایک پلیٹ فارم، ایک بل |
3. تبدیلی کی تفصیل
DDL اور ڈیزائن
Redshift کی DDL، PostgreSQL سے ملتی جلتی ہے، جبکہ Fabric Warehouse T-SQL پر ہے۔ AI ایکسلریٹر نے:
- DISTSTYLE، DISTKEY اور SORTKEY جیسی ہدایات ہٹا دیں — Fabric Warehouse میں ان کی ضرورت نہیں، optimization خودکار ہے
- ڈیٹا ٹائپس بدلیں (مثلاً VARCHAR(MAX) کی حدود، TIMESTAMPTZ، SUPER)
- IDENTITY اور default values درست کیں
SQL اور stored procedures
- PostgreSQL طرز کا SQL (::cast، ILIKE، DATEADD کے فرق، LISTAGG) → T-SQL
- PL/pgSQL stored procedures → T-SQL procedures یا PySpark نوٹ بکس
- Spectrum external tables → OneLake shortcuts پر Lakehouse ٹیبلز
70%–90% کوڈ خودکار طور پر تبدیل ہوا۔
ETL
- AWS Glue PySpark جابز → Fabric Spark نوٹ بکس (زیادہ تر PySpark برقرار، GlueContext اور DynamicFrame کی جگہ معیاری Spark)
- Glue triggers اور workflows → Data Factory پائپ لائنز
موازنہ (PulseQA)
ایک ماہ تک Redshift اور Fabric متوازی؛ ٹیبلز کی قطاریں، ریونیو اور ٹرانزیکشن کے مجموعے، اور Power BI KPIs کا خودکار موازنہ۔ timestamp اور timezone کے فرق (UTC بمقابلہ پاکستان کا وقت) پر خاص توجہ دی گئی، کیونکہ "آج کی سیلز" کی تعریف اسی پر منحصر تھی۔
4. Redshift / AWS سے Fabric: اجزاء کا نقشہ
| AWS | Microsoft Fabric |
|---|---|
| Amazon Redshift (RA3 / Serverless) | Fabric Warehouse |
| DISTKEY / SORTKEY | خودکار optimization (ضرورت نہیں) |
| S3 data lake | OneLake + S3 shortcuts (caching کے ساتھ) |
| Redshift Spectrum | Lakehouse ٹیبلز (shortcuts پر) |
| UNLOAD / COPY | Parquet export → COPY INTO |
| PL/pgSQL procedures | T-SQL procedures / PySpark |
| AWS Glue jobs | Fabric Spark نوٹ بکس |
| Glue Data Catalog | Lakehouse catalog / OneLake catalog |
| Glue workflows / triggers | Data Factory پائپ لائنز |
| WLM queues | Fabric کیپیسٹی کا انتظام |
| IAM roles | Workspace roles / Entra ID |
5. نتائج
- [X] ٹیبلز اور [X] procedures 70%–90% خودکار درستگی کے ساتھ منتقل
- shortcuts کی بدولت پہلے ہفتے سے Fabric میں تجزیہ
- Power BI ریفریش کے لیے AWS سے باہر ڈیٹا کی منتقلی کی لاگت میں [X]% کمی
- دو کلاؤڈز کی تجزیاتی لاگت کی جگہ ایک Fabric کیپیسٹی؛ مجموعی بچت [X]%
- distribution / sort key ٹیوننگ کا مستقل کام ختم
اپنے Redshift سے آغاز کریں
5 Redshift procedures یا Glue جابز بھیجیں — ہم Fabric ورژن اور موازنہ مفت دکھائیں گے۔
- مفت POC: innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>مفت POC (Pulse Convert)
- ویب سائٹ: innovationalofficesolution.com
- ای میل: Admin@innovationalofficesolution.com
Amazon Redshift کو Microsoft Fabric پر یکجا کریں
دو الگ کلاؤڈز اور دو بلز کے بوجھ سے نکلیں۔ OneLake S3 Shortcuts کے ذریعے بغیر ڈیٹا کاپی کیے فوری اینالیٹکس شروع کریں اور مرحلہ وار پروڈکشن ماڈرنائزیشن حاصل کریں۔