کیس اسٹڈی: 38 اجزاء خودکار، باقی سب ہمارا — Emulus Consulting کی SSIS سے Databricks تک منتقلی

Table of Contents
کیس اسٹڈی: 38 اجزاء خودکار، باقی سب ہمارا — Emulus Consulting کی SSIS سے Databricks تک منتقلی
― C# اسکرپٹ ٹاسکس، SCD اور Oracle کنیکٹر — جہاں خودکار ٹولز رکتے ہیں، وہاں سے آگے
ایک نظر میں (Executive Summary)
- پلیٹ فارم: Innovational Office Solution + Databricks Lakebridge
- کلائنٹ: Emulus Consulting
- منتقل شدہ اثاثے: [X] SSIS پیکجز، [X] C# / VB.NET اسکرپٹ ٹاسکس، [X] SCD کمپوننٹس، [X] SQL Agent جابز
- خودکار درستگی: 70%–90%؛ اسکرپٹ ٹاسکس اور غیر سپورٹڈ کمپوننٹس ماہرین کے جائزے سے
- رابطہ: Admin@innovationalofficesolution.com
- مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ
1. پس منظر
Emulus Consulting کے کلائنٹ کا ڈیٹا ویئر ہاؤس پندرہ سال سے SQL Server اور SSIS پر تھا۔ اسی دوران تین چیزیں ہوئیں:
- SQL Server 2016، جس پر زیادہ تر پیکجز چلتے تھے، کی ایکسٹینڈڈ سپورٹ 14 جولائی 2026 کو ختم ہو گئی؛ SQL Server 2017 کی باری 12 اکتوبر 2027 کو ہے۔
- Microsoft نے SSIS کے "Microsoft Connector for Oracle" کی سپورٹ 4 جولائی 2025 کو ختم کر دی، اور یہ SQL Server 2025 میں سپورٹڈ نہیں۔ کلائنٹ کے کئی پیکجز Oracle بلنگ سسٹم سے ڈیٹا لیتے تھے۔
- ادارے کی ڈیٹا سائنس اور اینالیٹکس ٹیمیں پہلے ہی Databricks پر کام کر رہی تھیں۔
نتیجہ واضح تھا: ETL کو SQL Server کے کسی نئے ورژن پر اپ گریڈ کرنے کے بجائے Databricks پر لے جایا جائے، جہاں باقی ڈیٹا پلیٹ فارم پہلے سے تھا۔
2. Lakebridge کتنا کرتا ہے، اور کیا نہیں
Databricks کا مفت ٹول Lakebridge، SSIS پیکجز کو BladeBridge کنورٹر کے ذریعے Databricks نوٹ بکس میں بدل سکتا ہے۔ اس کی ڈاکیومنٹیشن کے مطابق یہ فیچر ابھی "experimental" ہے، SQL Server 2012 سے 2022 اور ADF کے SSIS IR کو سپورٹ کرتا ہے، اور 50 میں سے 38 SSIS کمپوننٹس کا احاطہ کرتا ہے۔ اسکرپٹ ٹاسکس اور اسکرپٹ کمپوننٹس کا C# یا VB.NET کوڈ خودکار تبدیل نہیں ہوتا؛ اسی طرح Analysis Services Processing، Bulk Insert، FTP، Send Mail، Web Service اور XML Task دستی کام مانگتے ہیں۔
Emulus نے دونوں کو ساتھ چلایا:
| کام | Lakebridge | Innovational Office Solution ایکسلریٹر |
|---|---|---|
| پیکجز اور انحصار کا جائزہ | ہاں | ہاں، رن ہسٹری اور کاروباری اہمیت کے ساتھ لہروں کی ترتیب |
| معیاری control / data flow | ہاں (experimental) | ہاں |
| C# / VB.NET اسکرپٹ ٹاسکس | ڈھانچہ برقرار، دستی دوبارہ لکھائی | AI اسکرپٹ کا مقصد سمجھ کر PySpark بناتا ہے، ماہر جائزہ |
| غیر سپورٹڈ کمپوننٹس | دستی | معیاری متبادل پیٹرنز |
| configurations اور environment variables | جزوی | job parameters اور secret scopes |
| موازنہ | schema، row، column | کاروباری KPIs کی سطح کی رپورٹ |
3. پانچ مشکل جگہیں اور ان کا حل
- اسکرپٹ ٹاسکس (C#): زیادہ تر APIs کال کرتے، غیر معیاری فائلیں پارس کرتے یا لاگ لکھتے تھے۔ AI نے پہلے یہ خلاصہ بنایا کہ اسکرپٹ "کرتا کیا ہے"، پھر Python میں نیا نفاذ — لفظ بہ لفظ ترجمہ نہیں۔
- SCD کمپوننٹ: SSIS کا SCD wizard قطار بہ قطار کام کرتا ہے اور سست ہے؛ اسے Delta Lake کے ایک MERGE INTO میں بدلا گیا۔
- Collation: SQL Server عام طور پر case-insensitive ہوتا ہے، Spark نہیں۔ جوڑنے والی کلیدوں پر یکساں case کی منطق لگائی گئی — ورنہ "ریکارڈ نہیں ملا" جیسے مسائل آتے۔
- Integer division: T-SQL میں دو integers کی تقسیم integer دیتی ہے، Spark SQL decimal۔ شرح اور فی یونٹ قیمت کے کالمز ایک ایک کر کے جانچے گئے۔
- Oracle سورس: ختم شدہ Oracle کنیکٹر کی جگہ Databricks کا JDBC کے ذریعے Oracle سے پڑھنا، partition کی بنیاد پر متوازی۔
4. منتقلی کے مراحل
مرحلہ 1 — ایکسپورٹ اور انوینٹری: SSISDB کیٹلاگ اور فائل سسٹم سے تمام .dtsx پیکجز؛ SQL Agent کی ہسٹری سے غیر فعال اور ڈپلیکیٹ پیکجز کی نشاندہی ([X]%)
مرحلہ 2 — انحصار: Execute Package Task کی parent/child زنجیریں، precedence constraints اور ٹیبل کی سطح پر lineage
مرحلہ 3 — تبدیلی: Data flows → Spark SQL / DataFrames؛ Execute SQL → Spark SQL؛ T-SQL پروسیجرز → Databricks SQL یا PySpark؛ Foreach loops → پیرامیٹرائزڈ نوٹ بکس؛ variables → job parameters — 70%–90% خودکار
مرحلہ 4 — آرکیسٹریشن: SQL Agent اور پیکجز کے تعلقات → Lakeflow Jobs کی task dependencies؛ retries اور alerts بلٹ ان
مرحلہ 5 — متوازی رن (PulseQA): ایک ہی سورس ڈیٹا پر دونوں نظام؛ ٹارگٹ قطاریں، مجموعے، پرائمری کی فرق اور reject گنتی کا خودکار موازنہ
5. SSIS سے Databricks: اجزاء کا نقشہ
| SSIS | Databricks |
|---|---|
| Data Flow Task | Spark SQL temp views / DataFrames |
| OLE DB / ADO.NET Source | spark.read (JDBC) |
| Derived Column / Conditional Split | withColumn / when / filter |
| Lookup | join / broadcast join |
| Aggregate / Sort | groupBy().agg() / orderBy |
| Merge Join / Union All | join / unionByName |
| Slowly Changing Dimension | Delta Lake MERGE INTO |
| Execute SQL Task | Spark SQL |
| Execute Package Task | dbutils.notebook.run() / job task dependency |
| Foreach Loop Container | پیرامیٹرائزڈ نوٹ بک |
| Script Task (C# / VB.NET) | PySpark / Python فنکشن |
| Send Mail / FTP Task | job notifications / Python libraries |
| Package Configurations / Parameters | job parameters / secret scopes |
| SQL Server Agent | Lakeflow Jobs |
6. نتائج
- [X] پیکجز میں سے [X]% ختم یا یکجا؛ باقی 70%–90% خودکار درستگی سے منتقل
- [X] C# اسکرپٹ ٹاسکس Python میں دوبارہ لکھے گئے، سب ٹیسٹ کے ساتھ
- رات کی بیچ [X] گھنٹوں سے [X] منٹ
- ETL سرورز [X] سے صفر؛ TCO میں [X]% کمی
- Oracle سے لوڈنگ کی رفتار کا مسئلہ ختم
مشکل ترین پیکجز سے آزمائیں
اسکرپٹ ٹاسک اور SCD والے 5 SSIS پیکجز بھیجیں — ہم تبدیل شدہ کوڈ اور موازنہ مفت دکھائیں گے۔
- مفت POC: innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>مفت POC (Pulse Convert)
- ویب سائٹ: innovationalofficesolution.com
- ای میل: Admin@innovationalofficesolution.com
SSIS پیکجز کو Databricks Lakeflow Jobs میں تبدیل کریں
جہاں عام کنورٹرز رکتے ہیں — C# اسکرپٹ ٹاسکس، SCD اور Oracle کنیکٹرز سمیت پیچیدہ SSIS پیکیجز کو پروڈکشن گریڈ PySpark اور Databricks Jobs میں منتقل کریں۔