کیس اسٹڈی: "ڈیٹا بڑھ گیا، appliance وہی" — Emulus Consulting کا Teradata سے Databricks تک کا منصوبہ

Table of Contents
کیس اسٹڈی: "ڈیٹا بڑھ گیا، appliance وہی" — Emulus Consulting کا Teradata سے Databricks تک کا منصوبہ
― پرانے appliance کی تجدید کے بجائے — BTEQ، SET ٹیبلز اور PI ڈیزائن سمیت لیک ہاؤس تک
ایک نظر میں (Executive Summary)
- پلیٹ فارم: Innovational Office Solution + Databricks Lakebridge
- کلائنٹ: Emulus Consulting
- منتقل شدہ اثاثے: [X] TB ڈیٹا، [X] ٹیبلز، [X] BTEQ اسکرپٹس، [X] stored procedures اور macros، [X] FastLoad / MultiLoad / TPT جابز
- خودکار درستگی: 70%–90%؛ باقی ماہرین کی تصدیق سے
- رابطہ: Admin@innovationalofficesolution.com
- مفت POC: AnyBI to Power BI & AnyETL to Fabric صفحہ
1. ایک کامیاب نظام کی حد
Emulus Consulting کا کلائنٹ برسوں سے Teradata پر اپنا انٹرپرائز ڈیٹا ویئر ہاؤس چلا رہا تھا۔ Teradata نے اپنا کام بخوبی کیا: بڑے joins، مضبوط parallel پروسیسنگ، اور سینکڑوں صارفین کی queries۔
مگر کچھ سال بعد چند حقیقتیں سامنے تھیں:
- Appliance کی ہارڈویئر مدت ختم ہو رہی تھی، اور تجدید یا توسیع ڈالر میں بڑی سرمایہ کاری تھی
- ڈیٹا کا حجم ہر سال بڑھ رہا تھا؛ اسٹوریج اور کمپیوٹ ایک ساتھ بڑھانا پڑتا تھا
- BTEQ، Primary Index ڈیزائن اور Teradata ٹیوننگ جاننے والے لوگ کم ہوتے جا رہے تھے
- نئی ضرورتیں — ML ماڈلز، ڈیٹا سائنس، غیر منظم ڈیٹا — اس ڈھانچے میں مشکل تھیں
Emulus نے جائزہ لیا کہ اسی سرمائے سے ایک کھلا لیک ہاؤس کیا دے سکتا ہے جہاں اسٹوریج اور کمپیوٹ الگ بڑھتے ہیں۔ فیصلہ Databricks کے حق میں ہوا۔
2. DBQL سے تخمینہ
Teradata کا Database Query Log (DBQL) اس منصوبے کی بنیاد بنا۔ اس سے معلوم ہوا:
- کون سی ٹیبلز واقعی استعمال ہوتی ہیں، اور کون سی برسوں سے کسی نے نہیں پڑھیں
- کون سی queries سب سے زیادہ چلتی ہیں اور کون سی سب سے زیادہ وسائل لیتی ہیں
- کون سے BTEQ اسکرپٹس کن ٹیبلز کو لکھتے ہیں
اسی سے موضوعاتی شعبوں (subject areas) کے لحاظ سے migration waves بنیں — کم انحصار اور زیادہ کاروباری قدر والے شعبے پہلے۔
جائزے کی فہرست میں یہ شامل تھا:
□ ڈیٹا بیسز، ٹیبلز، views، macros، stored procedures کی تعداد اور کل حجم
□ BTEQ اسکرپٹس اور بیرونی شیڈولر کے انحصار
□ FastLoad / MultiLoad / TPump / TPT جابز
□ Teradata کی مخصوص syntax: QUALIFY، SAMPLE، PERIOD ڈیٹا ٹائپ، recursive views
□ Teradata سے براہ راست جڑے BI ٹولز اور ایپلیکیشنز
□ ذاتی معلومات والے کالمز (CNIC، موبائل نمبر) کی نشاندہی
3. Teradata SQL اور Databricks SQL کے اہم فرق
| Teradata | Databricks SQL | نوٹ |
|---|---|---|
| SEL / INS / UPD / DEL | SELECT / INSERT / UPDATE / DELETE | خودکار |
| QUALIFY | QUALIFY (سپورٹڈ) / subquery | اکثر جوں کا توں |
| SAMPLE n | TABLESAMPLE / LIMIT | معنی میں معمولی فرق |
| TOP n | LIMIT n | |
| NOT CASESPECIFIC | یکساں case منطق | Teradata اکثر case-insensitive؛ احتیاط ضروری |
| DATE + 1، ADD_MONTHS | date_add / add_months | implicit تبدیلیاں واضح کرنی پڑتی ہیں |
| VOLATILE TABLE | temp view / temp table | |
| SET table (خودکار ڈپلیکیٹ رد) | واضح deduplication (MERGE / dropDuplicates) | نظر انداز ہو جائے تو قطاریں خاموشی سے بڑھتی ہیں |
| PRIMARY INDEX | Liquid Clustering / partitioning | فزیکل ڈیزائن نئے سرے سے |
| MACRO | پیرامیٹرائزڈ SQL / SQL فنکشن | |
| Stored Procedure (SPL) | Databricks SQL scripting / PySpark | cursors اور error handling کی دوبارہ لکھائی |
سب سے عام "اعداد کیوں نہیں مل رہے" کی وجہ SET ٹیبلز نکلیں: Teradata کی SET ٹیبل مکمل طور پر ایک جیسی قطاریں خود رد کر دیتی ہے، اور منتقلی کے بعد اگر واضح deduplication نہ ہو تو ڈیٹا خاموشی سے بڑھ جاتا ہے۔
4. منتقلی کے مراحل
مرحلہ 1 — ڈھانچے کی تبدیلی: DDL سے Delta ٹیبل تعریفیں؛ ڈیٹا ٹائپس (BYTEINT → TINYINT، NUMBER → DECIMAL)؛ PI → Liquid Clustering keys؛ PPI → partitions یا clustering
مرحلہ 2 — کوڈ کی تبدیلی: Lakebridge کی کنورٹر Teradata SQL کو Databricks SQL میں بدلتی ہے؛ ایکسلریٹر نے BTEQ کے کنٹرول کمانڈز (.IF ERRORCODE، .GOTO، .LABEL) کو job tasks کی failure handling میں، stored procedures اور macros کو Databricks SQL / PySpark میں، اور FastLoad / MultiLoad / TPT کو COPY INTO، Auto Loader یا Delta MERGE میں ڈھالا — 70%–90% خودکار
مرحلہ 3 — تاریخی ڈیٹا: بڑی ٹیبلز partitions کی بنیاد پر متوازی ایکسپورٹ ہو کر Parquet فائلوں کی صورت میں اپ لوڈ اور Delta ٹیبلز میں لوڈ؛ cutover تک incremental sync۔ ایکسپورٹ کی bandwidth اور وقت پورے منصوبے کا اہم راستہ تھا، اس لیے یہ پہلے دن سے منصوبہ بندی میں رکھا گیا
مرحلہ 4 — گورننس: Unity Catalog میں اجازتیں اور CNIC / موبائل نمبر جیسے کالمز کی column masking
مرحلہ 5 — متوازی رن (PulseQA): ایک ہی سورس ڈیٹا پر دونوں ماحول؛ ٹیبل وار قطاریں، مجموعے، پرائمری کی فرق، اور رپورٹ کی سطح کے KPIs؛ ہر فرق کی وضاحت اور کاروباری منظوری کے بعد cutover
5. نتائج
- [X] TB ڈیٹا اور [X] BTEQ اسکرپٹس 70%–90% خودکار درستگی کے ساتھ منتقل
- منصوبہ [X] ہفتوں میں؛ appliance کی تجدید کی ضرورت ختم
- رات کی بیچ [X] گھنٹوں سے [X] منٹ
- اسٹوریج اور کمپیوٹ الگ؛ ہارڈویئر اور مینٹیننس کی لاگت میں [X]% کمی
- تمام فرق کی وضاحت اور کاروباری منظوری کے ساتھ cutover
5 اسکرپٹس سے شروع کریں
اپنے 5 BTEQ اسکرپٹس یا stored procedures بھیجیں — ہم Databricks کوڈ اور موازنہ رپورٹ مفت دکھائیں گے۔
- مفت POC: innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>مفت POC (Pulse Convert)
- ویب سائٹ: innovationalofficesolution.com
- ای میل: Admin@innovationalofficesolution.com
Teradata اپلائنس سے Databricks کلاؤڈ لیک ہاؤس پر منتقلی
پرانے ہارڈویئر کی تجدید کے بجائے اوپن لیک ہاؤس اپنائیں — BTEQ اسکرپٹس، SET ٹیبلز اور لوڈ یوٹیلیٹیز کو Databricks SQL اور کلاؤڈ اسٹوریج پر 70%–90% خودکار درستگی سے منتقل کریں۔