導入事例:移行後、件数が「少しだけ多い」― Emulus Consulting の Teradata → Databricks 移行

目次
導入事例:移行後、件数が「少しだけ多い」― Emulus Consulting の Teradata → Databricks 移行
― アプライアンスの更改見積もりを前に ― 通信事業者の 180 TB の DWH と BTEQ 2,400 本をレイクハウスへ
概要
- 提供:Innovational Office Solution + Databricks Lakebridge
- お客様:Emulus Consulting
- 移行対象:データ 180 TB、テーブル 6,800 本、BTEQ スクリプト 2,400 本、ストアドプロシージャ・マクロ 310 本、TPT / FastLoad / MultiLoad ジョブ 420 本
- 自動変換精度:初期段階で 83% を自動変換(70%~90% の範囲)。残りは専門家の調整と業務部門の確認で完了
- お問い合わせ:Admin@innovationalofficesolution.com
- 無料PoC:AnyBI to Power BI & AnyETL to Fabric ページ
背景:更改の見積もりが、議論の始まりだった
Emulus Consulting が支援する地域通信事業者では、約 320 万回線分の通話・データ通信の利用明細、契約、料金、問い合わせ履歴を Teradata の DWH に集約してきました。料金分析、販売実績、ネットワーク品質の報告など、全社のレポートの多くがこの DWH を参照しています。
Teradata は大規模な結合や同時実行の多いクエリに強く、長年安定して動いてきました。議論のきっかけは、アプライアンスの保守期限を前に提示された更改の見積もりでした。データ量は5年で約 2.3 倍に増えており、同じ構成のまま容量を増やすには、ストレージと計算資源をまとめて増強する必要がありました。
あわせて、マーケティング部門からは「解約予測モデルを使って、解約しそうな顧客に先回りして提案したい」という要望が出ていました。利用明細を機械学習で扱うには、データを DWH から別の環境に運ぶ必要があり、その手間と遅れが課題でした。
お客様は、ストレージと計算を別々に増やせ、機械学習も同じ場所で扱える Databricks への移行を選びました。
見積もりの土台は DBQL
移行計画の根拠にしたのは、Teradata のクエリログ(DBQL)です。過去 13 か月分を解析し、次のことを明らかにしました。
| 分析項目 | 結果 |
|---|---|
| 実際に参照されているテーブル | 6,800 本のうち 4,100 本(残り 2,700 本は13か月間参照なし) |
| リソース消費の上位クエリ | 上位 150 本で CPU 消費の 61% を占める |
| BTEQ スクリプトと書き込み先の対応 | 2,400 本すべてについてリネージを作成 |
| BI ツール・アプリからの直接接続 | 38 系統。切り替え時の接続先変更が必要 |
ここから、料金・契約・利用明細・品質の4つの業務領域に分けて移行ウェーブを組みました。依存関係が少なく効果の大きい「販売実績」から始め、最もデータ量の多い「利用明細」を最後に回しています。
数字を静かに変える Teradata 特有の動作
並行稼働の最初の週、いくつかのテーブルで Databricks 側の件数が旧 DWH より「少しだけ多い」状態が見つかりました。原因は SET テーブルです。Teradata の SET テーブルは、すべての列が同じ重複行を自動的に受け付けません。移行先で明示的に重複排除をしなければ、その分だけ行が増えてしまいます。
このような差異を、変換前に一覧化して対処しました。
| Teradata の動作 | Databricks での対応 |
|---|---|
| SET テーブル(完全重複行の自動排除) | MERGE または dropDuplicates で明示的に重複排除 |
| NOT CASESPECIFIC(大文字・小文字を区別しない比較) | 結合キー・条件で大文字・小文字を統一してから比較 |
| QUALIFY | Databricks SQL の QUALIFY(ほぼそのまま利用) |
| SAMPLE / TOP n | TABLESAMPLE / LIMIT |
| DATE と整数の暗黙変換(DATE + 1 など) | date_add などで明示 |
| VOLATILE TABLE | 一時ビュー / 一時テーブル |
| プライマリインデックス(PI)・PPI | Liquid Clustering / パーティション |
| 文字セット KANJISJIS / LATIN 列の日本語 | 列ごとに実際の文字コードを確認し UTF-8 に変換 |
日本語のデータにも注意が必要でした。契約者名や住所の一部は KANJISJIS の列に、古い列では LATIN の列に Shift_JIS のバイトがそのまま入っていました。列ごとに実際の文字コードを判定し、変換表を用いて UTF-8 に変換しています。
移行の進め方
STEP 1|構造の変換
DDL を Delta テーブルの定義に変換しました。データ型(BYTEINT → TINYINT、NUMBER → DECIMAL など)を対応付け、PI は Liquid Clustering のキーに、PPI はパーティションまたはクラスタリングに置き換えています。
STEP 2|コードの変換
Lakebridge のコンバーターで Teradata SQL を Databricks SQL に変換し、本アクセラレーターが次の部分を担当しました。
- BTEQ の制御コマンド(.IF ERRORCODE、.GOTO、.LABEL)→ Lakeflow Jobs のタスクの失敗時処理と分岐
- ストアドプロシージャ・マクロ → Databricks SQL スクリプト / PySpark
- TPT / FastLoad / MultiLoad → COPY INTO、Auto Loader、Delta MERGE
初期自動変換精度は 83% でした。
STEP 3|データの移行
大きなテーブルはパーティション単位で並列にエクスポートし、Parquet ファイルとして転送したうえで Delta テーブルに取り込みました。180 TB の転送はプロジェクト全体のクリティカルパスだったため、初日から帯域と時間帯を計画し、夜間と週末を中心に約 5 週間で完了しています。切り替えまでは日次の差分同期を続けました。
STEP 4|ガバナンス
Unity Catalog で権限を管理し、電話番号・契約者名・住所などの個人情報の列には列マスクを設定しました。
STEP 5|突合と切り替え(PulseQA)
同じ入力データで新旧両方を動かし、テーブルごとの件数、合計値、主キーの差分、レポート上の主要 KPI(ARPU、解約率、新規契約数)を自動比較しました。差異がゼロ、または原因が説明済みで業務部門が承認したものから、業務領域ごとに切り替えています。
成果
- BTEQ スクリプト 2,400 本、プロシージャ・マクロ 310 本を初期自動変換精度 83% で移行(プロジェクト期間 30 週間)
- 13 か月参照のないテーブル 2,700 本を移行対象から除外
- 夜間バッチ:7 時間 20 分 → 1 時間 15 分
- アプライアンスの更改を回避し、DWH の TCO を 46% 削減
- 移行後 3 か月で解約予測モデルを本番化。対象施策の解約率を 1.4 ポイント改善
5本のスクリプトで試してください
BTEQ スクリプトまたはストアドプロシージャ5本で、Databricks のコードと突合レポートを無料でお見せします。
- 無料PoC:innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC(Pulse Convert)
- Webサイト:innovationalofficesolution.com
- メール:Admin@innovationalofficesolution.com
Teradata から Databricks レイクハウスへの移行
高額なアプライアンス更改の前に。テラバイト級の通信 DWH と数千本の BTEQ スクリプトを、SET テーブル・KANJISJIS の動作差分を吸収しながら移行します。