PowerCenter から Databricks へ ― 突合テストを中心にした移行ガイド
0|
0
目次
PowerCenter から Databricks へ ― 突合テストを中心にした移行ガイド
― 「数字が合う」をどう証明するか ― 突合テストの設計を中心にした PowerCenter → Databricks 移行ガイド
このガイドのねらい
- 移行の工数の大半を占める「突合」を、最初から計画に組み込む
- 突合テストの5つのレベルと、それぞれの使いどころを理解する
- 並行稼働の期間と合格基準を、業務部門と合意する方法を知る
- Lakebridge と Pulse Convert で変換と突合を自動化する（初期自動変換精度 70%～90%）
- お問い合わせ：Admin@innovationalofficesolution.com
1. 変換より突合のほうが時間がかかる
PowerCenter 10.5 の延長サポートは2027年3月31日に終了します。移行先として Databricks を選ぶ企業も増えています。Databricks は無料の移行ツール Lakebridge を提供しており、評価・変換・検証を一つにまとめています。Informatica の変換には BladeBridge 由来のコンバーターが使われています。
変換そのものは、ツールと AI で大部分を自動化できるようになりました。一方で、移行プロジェクトで最も時間がかかり、遅れの原因になるのは、「新しい処理が、古い処理と同じ結果を出している」ことを業務部門が納得できる形で示す作業です。このガイドでは、その突合テストの設計を中心に説明します。
2. 突合テストの5つのレベル
| レベル | 何を比べるか | 見つかる問題の例 |
|---|---|---|
| 1. スキーマ | 列の名前・型・桁数 | 金額列の桁数不足、日付型の違い |
| 2. 件数 | テーブルごと・パーティションごとの行数 | 重複の発生、条件の漏れ |
| 3. 集計値 | 金額・数量など主要列の合計、最大・最小 | 丸め誤差、符号の違い |
| 4. 行単位 | 主キーごとの全列のハッシュ値 | 一部の行だけ値が違う、NULL の扱いの違い |
| 5. 業務 KPI | レポート上の売上・件数・比率など | 業務の定義とのずれ |
すべてのテーブルでレベル5まで行う必要はありません。業務への影響が大きいテーブルほど、上のレベルまで確認します。
3. SCD Type 2 の検証
PowerCenter では、Update Strategy とルックアップを使って、顧客や商品の履歴（SCD Type 2）を管理していることがよくあります。Databricks では Delta Lake の MERGE INTO に置き換えますが、検証では次の点を確認します。
- 主キーごとの有効な行（現在の行）が1件だけであること
- 有効開始日と有効終了日が重ならず、すき間もないこと
- 同じ日に複数回変更があった場合の扱いが、旧処理と同じであること
- 過去のある日付時点の状態を再現したとき、新旧で一致すること
4. 並行稼働の合格基準の決め方
並行稼働を始める前に、業務部門と次の点を合意します。
| 決めること | 例 |
|---|---|
| 期間 | 月次締めを1回以上含む 4～6 週間 |
| 対象 | 業務への影響が大きいテーブルと KPI |
| 合格基準 | 差異ゼロ、または差異の原因がすべて説明され、業務部門が承認していること |
| 判定者 | テーブルごとの業務オーナー |
| 不合格時の対応 | 原因の特定、修正、再実行。切り替え日の再設定 |
合格基準をあいまいにしたまま並行稼働を始めると、「この差は許容範囲か」という議論が長引き、切り替えが遅れます。
5. 移行の手順
- 評価：リポジトリ XML と実行ログを解析し、廃止候補と移行ウェーブを決める（Lakebridge の評価機能も併用）
- 突合計画：テーブルごとに突合のレベルと業務オーナーを決める
- 変換：標準的なマッピングは Lakebridge、複雑なものは本アクセラレーターで PySpark / Spark SQL に変換
- 実装：ワークフローを Lakeflow Jobs に、パラメーターファイルをジョブパラメーターに、権限を Unity Catalog に
- 並行稼働：合意した期間と基準で突合
- 切り替え：ウェーブごとに切り替え、PowerCenter のワークフローを停止
6. PowerCenter と Databricks の対応表
| PowerCenter | Databricks |
|---|---|
| マッピング | PySpark / Spark SQL ノートブック |
| マップレット | 共通 Python モジュール |
| Expression / Filter | withColumn / filter / SQL |
| Aggregator | groupBy().agg() |
| Lookup | ブロードキャスト結合 |
| Update Strategy / SCD Type 2 | Delta Lake MERGE INTO |
| リジェクトファイル | 隔離用 Delta テーブル |
| ワークフロー・セッション | Lakeflow Jobs |
| パラメーターファイル | ジョブパラメーター / ウィジェット |
| リポジトリ | Unity Catalog |
7. 参考事例：Emulus Consulting
Emulus Consulting は、この突合設計で、クレジットカード会社の PowerCenter を Databricks に移行しました。
- マッピング 920 本を移行、初期自動変換精度 80%
- テーブル 1,350 本のうち 210 本でレベル5、残りでレベル3～4 の突合を実施
- SCD Type 2 のテーブル 64 本で、過去 24 か月の任意の日付の状態を再現して一致を確認
- 並行稼働 6 週間で差異をすべて解消し、計画どおりの日に切り替え
- プロジェクト期間 21 週間、TCO を 38% 削減
8. Pulse Convert でできること
- 複雑なマッピングの AI 変換。初期自動変換精度 70%～90%
- PulseQA による突合の自動化：スキーマ、件数、集計値、行単位のハッシュ、業務 KPI の5レベルに対応
- SCD Type 2 の有効期間の自動検証
- 突合結果のレポートを業務オーナーごとに自動作成
- 専門家による残り 10%～30% の仕上げ
よくある質問（FAQ）
まずは5本から
- 無料PoC：innovationalofficesolution.comAnyBI-To-PowerBI-and-AnyETL-To-Fabric/' target='_blank' rel='noopener noreferrer' class='text-teal-600 hover:underline font-medium'>無料PoC（Pulse Convert）
- Webサイト：innovationalofficesolution.com
- メール：Admin@innovationalofficesolution.com
PowerCenter から Databricks への移行
新旧の数字の一致を数学的に証明する 5 レベルの突合テスト設計。Lakebridge と Pulse Convert を組み合わせ、SCD Type 2 や動的キャッシュを含む複雑なマッピングを完全移行します。
